[心得] 雜訊：人類判斷的缺陷 讀書心得

作者inewigkeit (APFSDS)

看板Stock

標題[心得] 雜訊：人類判斷的缺陷讀書心得

時間Thu Sep 9 16:45:03 2021

文長若想直接看結論可滑到最後一頁看BIN模型如何運用來優化投資決策行為經濟學界大名鼎鼎的Kahneman新書《雜訊：人類判斷的缺陷》總算讀完了！本來想直接就本書寫心得卻在找資料途中發現一篇同樣談論此概念而且更直接和投資相關的文章因此決定先寫更有趣的這篇 BIN There, Done That: How to Reduce the Sources of Forecasting Error 原文出處 https://mgstn.ly/3zZsAY0 作者Mauboussin曾出版許多探討機率的科普書譬如成功與運氣、魔球投資學等，都是自己很有興趣的主題他的名字和Kahneman, Thaler, Tetlock等人都是在股市預測和行為心理學主題常出現的名字這次看到他又針對Kahneman新書雜訊所寫的文章可說是彌補書中未直接觸及投資的遺憾，直接寫出要怎麼改善投資技巧相當推薦給對此議題有興趣，又想瞭解投資決策該如何優化的讀者原本想先寫雜訊本身的書摘但這篇文章可能對投資技巧有更直接的應用因此這邊閱讀心得摘譯就給大家參考囉 p.s. 讀者可能會說，講一堆理論阿到底能不能賺錢？我們外行看熱鬧的可能難說，但Thaler跟Kahneman主持的資產管理公司基金表現是有贏對照的小型股指數IWM，但依然輸大盤SPY（額） https://www.fullerthaler.com/ https://imgur.com/v9eGyUL 能預期到市場期望的修正，才能產生長期超額報酬。研究顯示，絕大多數專家都無法做出好預測。反而，人類內建相當善於事後解釋、自圓其說、後見之明的心理機制。 Tetlock主持的研究顯示（參見超預測一書，但不要買繁中版，翻譯太爛），少數能做出準確預測的超級預測者，其特質包含計算能力、知識好奇心、機率思維、開放心胸。學歷和智商對預測當然有幫助，但不是決定性因素。在這研究之上，學者進一步發展「BIN 模型」：B為bias偏差、I為information資訊、N為noise雜訊。許多投資老鳥都已經很瞭解bias會如何損害投資決策（如錨定效應、沉沒成本、心理帳戶、損失趨避、過度自信、肯證謬誤等）。事實上，bias已經是目前行為財務學（或稱投資心理學、行為經濟學）的熱門話題。最後，information不足當然也無助決策。Noise反而是比較少引人注意的元素（因此Kahneman新作才以此為主題，因為bias他已經寫過了，即快思慢想一書）。針對超級預測者的研究顯示，減少雜訊的好處，幾乎是減少偏差或提升資訊的兩倍。本文將詳述 BIN模型及其如何運用到投資機構與股價，並討論如何減少雜訊與偏差，同時提升資訊。首先對名詞作定義解釋雜訊是「判斷的機遇變異性」，發生條件為「複數人士針對相同資訊做出一項判斷」，例如某雜誌要50名會計師針對1家庭個案計算應付稅款。即便會計師都使用相同稅法、軟體、個案也相同，但他們仍相當仰賴個人判斷。此時，如果會計師們答案不同，雜訊就出現了。同樣地在投資機構，如果複數分析師要對同一家公司的股價做出預測，只要數字不同，雜訊也就出現了。雜訊的另一項發生條件為「相同人士於不同時期做出相近決策」。如我們可能都要決定午餐吃什麼，但這項決定會受到當下心情、飢餓感、疲倦感或最近經驗而影響。同樣以投資機構為例，分析師們把投資建議告知基金經理人，經理人買單與否，可能是根據一些跟投資建議本身良窳無關的因素，譬如自己最近是賺是賠。接著看到bias偏差（偏誤、謬誤）。多數人都慣用經驗法則或稱捷思法（即Kahneman 論述的系統一）來做決策。譬如可得性捷思，指人們會用他們有多容易回想起最近或類似事件來評估一件事情發生的可能性。譬如空難發生後，許多人會害怕坐飛機。捷思法的好處在於節省思考時間，但如果把不適當的捷思法用到決策，偏差就產生了。投資場域常見的偏差為過度自信與肯證謬誤。過度自信表現在過度估計（對自己能力太過自信，因而高估完成工作的效率，或相信自己擁有比實際上更大的控制力）、過度定位（相信自己比周遭人厲害，如烏比岡湖效應）、過度精確（過於篤定自己判斷正確性，因而不願意測試假設）。過度精確跟預測有關，在商業與投資領域特別重要，人們會在回答困難問題時，過度自信能答對的比例。表現在投資行為，就是頻繁出手，做出太多無法獲利的交易。肯證謬誤指的是，只願意看符合自己觀點的資訊，捨棄貶低那些和自己立場不符的論述。遇到模稜兩可的資訊時，也會以有利自己的方式來解讀。投資人若對新資訊反應不足，很可能就無法快速修正自己對事情的信念。這張打靶圖清楚呈現bias-noise的意義，其實跟統計學常用的reliability信度、 validity效度是同樣概念。 https://imgur.com/oXCBksH 也可以用分布圖來理解：bias是產出偏離目標的程度，noise則是複數產出發散的範圍（通常可用鐘型曲線表現）。如複數分析師要對同一家公司的股價做出預測，正確答案只有一個，沒命中就是有偏差。每位分析師給的數字有大有小，其分布範圍就是雜訊。 https://imgur.com/AIPH8kL 資訊。完整資訊有利預測者做出高精度的預測。在預測脈絡下，包含挖掘新資訊、更新觀點的速度和準確度、對資訊成分賦予不同權重、處理複雜訊號之能力。這些因素會決定使用者能善用資訊到什麼地步。解釋過基本學術概念，總算能討論投資應用了。首先談到市場是否有效率。如果效率市場中，股價精準反應出資訊及未來展望，那麼BIN模型還有用嗎？市場並非完美有效，但大型且流動性高的市場算是相當有效的。雜訊和偏差的影響力對股市投資人而言較小（相對於會計師或保險精算師），因為市場股價已相當程度反應出群體投資人的多元觀點。市場上早已有雜訊交易人的說法。這裡同樣也建議不要盲目跟著雜訊，而是要辨別出訊號（仰賴收集並正確評估資訊的能力）。雜訊也影響到持倉大小。投資產業花太多時間找尋優勢（股價錯估而蘊含的超額報酬機會），卻對持倉大小關注不足。倉位大小成了經理人間的雜訊。研究顯示，經理人常因無法依循自己流程中建議的持倉比例而錯失報酬。以BIN模型的元素分別討論如何優化投資決策。 [雜訊]結合判斷、使用演算法、中介評估法雜訊。有三個方法來降低雜訊：1)結合判斷、2)使用演算法、3)採用MAP中介評估法。 1)其實就是善用群眾智慧。市場本身其實就是觀點集成的機制：參與者用真金白銀進場，會有充分誘因來找出正確觀點；負循環會把偏離均衡的動能拉回均值（即均值迴歸）；套利者會找尋任何定價錯誤的地方牟利，這些舉動都會讓股價變得精確。然而弔詭之處在於，市場經常擺盪在負和正循環之間，造成各種趨勢。有此一說，當市場上所有人都想著同樣方向，無效率就浮現了。小企業或散戶因為成本因素很難善用觀點集成策略。譬如上面提到的會計師範例，安排50位會計師就1家庭個案規劃稅務，取平均值會更準，但顯然成本太高。註：這邊值得引用作者在別本書中提到，善用群眾智慧所需的三大必要條件： -多樣性：確保每個預測者都有獨立觀點，而非相互影響模仿。避免資訊瀑布、群聚效應、光環效應、訴諸權威等心理偏誤。 -整體性：確保所有意見都納入考量 -誘因：確保個人有充分動機提出最好觀點，而非搗亂（也算呼應Taleb skin in the game切身利害的意涵，即自己真金白銀下去賭，成敗後果自負，才不敢胡亂放話） 2)使用演算法，即依循特定規則或步驟以達成目標（例如食譜就是一種演算法）。研究顯示，許多領域都能藉由使用演算法來優化決策，譬如醫師診斷多仰賴個人經驗，但其實統計檢驗優於臨床檢驗。機械預測技術已證實無論在何種判斷任務、類型、數量、數據模式等都有優良表現（詳細文獻可參考Kahneman雜訊本書，看起來他相當推崇）。在投資時，想想看有什麼層面可系統化處理，或使用檢查表來核對決策一致性。再次看到前面提到的倉位大小。持股應該是根據輸入、限制、目標來打造。輸入指的是預期報酬、波動性、資產關連度。限制指的是持倉、產業、板塊等上限、交易量、槓桿等。目標指的是單一或複數時期的評估區間。只要釐清這三大面向，持股比例就能套用演算法。研究顯示，在整個決策流程的前中期使用系統，只在最後輸出答案參酌個人直覺判斷，能提升整體決策品質。 3)MAP中介評估法，旨在避免直覺想法，而是綜合參考會影響到表現的關鍵因素。MAP 有三步驟：首先，預先定義評量項目，譬如在面試財務分析師時，先決定有哪些項目是要檢視的，包含估值技巧、策略評估、批判思考、人際溝通等。第二步為根據所列項目，使用事實來分別檢視。每項特質都要以量化分數來呈現。同樣這個面試案例，每個求職者都會面對相同評分方式，面試官也要注意，面對不同求職者都要以相同順序問相同問題。最後，所有測量都打完分數後，考官應進行討論以達成最後決策。這個決策方法的優點就在於「標準化」。MAP對於組織決策的重要性較高，但個人投資者也能使用此途徑來確保自己的投資流程是一致、嚴密、完整的。想想看自己有多少選股、擇時決策是意氣用事，如果有一套流程先讓自己冷靜下來，判斷會不會更好？ [偏差]基本比率、事前驗屍、魔鬼代言人、路標階段有許多方式能降低偏差。首先，「將基本比率納入預測」，有助矯正過度自信。人們在做預測時經常會顯得過度自信，無論是新家裝潢成本和時間、作業時數、公司成長率等都會出現。引入基本比率有助於設定一個門檻值，避免太過樂觀或悲觀。一般人做預測時都有類似模式：收集資訊、結合個人經驗與觀點，投射至未來。心理學家將這種相當仰賴直覺的方式定義為「內部觀點」。基本比率這個「外部觀點」是簡單的統計分析，將已完成、可類比的事件納入考量，「其他人過去在此情況都怎麼做」，也就是把單一預測當作更大樣本中的一例，而非讓預測者個人經驗和認知左右，讓預測成了單次事件。舉例，分析師預測某年度業績100億的公司，未來五年銷售將以每年20%的速度成長。他很可能有一套詳盡的模型來支持此論述，此為內部觀點。而外部觀點則檢視，有多少同樣規模的公司能達成這樣的年化成長率。若業界只有寥寥3.5%公司能辦到，那麼原先預測就顯得太過片面天真。使用外部觀點有四個步驟。首先，選擇參考類別。此類別必須夠廣泛才夠有參考價值，同時也細微到能直接運用到個案。其次，評估此參考類別的結果分布。有些類別屬常態分布、鐘型曲線（輕度隨機），譬如企業或投資人績效。有些則包含許多偏斜或屬於冪次法則（狂野隨機）。基準比率可直接運用至輕度分布，但對於狂野分布則無法顯現太多資訊。第三，做出預測。瞭解一件事的基本比率，有助於做出點預測及範圍內可能的結果。最後，思考該預測出現均值迴歸的程度如何。經驗法則顯示，若結果很接近隨機，則該預測必須大幅迴歸。若結果是由技巧所驅動因此較為一致，則不用太多迴歸。（舉例，預測猜拳比賽結果，需考慮機率佔了多大成分，很難篤定誰必勝出。但學校考試榜首通常較為穩定，因為讀書的技巧所佔比例遠比機率大，只要努力，通常就能高分。股市也有所謂漲多必跌，跌深必彈的說法，即均值迴歸效用，只是股市系統太過複雜、變項太多，使得均值一直在變化，自然很難抓到迴歸的時機，因此就算知道均值迴歸的道理，也很少人能用成穩定獲利的法則）繼續用公司案例，比起營業利益率，銷售成長率更不穩固。因此，過高過低的銷售成長預期，更可能出現均值迴歸。而利益率太高太低，則較不易迴歸均值。（換言之，呈現高會續高，低會續低的趨勢）第二個減少偏差的方法，就是建立正式機制，讓心智能開放面對不同可能性。其中一個思維就是事前驗屍。此技巧要求團隊成員想像做出一個決定但結果搞砸了，成員要各自寫下此結果可能的失敗原因，再共同討論。此技巧運用到一個稱為「預期後見之明」的機制，可以比單純預期未來帶來更多情境想像。事前驗屍的特色在於，強迫成員思考優缺點，甚至只思考缺點。其他類似的思維訓練還有「紅隊」（或稱魔鬼代言人、末日Z戰裡提到的以色列軍隊第十人法則）。第三個減少偏差的方法，是建立穩固流程來提供精準而及時的反饋。投資領域中一個惱人問題就是只會用風險調整後的持股報酬率，當作投資績效的最終評估。然而股價波動充滿雜訊，使得市場給人的反饋，短期而言是不可靠的。用短期報酬率衡量一個人的投資技巧好壞，有失公允。（研究顯示，要檢視一個人的投資技巧，期間至少要拉到10~20年，才能盡量排除運氣的影響）（反饋的意思是，你可能根據紀律做了自認正確的決定，但股價不賞臉，顯示你決策正確但後果失敗。又或者你決定意氣用事賭一把，結果股價居然如猜測般發展，顯示你決策失敗但後果正確。這種因果不一致的情形經常在股市發生，使得我們很難從中學到教訓，反而容易出現認知失調。在別的領域例如求學、運動，我們就比較能肯定學了新單字考試用得上，或是鍛鍊心肺能讓打球更持久，這種輸入和產出間的因果關係就較為線性穩固，碰到狀況時教練給的反饋也更明確。）處理此問題的一個技巧是，找出路標，並假定他們發生的機率。例如投資人想要藉由跟市場不同的觀點來做出買賣決策，進而達成超額報酬（也就是俗話說的，別期待做跟大家一樣的事，卻達到不同結果）。我們可以將其論點化為數據、拆成階段，檢視跟市場共識的偏離程度。譬如投資人相信營收會比目前股價已反應的程度來得高，當關連到這些特定差異的資訊（財報）發佈時，就能認定自己正在通過路標查核點，告知自己是否通往正確方向。（換句話說，滾動式修正自己看法）實用的路標有三大特徵。成果足以客觀判定、具有特定日期、且對整體論點重要。例如，假設市場共識是某公司今年將賣出100套軟體，而自己認為銷售量會更高，路標或可設定為「有八成機率該公司今年將賣出110套以上」。重點在於，預測應該使用機率而非文字，因為文字太飄渺怎麼說都通。數字機率則有助精確反映預測，同時避免事後狡辯。（從現在起養成一個習慣，自己每一個推測都用機率方式呈現，不要用yes/no這種一翻二瞪眼的絕對思維，有助於降低頑固心態，提升心智柔軟度。）同樣地，設定階段，拆解流程的好處在於，讓當事人能有更多機會試行錯誤，進而培養校準技巧。其實不只是投資，很多領域的思維都能用這種方式來改善。 [資訊]盡量取得領先資訊、時常更新觀點反映新資訊、為資訊權重很顯然地，改善預測的首要方式就是領先他人取得關鍵資訊（千線萬線比不過內褲線），但因為「公平揭露規則Reg. FD」防止公司在沒有同步公開給大眾的情況下私自揭露資訊，此途徑也非常困難。某些方式或許可行但所費不貲，譬如取得所有權資料、聘僱頂尖律師來解釋法規、找業界專家來仔細評估天災後果。另類數據如A公司的私人客機經觀測於某月常飛到B公司，結果不久後兩家公司合併。這種另類數據相當難取得，通常只有避險基金願意花大錢買來分析（參見美劇Billions，用衛星圖資觀測某熱門中國工廠的卡車流量太少顯然有鬼，因此決定做空）。具備路標的思維框架，要求預測者明白講出其觀點和市場共識有何不同之處。新資訊能夠取得時，預測者必須要能克服肯證謬誤，修改其觀點以反映新資訊。研究顯示，願意頻繁更新自己觀點的人，通常也能做出精準預測（即Tetlock所言，在預測時，狐狸比刺蝟優秀）。為資料進行權重的能力也很關鍵。心理學角度而言，面對一項假說，我們得看其證據的強度和權重（預測效度）。以丟硬幣為例，強度是出現正反的比率（理論上是50%50%）、權重是樣本大小，即丟硬幣的次數。當強度高、權重低時，預測者常會過度自信。譬如丟10次硬幣出現7次正面，預測者可能會斷定該硬幣有偏差。事實上，公正硬幣有八分之一機率會出現此情況。（也就是犯了小數法則的錯誤，把大樣本的分布直接套用到小樣本，卻沒意識到樣本數太小，出現特定結果機率上是有可能的，無法斷言是人為操弄）當強度低、權重高時，預測者常會自信不足。譬如丟1萬次硬幣出現5100次正面，預測者不太敢斷定認為硬幣有偏差。事實上，公正硬幣僅有五十分之一機率會出現此情況。（當樣本數夠大，應足以佐證某觀點，個人卻不敢堅定主張時，就表示個人心理素質輸給客觀數據，不敢冒安全的險）因此，有效使用資訊，就是在可行時盡量取得資訊優勢（以不犯法為前提）、精準更新自身觀點、經常反映新資訊、並為擁有的資訊分配適當權重。最後以個人投資觀點來為本文結論彙整減少雜訊 -善用群眾智慧：收集美股KOL清單建立表格，觀察持倉和進出時機，取平均值當指引，發揮批判性思考，用正確的心態抄作業（炸使用演算法：已經有很多量化交易大神，但他們程式太神秘一般人根本無從企及。寫程式目前在能力範圍外，先以手動方式設定投資組合。以Portfolio Visualizer回測持股比例、效率前緣。參數如預期報酬、波動性、資產關連度、投資期間等。限制如持倉、產業、板塊之上限。標的屬性如交易量、槓桿等。以StockCharts觀察走勢。並以 Morningstar Portfolio Manager追蹤投資組合表現。 -中介評估法：承上，使用檢查表來對挑選公司、買賣時機的依據做出標準化評估流程。基本、技術、籌碼、消息等面向都出現買進/賣出訊號才做決策，用數據和流程約束自己，避免情緒意氣用事。減少偏差 -基本比率：用此觀點看待美股，可得知許多數字，如S&P500大盤每年有七成機率上漲、年化報酬率約為10%、SPIVA顯示十年期間，近九成主動基金都會落後被動指數。進一步檢視大盤、板塊、個股的平均報酬率與波動率，其股價在不同位階時超漲或超跌的鈍化機率。檢視自己出手記錄的勝率高低和期望值多寡，當作下次出手的根據，避免貿然買賣，盲目賭機率。 -事前驗屍：當作思維訓練，預先思考有什麼因素可能導致決策失敗，避免盲目樂觀 -魔鬼代言人：買進時，是誰在出貨？賣出時，是誰在進貨？憑什麼認為自己是對的？如果我錯了怎麼辦？多空軍的論述都要去瞭解，避免過於樂觀或悲觀的片面之詞。 -路標階段：用LEIs領先指標、Fed重大發佈、個股每季財報當作中繼點，滾動式修正預測。檢視自己每年報酬率，如果不好就得修正方法。提升資訊 -盡量取得領先資訊：效率市場假說下，一般人很難取得真正有用的資訊，能做的就是先拓展收集資訊的管道，譬如原文資料、群組閒聊、KOL訂閱等，先有量再來做質性評估。 -時常更新自身觀點以反映新資訊：當作思維訓練，難處在於堅定信念跟打草驚蛇間取得平衡。 -為資訊權重：這題有點難，先跳過（可能需要先從質化角度詳細語篇分析找出文句重點、再以量化綜合判斷配分才能達成）文末附上推薦閱讀，希望對此議題有興趣的讀者能夠收穫滿滿～機率相關成功與運氣：解構商業、運動與投資，預測成功的決策智慧 by Michael Mauboussin 風險之書：看人類如何探索、衡量，進而戰勝風險 by Peter Bernstein 華爾街的物理學 by James Weatherall 隨機騙局：潛藏在生活與市場中的機率陷阱 by Nassim Taleb（以及他所有著作）高勝算決策：如何在面對決定時，降低失誤，每次出手成功率都比對手高？ by Annie Duke 投資心理學相關致富心態：關於財富、貪婪與幸福的20堂理財課 by Morgan Housel 投資進化論：揭開投腦不理性的真相 by Jason Zweig -- http://espera-spectra.blogspot.com/ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.135.144 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1631177110.A.548.html

推 michaelch : 推這本放書單很久了有空買來讀 09/09 16:47

推 a125g : 推康納曼大師 09/09 16:50

推 Homeparty : 推，減少雜訊其中一個就是不要預測，面對當下現實 09/09 17:06

推 Homeparty : 或是依賴量化數據，接受隨機性 09/09 17:11

推 sounanda : 關於投資，我一律建議歐印 09/09 17:38

推 boombastick : 這本書很棒但是能夠用到投資上的策略到沒有很多 09/09 17:40

推 bw223731 : 看成驊訊 09/09 17:59

推 johnsonhoj : 謝謝分享 09/09 18:35

推 aloness : push，真是用心的文章 09/09 18:56

推 qpwosk04 : 推 09/09 19:21

推 cyora : 這篇文章值得推薦 09/09 19:29

推 airforce1101: 你知道你自己面對是什麼雜訊嗎 09/09 19:48

推 Petrovsky : 推認真文 09/09 19:48

推 airforce1101: 主訊號比雜訊強，那麼受影響就較低 09/09 19:52

→ airforce1101: 萬一雜訊比主訊號強時怎麼辦 09/09 19:52

推 ms0202687 : 太複雜，買低賣高就好 09/09 19:55

推 airforce1101: 說到演算法，如果不知道是什麼雜訊要怎麼設計 09/09 19:55

→ airforce1101: 濾波器 09/09 19:55

→ airforce1101: 你能列出的指標就是影響較大的分量 09/09 19:56

推 airforce1101: 因為現實中根本分不清楚什麼是真實訊號 09/09 19:59

→ airforce1101: 什麼是雜訊 09/09 19:59

→ airforce1101: 訊雜比太低了 09/09 19:59

→ airforce1101: 你投入的資金對市場而言就是雜訊 09/09 20:00

推 encoreg57985: 推 09/09 20:43

推 xkoji : 謝謝 09/09 21:45

推 stuppi : 已收入至精華區進修教室 09/09 21:51

推 adjacent5566: 謝謝分享書單 09/09 22:13

推 jdjfghr : 推 09/09 22:34

推 vincent1700 : 推 09/09 22:55

推 idaccl : 推～收藏 09/09 23:23