人為判斷易致數據偏見 (車品覺)
數周前筆者提到諾貝爾經濟學獎得主、87歲高齡的丹尼爾.卡尼曼(Daniel Kahneman),其最新著作Noise: A Flaw in Human Judgment上周在中國大陸正式出版上市,台灣版叫作《雜訊》,大陸翻譯為《噪聲》。筆者較喜歡前者,因為「雜 」正是大數據的重要特徵。雜亂無章的訊息,是寶藏還是垃圾就要看用者的造詣了。
《雜訊》介紹了偏差與噪聲的分別,什麼是偏差?什麼是噪聲?兩者的差別可以從書中的例子剖釋。假設有4位射擊手參加比賽,A參賽者全部打中紅心,沒有任何偏差;B全部偏離目標的同一方向;C有些擊中了紅心,有些偏離,但沒有規律;D則是全部偏離,而且毫無規律可言。
如果把以上的比賽換作投資專家的表現,那麼專家A所做的都是完美選擇,反而專家B每次都犯錯,而且向某個方向偏差(傾向性決策),可以說是完美的錯誤。專家C每一次的選擇都不能預測,基本上就是隨機。專家D的表現正是噪聲和偏差的結合,既有偏差亦毫無規律可言。如果閣下是一位投資新手,緊記求神拜佛,勿遇上D類專家。
作者舉出現實生活中有很多令人極度擔憂的類似例子:
1. 法官在同一類案件中的判刑上出現很大的差異,有數據顯示天氣居然也是做成偏差的原因之一;
2. 醫生誤判病情並不罕見,在施藥及劑量上的判斷容易被很多因素影響而不自知;
3. 投資專家對股票市場的未來趨勢預測,在牛市中很容易變得過度樂觀;
4. 在司法鑑定的場合中,有時指紋甚至DNA鑑定專家都可能出現不同意見;
5. 專利審批也時常出現不同的審批專家持相反意見的情況。
總之只要涉及人為判斷,自然就會有偏見,引致偏差,這是無法避免的。但經過一些技術的處理,就如我們今天聽耳筒有清除雜音功能一樣,雜音是可以被過濾。當然你可能會反問,沒有雜音的音樂會否有些不真實,就如播放黑膠碟之時,總是覺得應該有點「炒豆聲」才正常啊。
(編者按:車品覺著作《覺悟.大數據》現已發售)
歡迎訂購:實體書、電子書
更多車品覺文章:
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。