[心得] 《數據、謊言與真相》導讀
【書名】:數據、謊言與真相
【作者】:賽斯‧史蒂芬斯—大衛德維茲
【譯者】:陳琇玲
【出版】:商周出版
—————————————————————
四張內頁圖表,排版優化原文
Matters|https://tinyurl.com/y4pzy2hv
.
.
「人們搜尋資訊,這種行為本身就是資訊」
「人們會把自己可能不會告訴任何人的事情,告訴這個大型搜尋引擎。」
是的,《數據、謊言與真相》即將為讀者揭示「大數據」的各種議題,包括如何運作,以及產生什麼重大發現,也談到其所受的限制——資料多數源自 Google 這座寶山。
.
.
■ 何謂數據科學?大數據?
.
其實,我們一直都透過大腦裡的大型關係資料庫,做各種分析、判斷:發現模式,預測一個變數如何影響另一個變數,這就是數據科學。
良好數據科學的方法論通常是直觀的,但結果往往違反直覺,原來這世界的運作跟我們所想像的截然不同。而透過大數據,讓我們挖掘更多、發現更多、理解更多。
作者在一開始就言明,不會對大數據做出一個精準定義。究竟多大才算大?這是一個籠統的概念,他寧可對大數據的特性採用涵蓋性更廣的看法(有四,稍後詳談)。
通讀本書,就我個人的體悟,大數據中的「大」是一種相對性,取決於研究者提問的。若只是殺雞一般的問題,小樣本抽樣就夠「大」了,根本不用祭出牛刀;提出正確的問題、採用正確的資料,才是最攸關的,未必總是需要大量數據。
現在,讓我們一起來看看大數據的四種獨特力量(特性)。
.
.
■ 1. 提供新穎的資訊
.
重新想像什麼東西有資格當成數據,通常大數據的價值不在於本身的大小,而在於提供新類型的數據,也就是以往從未蒐集過的資訊。
▍跟蒐集更多數據無關,而跟蒐集正確(更好的)數據有關。
若你有看過《魔球》,相信不難理解非傳統新數據的超大價值。書中舉另一個異曲同工的例子:成為賽馬明星的關鍵是什麼?傳統賽馬經紀人通常從一匹馬的血統和步態著手,然這位取得許多哈佛大學學位,後成立 EBQ 公司的馬匹狂熱份子傑夫.塞德(Jeff Seder)並不這麼想,他打算評量賽馬的各種屬性,並看看哪些屬性跟賽馬場上的表現有關。
賽德測量過馬匹的鼻孔大小、快縮肌體積,甚至連排泄物重量也不放過,多年來只是徒勞無功。後來總算是走運了,他決定測量馬的內臟大小,成效斐然。他發現心臟大小,尤其是左心室的大小,就是能否成為賽馬明星的關鍵預測因素。為此,成功幫客戶揪出「美國法老」這匹 30 年來首屈一指的三冠王。
拜數位化之賜,「什麼可以當成數據使用」有著更多可能性,像是書籍中的字詞、約會中的交談聲、畢業紀念冊中的照片 一切都是數據!
.
.
■ 2. 提供誠實的數據
.
先是以「社會期許偏誤」(social desirability bias )破題, 點出許多人在問卷調查問及令自己困窘的行為和想法時,都會說謊的現象。即使是匿名的網路問卷,人們還是希望保持自己的良好形象。
然某些線上來源,像是你搜尋什麼?瀏覽什麼?這類數位足跡的作用就像誠實豆沙包,吐露了人們真正的看法、感受和慾望。這是大數據的第二種力量,因為你有「以為沒人知道」誘因,就更願意說出真相。
▍不要相信人們告訴你什麼,要相信他們做了什麼。
人們可能聲稱自己很憤怒,對一些「垃圾新聞」加以譴責,但是人們還是會點擊。
題外話,關於這種「說一套做一套」的落差,剛好是我最近讀的另一本書《盲點》深入探討的主題;一方面我們很不擅長預測未來的自己,或是說在預測時和執行時的動機往往不一樣,再加上「道德褪色」的推波助瀾,終焉導致這種「言行不一」的矛盾。
.
.
■ 3. 把焦點放在人口中的小子集
.
大數據就像 RAW 檔。
當觀察數「夠大」時,就允許我們有意義地放大檢視數據集的細部。猶如為了將照片的一小部分放大後還能清楚查看,照片需要有很高的畫素,這是大數據的第三種威力。
看到這邊特有別感。在台灣,平常我們在新聞上看到的各種電訪民調,樣本數抓 1000 至 2000 人差不多就緊繃,若要考慮各年齡層的分佈,多半採用「每十歲(年)」作為級距。
而下列這個棒球研究的例子,卻是用「每一年(歲)」進行切割。要做到這樣,需要有數百萬次觀察,唯有大數據才能提供支持。
「把資料切成這麼細,是要做啥?」
大數據允許我們使用與問卷調查截然不同的設計,提出嶄新的問題。觀察中發現在 1962年和 1978 年出生的這群人中,大都會隊非常受歡迎,那段時間究竟發生什麼事?原來,大都會隊分別於 1969 年和 1986 年贏得兩次世界大賽。於是引出了一項重要指標的檢視:
▍讓男性從小到大死忠支持某支棒球隊的最關鍵年紀,大概就發生在八歲那段時期。
這是「小數據」做不到的格局。
.
.
■ 4. 進行許多因果關係的實驗
.
在數位世界裡,要進行「隨機對照實驗」變得容易進行,整個世界就是一間實驗室。
隨機對照實驗,或稱之為「A/B測試」,就是隨機將人分成兩組,一個是要做某件事的實驗組,另一個是什麼也不必做的對照組。然後觀察每一組的回應,兩組在結果之間的差異性就是取得的因果關係。
在離線環境,像是最近吵得沸沸揚揚的疫苗第三期臨床試驗,動輒需要上萬人的實驗人數,得投入大量資源;但在線上,就是幾行程式碼的事情,既省錢又省時。
Google 和臉書每天都進行大量的 A/B測試。引用書中例子,在 2012 年 12 月,Google 更改廣告,在廣告右方添加一個由正方形包圍的向右箭頭。
說多怪就有多怪,它指向右方,但右方根本沒有東西。事實上,這個看似無意義的箭頭,卻在 A/B測試中勝出,這樣做會有更多人點擊,讓 Google 和他們的廣告客戶賺大錢。
▍就是因為我們不了解人性,所以測試才這麼有價值。
大數據以真正奏效的因果關係,取代直覺、猜測、普遍看法和虛假相關性。
.
.
■ 後記:表皮,果肉與纖維
.
在閱讀過程中,時而覺得這本書頗有《蘋果橘子經濟學》的氣質,行至結論,作者還真提到他寫這本書的最大原因,是受到 李維特(Steven D. Levitt)的啟發。
看似蘋果,切下去變成橘子,用來比喻「事情的本質跟表面往往不同」,也呼應本書提到的「結果往往違反直覺」。
我喜好《數據、謊言與真相》更勝《蘋果橘子經濟學》,更嚴謹的研究方法、更有組織的書寫脈絡、更貼近你我周遭的議題,佐以更細膩的資料探勘技術。
以前剖開表皮,見到橘子果肉就心滿意足。現在則是連纖維都不容錯過。
--
閱讀筆耕|一週一耕,佐以心智圖耘襯
https://linktr.ee/penfarming
--
爆
Re: [心得] 有人完全靠技術分析賺錢的嗎?技術分析已經存在超過一百年,一直都有人靠技術分析賺錢... 技術分析就是基於成交明細,也就是價格數據 (有的包含成交量) 所做的分析。 上面這句話很重要,因為這貫穿了以下的所有內容。 技術分析分兩大類: 圖表分析 (chart) 和 技術指標 (indicators) 1. 圖表分析,就是畫 K 線做分析,在 20 世紀以前都是主流分析方式13
[心得] FinMind 大數據專案X架構解析大家好,我是 FinMind,開源金融數據的作者 ( ),今年花了 10 個月的時間,將 FinMind 所用到的技術、架構,整理成一本書,分享給 大家 (書中包含程式碼)。 由於大數據時代,多數人做的都是 ML、DL、資料分析,反而資料工程相關資源非常欠缺 ,但資料工程其實在整個大數據領域,是一個非常重要的位置。10
[心得] 《數據的假象》現代公民的人生必修課《數據的假象》讀後心得:現代公民的人生必修課 深度偽造時代最重要的思辨素養,聰明決策不被操弄 圖文好讀 數位時代最重要的能力之一,或許就是看懂誰在胡說八道。哲學家 John Alexander Smith 曾對牛津大學的新生演講說道:「各位將來在求學過程中學到的,沒有一樣對你將6
[心得] 《這才是心理學!》破除偽科學的思維方法圖文好讀版本: 揭開心理學的神秘面紗 讀完《行銷前必讀的購物心理學》,我開始想涉獵更多心理學書籍,於是找到幾年前沒看完 的這本《這才是心理學》電子版本,驚為天人。這本書寫的非常淺顯,但卻帶出許多重要論3
[心得] 數商:向阿里巴巴前副總裁學習數據時代的書名: 數商:向阿里巴巴前副總裁學習數據時代的生存商數 推薦指數:★★★★★ 網誌: 購買連結:3
[閒聊] 資料心得: 數據好 = 聲音好 ?結論先寫。(我以白話文的寫法來寫,而不是精準的科學用語) (1) 音箱的音響系統在科學研究之下,「數據好」的音箱可以讓86%的 受試者滿意。 (2) 耳機的音響系統在科學研究之下,「數據好」的耳機可以讓91%的 受試者滿意。2
[心得] 數據、謊言與真相圖文版本 我們的直覺,常常是錯的。 數據不只是揭發已然發生的狀況,更能夠作為一種預測工具, 透過數據分析,可以得到我們真正想要知道的事情。