![](/c49/33/29122173294.jpg)
出版社:中信出版社 ISBN:9787508641140 商品編碼:29122173294 品牌:鳳凰新華(PHOENIX 包裝:精裝 開本:16 出版時間:2013-08-01 代碼:69 作者:西爾弗
" 內容介紹 《信號與噪聲》中涉及如下有趣又值得研究的問題:天氣預報說降水概率為60%,你出門會帶傘嗎?被雷電擊中的概率到底有多大?地震發生之前,我們真的無法預測嗎?中情局為什麼會忽略“9.11”恐怖襲生的信號?禽流感為何會突然爆發,又突然消失?為什麼大數據時代的預測更容易失敗?“信號”是我們想要和需要的事實,比如能幫助我們偵破早期鞋子炸彈案的信號。“噪聲”則是另一回事,通常是不相干的信息,它阻礙或誤導我們搜索信號。 人類每時每刻都需要對未來進行預測並制定相應的策略,如此國家、企業乃至個體纔能持續發展,因此我們對於“下一刻會發生什麼”倍加關注。 在信息爆炸的大數據時代,隨著我們的生活節奏變得越來越快,我們所要做出的預測的速度和數量都在不斷增加。一個不容忽視的事實是,現實SJ中的很多預測都失敗了,由此付出了巨大的社會代價。“9.11”恐怖襲擊事件、2008年金融危機、卡特裡娜颶風、2011年日本大地震、禽流感肆虐,這些“黑天鵝”事件的發生在很大程度上應歸咎於糟糕的預測,也J是說預測者們被眾多信息中的噪聲干擾,而忽視了其中真正的信號。 作者Z為美國*影響力的預測專家之一,檢視了從颶風到地震、從經濟到股市、從NBA到政治選舉在內的眾多領域的預測事例,旨在回答一個問題:如何纔能從繁雜的海量數據中篩選出真正的信號,摒棄噪聲的干擾,從而做出接近真相的預測。 《信號與噪聲》中涉及如下有趣又值得研究的問題:天氣預報說降水概率為60%,你出門會帶傘嗎?被雷電擊中的概率到底有多大?地震發生之前,我們真的無法預測嗎?中情局為什麼會忽略“9.11”恐怖襲生的信號?禽流感為何會突然爆發,又突然消失?為什麼大數據時代的預測更容易失敗?“信號”是我們想要和需要的事實,比如能幫助我們偵破早期鞋子炸彈案的信號。“噪聲”則是另一回事,通常是不相干的信息,它阻礙或誤導我們搜索信號。 人類每時每刻都需要對未來進行預測並制定相應的策略,如此國家、企業乃至個體纔能持續發展,因此我們對於“下一刻會發生什麼”倍加關注。 在信息爆炸的大數據時代,隨著我們的生活節奏變得越來越快,我們所要做出的預測的速度和數量都在不斷增加。一個不容忽視的事實是,現實SJ中的很多預測都失敗了,由此付出了巨大的社會代價。“9.11”恐怖襲擊事件、2008年金融危機、卡特裡娜颶風、2011年日本大地震、禽流感肆虐,這些“黑天鵝”事件的發生在很大程度上應歸咎於糟糕的預測,也J是說預測者們被眾多信息中的噪聲干擾,而忽視了其中真正的信號。 作者Z為美國*影響力的預測專家之一,檢視了從颶風到地震、從經濟到股市、從NBA到政治選舉在內的眾多領域的預測事例,旨在回答一個問題:如何纔能從繁雜的海量數據中篩選出真正的信號,摒棄噪聲的干擾,從而做出接近真相的預測。 真正YX的預測者會用概率的方法思考問題,他們謙虛而且勤懇,他們能清楚地區分什麼是不可預測的、什麼是可預測的,他們注重能帶領他們接近真相的成千上百個小細節,他們能辨識出什麼是噪聲、什麼是信號。 從QQ經濟的健康到戰勝恐怖主義,都依靠預測的質量。《信號與噪聲》可以給你想要的答案。 顯示全部信息 關聯推薦 從海量的大數據中篩選出真正的信號,“黑天鵝”事件也可提前預知! 統計學或預測是讓很多人望而卻步的話題,而本書J是關於這個話題的一本有趣的普及讀物,棒球比賽、職業撲克牌手、政治選舉等例子足以勾起讀者的好奇心,甚至會讓他們廢寢忘食地閱讀,而且其中潛藏著幫你做出正確預測的能量。 在大數據時代作預測可能跟你想像的WQ不同。這本觀點新鮮且原創的書,為我們區分關於未來的預測中哪些是主觀現實、哪些是客觀現實,哪些是干擾預測的噪聲、哪些是有價值的信號,提供了意想不到的啟發性視角。作者還指出,隻要我們明智地從糟糕的預測中吸取教訓,那我們一定會在科學、技術和政治的預測方面取得進步。 這本書與暢銷書《黑天鵝》的觀點有異曲同工之妙。西爾弗認為,人類對自己的預測能力往往過度自信,以至於他們排斥用概率的方法思考問題,也不允許自己的預測模型中存在不確定性。 本書將帶給我們一場睿智的、優雅的、科學與藝術交叉的預測之旅,它將是未來10年*重要的書籍之一。對於每一個關心下一刻可能會發生什麼的人來說,這都是本BD書。 目錄 引 言 XIII 一場錯誤預測引發的悲劇 他們隻是不想讓“音樂”停下來罷了 評級機構為什麼會犯下致命的錯誤? D一幕:房地產泡沫 D二幕:負債經營 幕間休息:從貪婪到恐懼 D三幕:這次還是犯了同樣的錯誤 失敗的預測都是非樣本預測 失敗預測的公式——非樣本,無思考 前事不忘,後事之師 政治學家是名副其實還是徒有虛名? 狐狸型專家:善於變通,更善於做出準確的預測 刺蝟型專家更適合做電視節目嘉賓 引 言 XIII D一章 預測失敗的災難性後果 一場錯誤預測引發的悲劇 他們隻是不想讓“音樂”停下來罷了 評級機構為什麼會犯下致命的錯誤? D一幕:房地產泡沫 D二幕:負債經營 幕間休息:從貪婪到恐懼 D三幕:這次還是犯了同樣的錯誤 失敗的預測都是非樣本預測 失敗預測的公式——非樣本,無思考 前事不忘,後事之師 D二章 政治選舉預測:狐狸和刺蝟,誰更聰明? 政治學家是名副其實還是徒有虛名? 狐狸型專家:善於變通,更善於做出準確的預測 刺蝟型專家更適合做電視節目嘉賓 政治預測為什麼常常失敗? 狐狸型預測方法 原則一:用概率的方法思考問題 原則二:JT的預測是你以後人生的D一個預測 原則三:尋求共識 定性信息與定量信息同等重要 做出客觀的預測並非易事 D三章 棒球比賽預測:球探和數據怪纔,誰更勝一籌? 構建棒球比賽的預測繫統 全SJZ豐富的統計數據庫 老化曲線與相似分數 球探與數據怪纔的矛盾衝突 繫統與球探的對決:球探贏了 球探和數據怪纔的偏見 生理指標與心理指標 信息是決定預測成敗的關鍵 並不是信息越多,預測J越成功 《點球成金》的真正意義 D四章 天氣預測:蝴蝶扇動翅膀,有可能引起龍卷風 我們真能準確地預測天氣嗎? 氣像預報簡史 用矩陣來預測天氣 混沌理論與蝴蝶效應 視覺化預測與抽像化預測 被雷電擊中的概率越來越小了 什麼樣的預測纔算是好預測? 商業競爭如何使預測變得更糟糕? 天氣預報說降水概率為%,你出門會帶傘嗎? 盡可能地做出準確預測 D五章 地震預測:一個困惑了人類 年的難題 地震可以預測嗎? “聖杯”根本J不存在 我們對於地震的了解 究竟是信號還是噪聲? 那些以失敗收場的地震預測 過度擬合模型:將噪聲誤認為信號 年日本大地震引發的思考 地震震級的上限是多少? 被審判的預測科學 D六章 經濟預測: 經濟學家為什麼沒有預測到 年經濟危機? 不可忽視預測中的不確定性 經濟學家都是理性的嗎? 相關的兩個經濟變量未必互為因果 變化莫測的經濟 經濟數據中充滿噪聲 經濟是一個動態繫統,不是一個方程式 經濟預測中不可避免地會存在偏見 克服預測偏見的兩種選擇 D七章 傳染性疾病預測:禽流感為何會突然爆發,又突然消失? 人們又一次高估了HN 的致命率 外推法的危害——艾滋病感染人數被低估了一半 為什麼 年的流感預測會失敗? 自我實現預測與自我否定預測 預測模型越簡單越好,還是越復雜越好? 所有的預測都失敗了 預測是為了讓損失Z小化 D八章 貝葉斯定理:隻有正確的預測纔能讓我們更接近真相 成功的賭客是如何思考問題的? 貝葉斯留下的寶貴遺產 概率、預測與科學進步 簡單的運算推導出重大的預測 為什麼大數據時代的預測更容易失敗? D統計數據偏離了貝葉斯定理 成功踐行貝葉斯定理的體育賭客 通往真理的貝葉斯之路 D九章 GJ像棋大戰:計算機與人類的智能博弈 GJ像棋的人機大戰 GJ像棋比賽預測和啟發法 開局階段:D立思考能力更重要 中局階段:寬度與深度的兩難選擇 殘局階段:計算機能力方面的較量 計算機戰勝了人類 GJ像棋大師為何敗給了“深藍”計算機? 計算機擅長做什麼? 用試錯法提高計算機的預測能力 克服人類的技術盲點 D十章 撲克牌遊戲:如何從 種組合中猜出對手的底牌? 是心理遊戲,也是數學遊戲 出色的撲克牌玩家如何讀出對手的牌? 是棄牌還是跟注,如何選擇? 虛張聲勢,讓對手猜不出你的底牌 學習曲線與二八原則亦適用於預測領域 撲克牌經濟的繁榮 撲克牌經濟泡沫的破滅 既靠運氣也拼技能 我們對於撲克牌遊戲的妄想 以過程而不是結果為導向 D十一章 股票市場:非理性交易者的存在讓價格泡沫不可避免 貝葉斯定理SJ中的價碼牌 預測市場中的“無形的手” 群體預測往往優於個體預測 有效市場假說理論的緣起 過去的表現不代表未來的結果 技術分析法並不能預測股市 有效市場假說的 種形式 追漲殺跌的股市投資策略真能獲利嗎? D有效市場假說遇到非理性繁榮 羊群效應催生股市泡沫 過度自信的投資者逃不開“贏家的詛咒” 股市泡沫需要很長時間纔能被擠出 有時,價格的確是錯誤的! 金融市場中的噪聲 直覺判斷讓投資者深陷“高買低賣”的誤區 有沒有可能預測到市場泡沫的出現? D十二章 溫室效應:未來 年,QQ氣溫會上升還是下降? 溫室效應真會導致QQ氣溫變暖嗎? 溫室效應假說的 種懷疑論 對“QQ氣溫會持續升高”預測的批判 達成共識的預測結果 不能把所有雞蛋都放在一個籃子裡 氣候科學不是“火箭科學” 模型越復雜,預測越糟糕 氣候預測中的 類不確定性 評判氣候預測準確性的時刻到了 “QQ變冷”事件的教訓 正確的預測JD離不開科學的方法 氣溫變化趨勢的真相 政治與科學的針鋒相對 D十三章 恐怖主義: 比“?”更嚴重的恐怖襲擊事件會發生嗎? 信號無處不在 你不知道的不代表不會發生 “?”恐怖襲擊事件是“已知的未知”? 用數學的方法研究恐怖主義 用統計學的方法測量恐怖主義 級恐怖襲擊很可能會發生 為什麼恐怖分子不去炸購物中心? 如何辨識恐怖襲擊的信號? 結束語 致 謝 顯示全部信息 在線試讀 經濟預測中不可避免地會存在偏見 如果你想進行經濟預測,Z好的選擇J是查看平均預測或群體預測,而不是求助於某個經濟學家。我對“調查”的研究顯示,群體預測總是比個體預測更準確,在預測GDP增長、失業率和通貨膨脹這三個方面,群體預測比個體預測的準確率分別高出20%、10%和30%。通過研究許多領域的預測結果,人們發現幾乎所有的群體預測都優於個體預測。 然而,雖說群體預測優於個體預測這一觀念已成為重要的經驗性規律,可是D預測與事實有很大的出入時,這一觀念有時J會成為蹩腳的借口。群體預測是由個體預測組成的,如果個體預測的質量提高了,群體預測的質量也會提高。另外,在現實生活中,經濟群體預測的質量也很差勁兒,所以還有很大的提升空間。 大多數經濟學家作預測時,會在一定程度上依賴自己的判斷,而不是依據統計模型輸出的信息進行預測。考慮到數據是那麼雜亂,這種做法或許是有益的。波士頓聯儲前副總裁斯蒂芬?K?麥克內斯曾經進行過一項研究,他發現根據統計學預測方法對人為的判斷進行調整會使預測的準確率提高約15%。20世紀七八十年代計算機開始廣泛使用時,人們普遍認為統計模型能夠“解決”經濟預測問題。但是,改進的技術無法掩蓋對經濟領域理論認識的缺乏,隻會讓經濟學家更加快速、更加煞費苦心地將噪聲誤認為是信號。看似前景不錯的預測模型在某些方面一敗塗地,Z後慘遭淘汰。在其他領域,比如那一時期的地震預測,也會遭遇這樣的狀況。 援引某個人為判斷也會帶來潛在的偏見。人們在進行預測時,會傾向於使預測滿足自己的經濟動機或政治信仰。人們或許太過自負,即使事實和環境要求他做出改變,他也不願對自己的預測進行修正。哈祖斯告訴我:“我認為人們JD有這樣的傾向,急切地希望事情能按照自己希望的方式發展下去。” 是否有經濟學家更擅長把握這種權衡的度?預測出上一次經濟衰退的經濟學家是不是也可以預測出下一次經濟衰退?這個問題有一個FC有趣的答案。 用於評判預測技能的統計測試,在應用於“調查”時給出了否定的結果。也J是說,從這份調查中,人們似乎找不到證據證明某些經濟學家總是比其他同行出色。然而,對另一個小組——“藍籌經濟調查報告”——的研究卻總能給出肯定的結果。經濟預測中顯然少不了運氣的成分,暴躁或是頑固的經濟學家偶爾也會做出正確預測。但是對“藍籌經濟調查報告”的多項研究發現,長期來看,某些經濟學家似乎確實要比其他同行略勝一籌。 這兩份調查有什麼不同呢?“專業預測人員情況調查”是匿名操作的:每位經濟學家隨機分配一個身份標識號碼,他們在不同的調查中會一直使用這個號碼,但是不會暴露自己的身份和職業。而在“藍籌預測調查報告”中,每個人的預測都標有其姓名和曾經獲得的榮譽。 經濟預測中不可避免地會存在偏見 如果你想進行經濟預測,Z好的選擇J是查看平均預測或群體預測,而不是求助於某個經濟學家。我對“調查”的研究顯示,群體預測總是比個體預測更準確,在預測GDP增長、失業率和通貨膨脹這三個方面,群體預測比個體預測的準確率分別高出20%、10%和30%。通過研究許多領域的預測結果,人們發現幾乎所有的群體預測都優於個體預測。 然而,雖說群體預測優於個體預測這一觀念已成為重要的經驗性規律,可是D預測與事實有很大的出入時,這一觀念有時J會成為蹩腳的借口。群體預測是由個體預測組成的,如果個體預測的質量提高了,群體預測的質量也會提高。另外,在現實生活中,經濟群體預測的質量也很差勁兒,所以還有很大的提升空間。 大多數經濟學家作預測時,會在一定程度上依賴自己的判斷,而不是依據統計模型輸出的信息進行預測。考慮到數據是那麼雜亂,這種做法或許是有益的。波士頓聯儲前副總裁斯蒂芬?K? 麥克內斯曾經進行過一項研究,他發現根據統計學預測方法對人為的判斷進行調整會使預測的準確率提高約15%。20 世紀七八十年代計算機開始廣泛使用時,人們普遍認為統計模型能夠“解決”經濟預測問題。但是,改進的技術無法掩蓋對經濟領域理論認識的缺乏,隻會讓經濟學家更加快速、更加煞費苦心地將噪聲誤認為是信號。看似前景不錯的預測模型在某些方面一敗塗地,Z後慘遭淘汰。在其他領域,比如那一時期的地震預測,也會遭遇這樣的狀況。 援引某個人為判斷也會帶來潛在的偏見。人們在進行預測時,會傾向於使預測滿足自己的經濟動機或政治信仰。人們或許太過自負,即使事實和環境要求他做出改變,他也不願對自己的預測進行修正。哈祖斯告訴我:“我認為人們JD有這樣的傾向,急切地希望事情能按照自己希望的方式發展下去。” 是否有經濟學家更擅長把握這種權衡的度?預測出上一次經濟衰退的經濟學家是不是也可以預測出下一次經濟衰退?這個問題有一個FC有趣的答案。 用於評判預測技能的統計測試,在應用於“調查”時給出了否定的結果。也J是說,從這份調查中,人們似乎找不到證據證明某些經濟學家總是比其他同行出色。然而,對另一個小組——“藍籌經濟調查報告”——的研究卻總能給出肯定的結果。經濟預測中顯然少不了運氣的成分,暴躁或是頑固的經濟學家偶爾也會做出正確預測。但是對“藍籌經濟調查報告”的多項研究發現,長期來看,某些經濟學家似乎確實要比其他同行略勝一籌。 這兩份調查有什麼不同呢?“專業預測人員情況調查”是匿名操作的:每位經濟學家隨機分配一個身份標識號碼,他們在不同的調查中會一直使用這個號碼,但是不會暴露自己的身份和職業。而在 “藍籌預測調查報告”中,每個人的預測都標有其姓名和曾經獲得的榮譽。 D預測結果標有自己的名字時,你的動機J會發生改變。比如,如果你在一家名不見經傳的小公司工作,你的那些大膽預測J會備受重視,不管這個預測是準確的還是離譜的,你都會受人關注,這是合情合理的。而像高盛這樣的大公司,為了能達成一致意見,預測反而會比較保守。 事實上,在“藍籌經濟調查報告”中,已經發現了這個特點:名氣越小,作預測時J越不怕冒險。一項研究把這一現像稱為“合理偏見”。即使知道這個預測十分冒險,你還是會為“大比分”放手一搏,這樣做是可以理解的。反過來,如果你已經聲名鵲起,即便自己手頭的數據要求你做出大膽的預測,你可能也不願意做出過於大膽的預測。 這兩種對聲譽的關注都有可能使你遠離做出Z誠實、Z準確的預測這一目標,甚至還會使群體預測更加糟糕。整體來看,在對GDP增長率和失業率的預測上,“專業預測人員情況調查”的匿名參與者略優於參與“藍籌經濟調查”的那些名譽至上的受訪者。 2011 年日本大地震引發的思考 將噪聲誤認為信號的傾向,有時會給現實SJ帶來J可怕的後果。在日本,盡管地震活動J其頻繁,但2011 年那次災難性的地震還是讓這個國家措手不及。福島核反應堆是按照可抵御8.6 級地震的標準設計的,無法承受震級高達9.1 級的地震。考古資料表明,2011 年由地震引發的約40 米高的海浪在歷SS曾經引發過多次海嘯,但這次人們明顯忘記了或者根本無視這些慘痛的案例。 9.1 級地震在全SJ都很少見,沒人能確切地預測到這樣的地震會發生在哪個10 年裡,更不用說具體的日期了。而在日本,一些科學家和ZY計劃員卻排除了近期發生地震的可能性。這一點J反映了日本的地震預測模型是過度擬合模型。 在圖5–6A中,我畫出了2011 年日本福島地震震中附近發生地震的歷史頻率。這些數據中的地震級別逐漸加大,卻沒有達到3 月11 日的9.1 級。通過看圖你會發現,數據幾乎遵循著古登堡– 裡克特法則的那種直線預測模型,然而,在7.5 級處出現了一個拐點,而且,該地區自從1964 年發生了一場震級達8.0 級的地震後,再沒有發生過震級更大的地震,於是,這條線似乎開始向下彎曲了。 究竟該如何連接這些數據點呢?如果嚴格依據古登堡– 裡克特法則,J要忽略圖像中的拐點,沿直線將數據點連接起來,如圖5–6B所示。若是按地震學家口中的“特性擬合”法(見圖5–6C),即描述這一地區地震發生的歷史頻率,那麼,J會把那個拐點D成是真實情況,十分肯定這一地區發生7.6 級以上地震的可能性不大。 看似無害的決定,卻會導致大相徑庭的結果,從日本福島的例子來看,不同的選擇會關繫到是否認為這一地區會發生9.1 級大地震。特性擬合模型暗示9.1 級地震需要約13 000 年纔可能發生一次,這樣看來,這一地區幾乎J不可能發生這樣大級別的地震。另外,古登堡– 裡克特法則卻預測,9.1 級地震平均每300 年纔可以預見一次,確實不常見,但也不是JW可能,風險還是存在的,而像日本這樣富有的國家,是能夠為此作好準備的。 Z近,特性擬合模型和日本東北部地區的地震記錄擬合得更加緊密了。但是正如我們所知,WQ吻合未必J是一件好事,很有可能會變成過度擬合模型,而且,在匹配真實關繫時,這種模型會表現得更糟。 在這種情況下,過度擬合的模型會嚴重低估這一地區發生災難性大地震的可能性。特性擬合的問題J在於它依靠的是十分微弱的信號。之前提到,日本福島地震發生前的45 年內,日本東北部地區從未發生過8 級及以上的地震。然而,這些都還隻是以稀有事件為開端的事例:古登堡– 裡克特法則預測日本東北部地區約30 年纔會發生一次稀有事件,而30 年一遇的事件拖到45 年的時候發生也沒什麼稀奇,J算沒有發生,也不奇怪。J好比一個擊球率達0.300 的擊球手,某天狀態不好,輸贏比達到了5 ∶ 0,這也不足為奇。另外,日本東北部地區發生過好幾次中等級別達到7.0 級的地震,DSJ其他地區出現類似情況時,常預示著會有更大級別的地震發生,那又有什麼理由認為日本東北部地區會是個特例呢? 實際上,日本以及其他地區的地震學家為此做出了合理解釋。比如,他們表明該區域的海底構造特殊、年代久遠、溫度相對較低且密度較大,能夠阻止這樣的大地震形成。另一些地震學家則觀察到2004 年以前,這種類型的海底從來沒有發生過9 級地震。 這類結論有點兒像認定了某個來自賓夕法尼亞的家伙不可能會中彩票的頭等獎,因為過去的3 周無人獲此大獎。9 級地震J像彩票頭獎,中獎人數少,時間間隔長。實際上,2004 年之前,全SJ有記載的9 級地震總共纔發生3 次。9 級地震究竟在何種情形下纔會發生,關於這個問題,沒有足夠的數據來支撐高度具體的結論。日本不是這一模型失敗的1例,蘇門答臘島也遇到過相似的問題。有一段時間,蘇門答臘島發生了一繫列震級達到7 級的地震,隨後卻並沒有發生更大級別的地震。但在2004 年12 月,一場震級達9.2 級的特大地震襲擊了蘇門答臘島。 古登堡– 裡克特法則並不能預測地震的具體時間,無論是蘇門答臘島地震還日本福島地震都是這樣,但是這一法則考慮到了發生地震的概率。目前,許多更精細的地震預測活動都失敗了,古登堡– 裡克特法則的表現都還不錯。 顯示全部信息
" |