預測是一朵帶刺的玫瑰
從幾千年前的巫祝A開始，人類就開始預測未來。隻不過那個時候的預測，往往是基於極其樸素的世界運行原理：例如以“水為萬物生長和運動之源”為核心的泰勒斯假說和以“對立、協同、轉換”為核心的陰陽學說；又或者一些重大事件之間的偶發聯繫，例如某一次日食後出現了持續數月的大旱。至於本書的重頭戲——關於末日的預測，在宗教與科學“相愛相殺”的人類歷史演進中，從來就沒有缺席過。然而，以現代科學的標準看，除了少量極其罕見的嚴肅討論外（本書將介紹幾乎所有有價值的討論），這類“預測”不過是人類的卑微理性在無常的自然和縹緲的未來面前無畏的掙扎罷了。
基於預測所使用的理論和方法的堅實程度以及相應的對於預測結果正確性的信念，我們可以大致把預測分為三類。一個是基於嚴格理論的預測結果，例如基於量子力學理論，預測某粒子在某時間段內出現在某區域內的概率。這種預測可以用來檢驗相應的物理理論是否正確。另一個是對未來的定性預言，這些預言往往來自未來學家和科幻作家，例如法國小說家儒勒·凡爾納（Jules Verne）在《從地球到月球》中對人類登月和在《海底兩萬裡》中對海底潛艇的預言，世界著名未來學家阿爾文·托夫勒（Alvin Tofer）在《第三次浪潮》中對互聯網科技時代的預言，以及法國預言家諾查丹瑪斯（Nostradamus）在《諸世紀》中對世界末日的預言，等等。這類預言更像是猜測而非預測，往往隻能給出定性的判斷，而不能給出定量的精確度。有時，預言模糊到可以有不同的解釋方法，以至於連定性的判斷都做不到，例如我們對李淳風和袁天罡所著的《推背圖》的解讀。而我所感興趣的預測，是介於兩種之間的第三類：既沒有一套堅實的理論作為支撐，也不是漫無邊際的未來學說，而是基於手頭已經掌握的一些數據，利用概率統計、數據挖掘或者機器學習的方法，對未知的數據或者未來的發展進行的可量化的預測。
對於自然科學和努力向自然科學靠近的社會科學來說，“解釋—預測—干預”（或稱“解釋—預測—控制”）是我們回答科學問題的三部曲，其任務分別是：（1）提出理論模型，解釋已經觀察到的現像；（2）預測未被觀察到的數據或現像（可能是缺失的數據，也可能是未來纔會發生的事件）；（3）通過對真實繫統進行具體的干預以達到提前預設的目標。針對一個現像“看起來正確”的解釋，並不能說明相應的理論或機制就是正確的，而僅僅是指出了一種正確的可能性。事實上，這種解釋的可信度往往都是比較低的。
很多社會科學研究都是典型的“事後諸葛亮”，當一個事件發生之後，總能提出一些經過修修補補的理論模型，對已經發生的事件給出定性正確甚至定量精確的解釋。自然科學亦是如此，通過添加越來越多的本輪和均輪，打了補丁的托勒密的地心說“苟延殘喘”了1500 多年。經濟學界有一句諺語，大意是“能預測經濟危機的理論一個也沒有，能解釋經濟危機的理論卻俯拾皆是”，從這個意義上來講，預測一般要難於解釋，正確預測對於理論正確性的背書力度也要強於解釋。當然，這裡的更難主要是指預測尚未發生的事，而不是缺失的數據，預測後者通常要更容易一些。正確的預測也可能翻車，比如地心說也可以成功預測很多天像，隻是隨著測量精度的提升以及對預測精度要求的相應提高，錯誤的理論終究會破綻百出。與解釋和預測相比，成功的干預可以極大地增強我們對理論正確性和適用性的信心，因為在不知道或者弄錯了因果關繫的前提下，恰好出現我們期望的干預結果的可能性是很小的。
盡管對於理論正確性的背書力度是干預超過預測、預測超過解釋，但我認為預測在科學研究，特別是社會科學研究中處於重要的位置，因為社會科學的研究對像具有極大的不完備性和不確定性。影響社會發展的因素數不勝數，任何理論都不可能將它們全盤納入，而單個因素也是不獨立且不穩定的，會受外部環境和其他因素的影響。因此，在一個封閉的環境中，通過設計可控的重復實驗，觀察干預的結果，從而對社會理論進行定量驗證，是不太可能實現或者成本極高，而這恰恰是物理科學和其他自然科學得以螺旋式前進的基本方法。在這個前提下，預測尚未觀察或尚未發生的數據或事件，就成了檢驗理論正確性有效的手段。
另外，從更廣泛的意義上講，干預中必然包含預測，因為我們需要提前預測干預的結果，並且和真實的實驗結果做對比。由於干預工作的絕大部分工作量往往都集中在實驗設計和實施，所以我們往往忘記干預之前總是需要做預測的。一種可能的做法是，在干預實驗之前沒有理論和預測，而需要根據干預實驗的結果“重新發現”合適的理論，這種因果倒置的研究方法是極度危險的，因為理論模型會根據干預實驗的結果進行各種調整，從而變成一個過擬合的理論。以上林林總總，導致了社會科學領域的理論模型和實驗結果高度不可信。隻有當一套理論解釋還能夠持續地、高精度地對尚未發生的事件進行預測時，我們纔能真正信服。
得益於可獲取數據量的暴漲和計算能力的飛升，預測在現代社會學、經濟學、管理學乃至政治學中似乎已經開始並即將扮演統治性的重要地位！這些預測涉及我們可以想到和難以想到的方方面面：從一個人的民族、信仰、政治態度、性別取向，到一個人是否罹患抑郁癥；從社交網絡未來的演化，到生物網絡中未知的鏈接；從恐怖襲擊可能發生的時間和空間到各個國家和地區政治大選的終結果……在本書中，各位讀者還可以看到更多更奇妙的“可供預測的對像”，而在閱讀這本書之前，大家恐怕都不會想到這些對像也可以用科學的方式進行預測。
然而，預測絕不僅僅是一朵盛開的玫瑰，而是一朵帶刺的玫瑰。即便排除因為實驗人員有意識或者無意識驅動預測結果向有利於理論的方向滑動而帶來的問題、錯誤地使用數據和方法，以及錯誤地理解和應用預測的結果，都有可能帶來災難性的後果。下面我選擇三個較為重要的批判性論題，供各位讀者討論。
，預測中存在自證陷阱和自否偏差。預測都是在某種前提或環境下做出來的，而預測本身有可能改變這種環境。所以，我們看到的正確或者錯誤，有可能都是預測本身帶來的，而和預測結果沒有關繫。首先，很多預測具有自證的特性。例如，基金委員會召集資深專家或者利用機器學習的方法，試圖預測未來學者能夠在哪些研究方向中做出顛覆性或繫統性的貢獻。這就是一個典型的自證場景。因為無論是專家意見、機器學習還是隨機亂說，隻要基金委員會處在正常的邏輯下，必然會大幅提高對這些“重要方向”的支持力度，那麼學者更可能在這些方向做出更多貢獻，而這又反過來證明了預測的正確性。其次，很多預測具有自否的特性。比如，我們通過對治安事件時空模式的分析，預測出了接下來一段時間容易出現街頭犯罪的場所，於是公安部門在相應的時間和地點增加了巡邏的警力，結果街頭犯罪量大幅降低。請問，這個預測本身是正確的還是錯誤的呢？又比如我們自動監測慢性腎病患者的用藥和飲食習慣，發現有一個患者經常不按時按量服藥並且不忌口，根據大量病歷樣本，我們預測他2年之後會轉為尿毒癥。患者震驚於這個警告，然後改變了自己的習慣，盡可能配合醫囑，結果5年過去了，病情也沒有進一步發展。請問，這個預測本身是正確的還是錯誤的呢？
第二，數據偏差會降低預測結果的適用度。如果用於預測的數據不能很好地表示該理論或模型所應用或針對的目標群體，就會出現數據的表示偏差，這是常見的數據偏差之一。例如，想通過分析微博的語言來看整個中國民眾的情緒狀況和幸福水平，就可能會出現表示偏差，因為微博用戶全體或隨機抽樣會對年輕人“表示過度”而對老年人“表示不足”。因此，從微博數據中得到的中國民眾幸福水平，以及通過進一步文本分析獲取的中國民眾訴求，可能無法準確反映老年人的情況。也就是說，用被某來源數據訓練出來的模型，有可能對於該來源中表示不足的群體並不適用或者效果較差。如果把模型和結論用到其他來源的數據集中，則需要更加小心，因為一般而言都會存在表示偏差。例如 ImageNetA 中來自中國和印度的照片隻占1% 和2%，因此直接用ImageNet 訓練出來的分類器在分類物品和人的時候，如果這個圖片來自中國或印度，其精確度就顯著低於平均水平。
第三，預測可能會加劇偏見和歧視。即便數據本身是真實的，如果數據中存在大量的負面內容，基於這些數據的預測結果就可能學會甚至放大與這些負面內容相關的偏見。例如，基於谷歌新聞、維基百科等超大規模歷史語料庫數據的預訓練模型（該模型的結果已經被廣泛應用於自然語言處理的各種分析和預測工作中）所得到的單詞的向量表示中，已經沉澱了嚴重的性別和倫理方面的刻板印像，比如詞語“護士”和女性高度相關，詞語“工程師”和男性高度相關，詞語“同性戀”與疾病、恥辱高度相關。我們現在努力消除的一些偏見可能在歷史語料庫中很常見，如果不加分辨地應用，聰明的預測算法可能很快就學會了這些偏見。
哪怕直接應用真實的數據，也可能導致加劇歧視的結果。在職場中性別歧視非常嚴重，例如某互聯網求職簡歷數據顯示，在同等學歷條件和行業背景下，女性要多工作5～10 年纔能獲得和男性相當的薪水。使用這類數據進行職位推薦（本質上是預測你適合什麼樣的職位，然後把這個職位推薦給你），結果必然自帶歧視。例如，谷歌廣告繫統的人工智能算法在推送職位招聘信息的時候，同等教育背景和工作經歷下的男性要比女性以高得多的頻率收到高收入職位的招聘信息。如果我們有一組人力資源數據，數據中顯示，每十個前1% 高年薪的高端職位中隻有一位女性，於是“性別為女性”這個特征值在獲得高端職位匹配預測中將是一個負面的因素，算法的結果自然也將避免給女性推送高端職位信息。在沒有基於大數據預測和推薦服務的情況下，男性和女性獲得高端職位信息的數量可能相差不大，這種情況下女性真正獲聘高端職位的可能性也遠低於男性。如今，計算機的自動服務在源頭上就讓女性獲得信息的機會更少，所以可以預測，女性獲得高端職位的比例將進一步降低，而這又再次降低新數據中女性獲得高端職位的比例，從而讓算法更少向女性推薦高端職位。這種惡性循環，會進一步加劇原本就存在的性別歧視和不公。
我們正在進入一個“一切皆可預測”的時代，但諸位手頭的這本《概率思維預測未來》，本質上不是講預測的，而是講概率論的，因此，我的序言起到的是拋磚引玉的作用。我隻是借著寫序的地方，表達一些關於預測有好有壞的看法。
