我們生活在算法的時代。我們去哪個學校上學，是否能夠獲得車貸、需要為健康保險支付多少錢，這些對我們的生活有著重大影響的決定越來越由不得人類自己，而是被各種數學模型所操控。從理論上來說，模型可以更好地促進公平，因為每個人適用於同等的規則，不存在偏袒。

但凱西•奧尼爾這本迫切而且必要的書卻告訴我們，事實剛好相反。如今，被廣泛使用的算法模型，即使其本身充斥著錯誤，也依舊不受管束、不被質疑。其中，“強化歧視”的問題特別值得反思：如果一個窮學生因為被借貸模型認定為風險過高（僅僅是根據該學生所生活的街區就得出此判斷）而貸不了款，那麼接下來，他就會被剝奪能夠幫他擺脫貧困的接受優質教育機會，繼而陷入一繫列的惡性循環。

通過追蹤一個人的生命軌跡，凱西•奧尼爾試圖在書中揭露數學殺傷性武器對塑造個人和社會未來的影響。這些數學殺傷性武器給教師和學生評分，篩選簡歷，批準貸款或拒絕貸款，評估員工，甚至監督我們的健康狀況，因此凱西•奧尼爾呼吁建模者，要對自己的算法承擔更多責任，並且呼吁政策制定者對模型的使用進行監督管理。她指出，對模型的掌控*終取決於我們自己。這本重要的書迫使我們直面問題，揭示真理，要求改變。

奧尼爾已經成為大數據領域的揭發人……在她這本重要的新書中……她提出了特別發人深省的觀點，即算法的錯誤決定是如何產生滾雪球般令人難以置信的破壞力的。——《時代周刊》

奧尼爾的這本書使我們恐慌地看到，算法是如何日益掌控我們的……她在數學和數學模型風險方面的知識，加上她擅長類比的天賦，使她成為數學殺傷性武器的觀察員之一……她很好地解釋了掌控著我們生活的算法其實無處不在，危機四伏。——《紐約時報》

《算法霸權》講述的是硅谷支持者不會外傳的故事……這本書簡潔有力地揭露出使用數據信息評估信用、警務戰術等所有事情的弊端……這本書對於總是傾向於認為數據不會撒謊的人來說，振聾發聵。——路透社

這本書是21世紀公民的手冊，它勝出其他大數據相關書籍的地方在於：內容淺顯易懂，具有批判性，切合當下。——《金融時報》

這本書微妙地提醒，大數據隻有在為人類所掌控時纔是好的數學工具。——《連線》

一本發人深省的好書。

——尤瓦爾•赫拉利，《人類簡史》《未來簡史》《今日簡史》作者

凱西•奧尼爾看透大數據的本質，形勢並不那麼美好。《算法霸權》揭開了算法的面紗，算法剝削人類，存在偏見，是一種中性的數學工具。這本書智慧、兇猛，非常必要。

——喬丹•艾倫伯格  美國威斯康星大學數學教授 《魔鬼數學》作者

小時候，我常常盯著車窗外的車流，研究車牌號。我會把每個車牌號分解成素數，如：45=3*3*5。這叫做因式分解，是我喜歡的研究消遣。我這個小數學迷對素數問題特別感興趣。

我對數學的愛好終發展成熱愛。14歲時我參加數學大本營，帶回來一個心愛的魔方。數學使我徹底逃脫現實世界的混亂。經過一步步證明，數學不斷發展，知識領域不斷擴大。我也加入到數學領域中，上大學時主修數學，後來取得博士學位。我的論文研究代數理論，這一領域根源於我小時候愛做的因式分解。後，我成為巴納德學院的終身教授，該學院與哥倫比亞大學聯合培養數學繫。

後來，我做了一個重大的改變。我從大學離職，到對衝基金D.E.Shaw擔任數學分析專家。我離開學術界進入到金融領域，把抽像的數學理論應用到實踐中。我們所做的數據分析為一個又一個賬戶變現數。起初，在這新研究室研究全球經濟我感到興奮又震撼。但是，我在那兒工作一年多以後，2008年的秋天，全球金融危機爆發。

很明顯，金融危機使得我曾經的庇護所數學不僅卷入了世界問題中，還助推了其中的許多問題。房地產危機，重大金融機構倒閉，失業率上升，數學家通過運用神奇的公式成為這些問題的幫兇。而且，數學的功能特別強大，這一點我非常喜歡，一旦數學與科技結合，繫統的效率會提高，規模擴大，混亂和不幸就會倍增，我現在意識到這是一種缺陷。

要是我們當時頭腦清醒的話，就會後退一步思考，數學是怎麼被我們誤用的，我們該如何防止未來發生同樣的災禍？但是，金融危機以後，數學新技術比以往更熱門，甚至延伸到更多領域，每時每刻都在攪動著海量信息，大多數數據都是由社交媒體或者電子商務網站搜刮而來。而且，數學逐漸不再關注全球金融市場動態，而是關注我們人類。數學家和統計學家一直在研究我們的欲望、行動和消能費力。他們一直在預測我們的信用，評估學生、職員、情人以及罪犯的潛力。

這是大數據經濟，收益前景非常可觀。一個電腦程序可以在1-2秒內快速掃描成千上萬份簡歷或是貸款申請，然後整理成清晰的列表，有潛力的求職者位居前列。這不僅節約時間，而且還公平客觀。畢竟，電腦程序不像人類帶有個人偏見，而隻是一種處理無情數字的機器。到2010年左右，數學破天荒地介入人類事物，公眾熱烈歡迎數學這一工具。

但是，我看到了麻煩。數學應用助推數據經濟，但這些應用的建立是基於不可靠的人類所做的選擇。有些選擇無疑是出於好意。但是，其中有許多模型把人類偏見、誤解和偏愛編入軟件繫統，這些繫統日益操控我們的生活。這些數學模型像上帝一樣模糊不清，隻有該領域的牧師即數學家和計算機科學家纔能明白模型是如何運作的。人們對模型得出的結論毫無爭議，從不上訴，即使結論是錯誤的或是有害的。而且模型往往會懲罰社會中的窮人和受壓迫的人，而富人因此更加富有。

我為這些有害模型提出了一個名稱：數學毀滅武器，或者簡寫成WMD。接下來我將用一個例子向你們闡明這種模型的破壞特點。

這個案例和很多案例一樣，出發點是好的。2007年，華盛頓特區新上任市長艾德裡安•芬提（Adrian Fenty）下定決心改善本市教學質量不佳的學校。當時，幾乎每兩個中學生中就有一個九年級學生勉強纔能畢業，隻有8%的八年級學生在數學上的表現達標。市長芬提聘用教育改革者李陽熙（Michelle Rhee）擔任華盛頓市教育總督。

當時流行的理論是學生學得不夠好是因為老師教得不好。所以，在2009年，教育總督李陽熙落實開除教學表現差的教師的計劃。這是全美教學質量差的地區的一種趨勢，而且從繫統工程的角度看，這種想法非常有意義：評估教師。開除差的教師，把好的老師調到有用武之地的地方發揮他們的纔干。用數據專家的話來說就是，“優化”學校繫統，盡可能保證提供給孩子好的教育。除了“差”教師，誰還能與此爭論？教育總督李陽熙開發了一個叫作IMPACT的教師評估工具，在2009-2010學年底，華盛頓特區開除了得分墊底的2%的教師。第二年年底，又開除5%，也就是206名教師。

華盛頓特區五年級教師薩拉•韋索基（Sarah Wysocki）似乎沒有任何理由擔心。她在麥克法蘭中學僅任教兩年就得到校長和學生家長的好評。校長表揚她對孩子專心，學生家長稱她是“我接觸過的老師中好的一個”。

但是在2010-2011年年底，韋索基得到IMPACT的評分很慘。她的問題來自一個叫作增值模型的新評分繫統，該繫統用於評估數學和語言技能教學的效果。這個繫統算法得出的分數占她總評分的一半，並且重要性超過學校領導和社區的好評。華盛頓特區別無選擇隻好開除她，以及IMPACT得分在限度之下的另外205名教師。

這看起來不像是政治破壞或者分數定論。該學區的這一評估辦法確實有點邏輯。畢竟學校領導有可能是糟糕教師的朋友。他們可能喜歡他們的個性或是表面上的盡心盡力。糟糕教師看起來“挺好”。所以，像許多其他學校繫統一樣，華盛頓特區願意減少人為偏差，更加注重分數，因為分數是根據實實在在的結果即數學和閱讀成績得出的。華盛頓特區官員承諾，分數可以清楚說明問題。分數更能體現公平。

韋索基當然覺得這些數字極其不公平，她想知道這些分數怎麼得來的。她後來告訴我說：“我認為沒有人能理解這些分數。”一個優秀的教師怎麼會得到如此低的分數呢？增值模型評估的到底是什麼？

她熟知，評估模型很復雜。華盛頓特區聘用麥斯邁提卡政策研究機構（Mathematica Policy Research），該機構提出這套評估體繫。該機構遇到的難題是測量特區學生的進步，然後計算學生的進步或退步多少能夠歸因於他們的老師。這當然不容易。研究人員知道，許多變量包括學生的社會經濟背景、學習障礙影響等，都能影響學生學習成績。評估算法必須要考慮到這些差異，這就是復雜的一個原因。

企圖減少人類行為、表現以及在算法方面的潛力確實不是一件容易的事情。如果你想要理解麥斯邁提卡政策研究機構處理的是什麼問題，你想像一個住在華盛頓特區東南部貧民區裡的10歲小女孩。一學期以後，她要參加五年級標準化測試。然後她的生活繼續。她可能有家庭矛盾或是家庭經濟困難。也許她正在搬家或是在擔心觸犯了法律的哥哥。也許她不滿意自己的體重或是在學校被欺辱。無論她的生活經歷了什麼，下一學年她要參加六年級學生的標準化測試。

6頁

如果你比較這兩次測試的結果，分數應該會持平，或者希望是提高了。但是如果分數下降，很容易計算她和那些優秀學生之間的分數差距。

但是，老師該為這一差距負多大責任呢？這很難知道，而且麥斯邁提卡政策研究機構的教學評估模型隻有少許數字可以比較。相反，像谷歌這樣的大數據公司，研究人員不斷測試，監測成千上萬個變量。他們可以把任一廣告的字體從藍色改為紅色，每版都投放給一千萬觀眾，然後追蹤哪一版本獲得的點擊率更高。他們根據受眾的反饋微調算法和操作。雖然我對谷歌公司有許多意見，接下來我們將會在本書中探討，但谷歌的這種不斷測試是對數據的有效利用。

想要計算一個人在一個學年內對另一個人的影響更加復雜。韋索基表示：“學習和教學中有太多的因素，很難一一評估。”而且，試圖通過分析二三十個學生的考試成績去評估一名教師的教學水平，從統計學上來說是不可靠的，甚至很可笑。一切皆會出錯，數字太渺小。如果我們要用搜索引擎的嚴格數據分析教師的話，必須隨機挑選幾千個甚至數百萬個學生參加考試。統計師需要大量的數據平衡例外和反常情況。（我們將會看到，數學毀滅武器懲罰的個體往往是多數人中的例外。）

同樣重要的是，數據繫統需要反饋，保證繫統出差錯時能意識到。統計師不斷試錯訓練模型，使之更加智能。若亞馬遜的推薦模型相關性出錯，給十幾歲女孩推薦草坪修剪的工具書，網站的點擊量必定驟降，亞馬遜公司就會不斷調整模型，直到用戶相關性推薦正常為止。但是，如果沒有錯誤反饋，大數據模型就會持續輸出錯誤結果，無法改進。

7頁

我將要在本書中探討的許多數學毀滅武器都是這樣運作的，包括華盛頓學區的增值模型。許多數學毀滅武器定義自己的功能然後證明其輸出結果的合理性。這種模型自我鞏固，極具破壞力，生活中很常見。

麥斯邁提卡政策研究機構的評分繫統給予韋索基和其他205名教師差評之後，華盛頓特區開除了這些教師。但是該評分繫統如何知道自己是否正確呢？無從知道。評分繫統確定這些教師是失敗者，那麼別人就會認為他們是失敗者。206名“差”教師走了。這一事實僅僅能表明該增值模型的效果。該模型正在清理華盛頓特區不合格的教師。

這是數學毀滅武器反饋回路的一個例子。我們將會在本書中看到許多這樣的例子。比如說，雇主逐漸開始使用信用評分繫統來評估求職者。雇主的想法是，及時支付賬單的人更可能準時到崗和遵守規則。但其實，信用評分低的人中也有很多有責任感的人和優秀的雇員。但是，雇主認為信用低和工作表現差正相關，導致信用評分低的人很難找到工作。失業導致他們貧窮，而這又進一步降低了他們的得分，因此他們找工作難上加難。這是一個惡性循環。而雇主永遠也不會知道，他們因為隻關注信用評分而錯過了多少優秀的雇員。在數學毀滅武器中存在許多有害的假設，這些模型包裹著數學的外衣，流行於市場，未經檢測，人們對此卻毫無爭議。

8頁

這突出了數學毀滅武器的另一個常見特征，即往往懲罰窮人。部分原因是數學模型是用來評估數量多的人群。數學毀滅武器擅長巨量，成本低，這也是它們的吸引力所在。相反，富人通常受益於個人投入。高檔律所或者專享預科學校會比快餐連鎖店或者資金短缺的城市學區更依賴推薦和當面交流。我們以後會經常看到，特權階級更多與人打交道，而群眾則由機器操控。

沒有人能給韋索基解釋為什麼她得了這麼低的分數，這已經可以說明問題了。算法就像上帝，數學毀滅武器的裁決就是他的指令。數學毀滅武器像是一個黑盒子，裡面的東西是嚴格保護的公司機密，Mathematica這樣的顧問因此可以收取更多的費用，但它也有另一個目的：如果被評估的人被蒙在鼓裡，他們將不太可能找到繫統的漏洞。他們反而隻是會努力工作，遵守規則，祈禱模型記錄和感激他們的努力。但是，如果人們不能了解模型具體運作方式，就很難對分數提出質疑或者抗議。

多年來，華盛頓教師抱怨他們得到繫統武斷的評分，強烈要求知道分數的由來。他們被告知這是算法的結果，很難解釋。很多教師因此望而卻步不再追究。不幸的是，很多教師被數學嚇到了。但有一個叫作莎拉•拜克絲（Sarah Bax）的數學老師不停地向學區領導、以前的同事詹森•卡姆拉斯問個究竟。反復幾個月之後，卡姆拉斯讓她等一份即將發表的技術報告。拜克絲說：“如果一種標準你自己都無法解釋，你怎麼能保證用它評估人的正當性呢？”但是這就是數學毀滅武器的本質。分析外包給程序員和統計師。通常來說，機器說了算。

9頁

即便如此，薩拉•韋索基深知她的學生標準化測試分數主要是根據公式計算的。她對此有一些疑問。她在麥克法蘭中學任教後一年開學之前，她看到五年級新生在四年級期末考試中取得驚人的好成績。巴納德小學29%的學生位列“高級閱讀水平”，這一數字是該學區平均數的5倍。薩拉的很多學生都來自這個小學。

但是，開學後，她發現很多學生連簡單的句子都讀不好。很久之後，《華盛頓郵報》和《今日美國》調查揭示，該學區41所學校標準化測試有大量塗擦痕跡，包括巴納德小學。大範圍糾正答案表明作弊的可能性很大。有些學校多達70%的考場被懷疑。

這和數學毀滅武器有什麼關繫？有多方面關繫。，教師評估算法是一種改善教學的強大工具，這是算法的目的，華盛頓學校都施行“胡蘿卜加大棒”政策。教師知道如果他們的學生考試不好，他們也會面臨失業風險。教師因此想方設法確保學生通過考試，尤其是在大蕭條期間勞動力市場需求疲軟的時候。與此同時，如果他們的學生表現好於其他學校學生的話，教師和校領導可以得到高達80的獎金。如果你認為這些強有力的激勵政策可以證明試卷被大量塗改和反常高分，就有理由懷疑四年級教師出於害怕或是貪婪修改過學生的試卷。

那麼可想而知，薩拉•韋索基班級的五年級新生入學高分是造假的。如果是這樣的話，來年的成績就會對他們不利，他們的老師也會成為表現不佳者。而韋索基認為這正是她現在的遭遇。這種解釋與家長、同事和校領導的觀察相符，即她確實是一個好教師，也可以澄清事實。

但是，你不能狀告一個數學毀滅武器。這也是數學毀滅武器可怕破壞力的原因之一。模型不會傾聽，也不會屈服，對吸引力、威脅和哄騙以及邏輯通通充耳不聞，即使有充足的理由懷疑得出結論的數據。沒錯，如果自動化繫統明顯出錯或者繫統整體出錯，程序師會修改算法。但多半情況下，程序的裁決不容置疑，而操作程序的人隻能聳聳肩，好像在說，“嘿，你能怎麼樣？”

這正是薩拉•韋索基終得到的學校回復。詹森•卡姆拉斯後來對《華盛頓郵報》表示，塗擦是“暗示性的”，五年級學生的考分也許是錯誤的。但是這不是結論性的證據。他說對韋索基老師的處理是公正的。

你看出矛盾了嗎？一個算法處理大量數據，提出一種可能性即某人可能是糟糕的HR、有風險的借款人、恐怖主義者或者是糟糕的老師。這種可能性換算出的分數能摧毀一個人的生活。但是當有人反擊的時候，作為抗衡證據的“暗示性”塗擦又起不到作用了。以後我們將不斷發現，數學毀滅武器的受害人所需要的證據標準要比算法自身還高。

薩拉•韋索基沒幾天就從被解雇的衝擊中走了出來。很多人包括校長都擔保她是個好老師，她很快在北弗吉利亞富人區的一個學校入了職。所以，由於一個特別可疑的模型，窮學校失去了一個好老師，而不會根據學生考試成績開除教師的富學校得到了一個好老師。

11頁

房產危機發生之後，我意識到數學毀滅武器已經擴散到銀行業並對經濟造成危害。2011年初，我從對衝基金離職。後來我在一家電子商務創業公司擔任數據分析師。因為這個職業關繫，我發現大量數學毀滅武器已經波及到我們能想到的任何一個行業，加劇社會不公平，壓榨弱勢群體。這些數學毀滅武器是如火如荼數據經濟的核心。

為了傳播數學毀滅武器這個名詞，我注冊了一個博客，叫數學寶貝。我的目的是動員同行數學家反對使用草率的數據和帶有偏見的模型，這樣的模型會導致惡性循環。我的博客尤其吸引數據專家，他們提醒我要將數學毀滅武器傳播到新的領域。但是2011年中期，“占領華爾街”事件在下曼哈頓地區突然湧現，我意識到我們該為更廣大的民眾做點事情。上萬民眾聚集，要求經濟正義和經濟問責。但是當我聽到對占領者的采訪時，我發現他們似乎對經濟方面的基本問題一無所知。他們明顯沒有讀過我的博客。（這裡我要多說一句，了解一個繫統的失敗，並不是要求你對這個繫統了如指掌。）

我意識到，我要麼批評他們要麼加入他們，所以我選擇加入他們。不久，我推動哥倫比亞大學交替銀行集團每周開例會，我們在會上討論經濟改革。在這個過程中我意識到，不當大學老師之後的兩次職業冒險，一次是在經濟領域，另一次是在數據科學，給了我絕好的便利接觸推動數學毀滅武器的科技和文化。

如今，不嚴謹的數學模型掌控著廣告業、監獄等領域的經濟。這些數學毀滅武器和迫使薩拉•韋索基結束華盛頓公立學校職業生涯的增值模型有很多相同特點：不透明，不被質疑，解釋不通，這些模型按一定規模分類，定位或者“化利用”數百萬人。大多數數學毀滅武器把運算結果和實際情況混淆，導致惡性循環。

但是學區增值模型和尋找高額發薪日貸款潛在客戶的數學毀滅武器之間有一個重要的區別。這二者有不同的結果。學區得到的是一種政治貨幣，即教師評估得以完成；企業得到的是本位貨幣：鈔票。對於許多運用數學毀滅武器的公司來說，熱錢湧入似乎證明模型奏效了。站在公司的角度，這是有意義的。當公司構建模型尋找客戶或者操控絕望的借款人時，越來越多的盈利表明他們走對路了。問題是利潤後成了真理的像征。認為賺錢就是真理，這樣危險的混淆我們以後還會多次看到。

13頁

這是因為數據學家經常忽視交易接收端的民眾。他們當然明白數學毀滅武器必然會誤解民眾一段時間，把人群歸錯類，剝奪他們找到工作或者買房的機會。但是一般來說，數學模型操作者不會思考那些錯誤。他們的反饋是金錢，這也是他們的動機。他們設計的模型就是要吸收更多的數據，微調分析，讓更多的熱錢湧入。投資者當然盡享收益，繼續將更多的錢投入到數學模型公司。

那麼受害者呢？內行數據學家也許會說，沒有數學模型是完美的。那些民眾是附帶受損。像薩拉•韋索基這樣的人常常會被認為沒有價值，不值得惋惜。他們也許會說，暫時忘記這些人，主要看那些從推薦引擎上獲得有益建議的人群，或是在潘多拉上找到自己熱愛的音樂的人，或者那些在領英上找到理想工作的人，還有在婚戀交友網站Match.com上找到愛情的人。想想這令人驚訝的方面，忽略那些不完美。

大數據有很多福音傳播者，但我不在其中。本書將透視數學毀滅武器導致的危害和不公正。我們將探討影響人們人生關鍵時期（如上大學，借錢，入獄，或者是找工作和保住工作）的有害例證。人類生活各個方面越來越多地被數學毀滅武器控制。

歡迎進入大數據的陰暗面。