第1篇掌握數據達人的思維
第1章定義問題3
1.1數據達人應該掌握的問題4
1.2了解數據項目失敗的原因10
1.3解決重要的問題14
本章小結15
第2章何為數據16
2.1數據與信息17
2.2數據類型19
2.3數據的收集與組織方式20
2.4基本彙總統計23
本章小結24
第3章統計學思維25
3.1學會質疑26
3.2無處不在的隨機波動29
3.3概率與統計34
本章小結41像數據達人一樣思考和溝通目錄第2篇掌握數據達人的語言
第4章質詢數據45
4.1你會怎麼做？47
4.2數據的來源是什麼?53
4.3數據是否具有代表性？56
4.4是否缺少某些數據？57
4.5數據集的大小59
本章小結60
第5章探索數據61
5.1探索性數據分析62
5.2培養探索心態64
5.3數據是否能解答問題？65
5.4你是否能從數據中發現某些相關性？71
5.5你是否從數據中發現了新的機會？76
本章小結77
第6章檢查概率78
6.1猜概率: 筆記本電腦是否感染病毒79
6.2遊戲規則80
6.3概率思想實驗87
6.4謹慎做出獨立性假設90
6.5一切概率都是條件概率92
6.6保證概率數字有意義96
本章小結99
第7章質疑統計100
7.1統計推斷的簡短討論101
7.2統計推斷的過程108
7.3用於質疑統計結果的問題109
本章小結118
第3篇理解數據科學家的工具箱
第8章尋找未知分組121
8.1無監督學習123
8.2數據降維123
8.3主成分分析法(PCA)126
8.4聚類131
8.5k均值聚類133
本章小結137
第9章理解回歸模型139
9.1監督學習140
9.2線性回歸能做些什麼142
9.3線性回歸帶給我們什麼146
9.4線性回歸的隱患149
9.5其他回歸模型155
本章小結156
第10章理解分類模型157
10.1分類模型介紹158
10.2邏輯回歸160
10.3決策樹165
10.4集成方法169
10.5謹防陷阱172
10.6準確性的誤解174
本章小結178第11章理解文本分析179
11.1文本分析的期望180
11.2文本如何變成數字182
11.3主題建模192
11.4文本分類194
11.5實際處理文本分析的細節200
本章小結203
第12章解析深度學習概念204
12.1神經網絡206
12.2深度學習的應用213
12.3深度學習的實踐223
12.4人工智能與你227
本章小結230
第4篇確 保 成 功
第13章注意陷阱235
13.1數據中的偏差和怪像236
13.2陷阱大清單242
本章小結247
第14章知人善任248
14.1溝通中斷的7個場景249
14.2數據個性255
本章小結257
第15章未完待續259術語表263

對於許多旁觀者而言，傳統數據分析、大數據和人工智能是全然不同，且毫不相關的事物。然而，《像數據達人一樣思考和溝通》這本書將要匡正這樣的認知，並指出這3個領域事實上是高度相關的。它們都涉及統計思維，而一些傳統的分析方法，例如回歸分析、數據可視化技術等，對這3個領域同樣適用。統計學中的“預測分析”與人工智能領域的“監督式機器學習”基本上就是一回事。而且，大多數的數據分析技術也適用於各種規模的數據集。簡而言之，一位優秀的數據達人可以高效地處理好這3方面的工作，而花費大量時間去細究它們之間的差異則往往是無用功。固有觀念2: 隻有專業的數據科學家纔能成為“數據熱潮”中的弄潮兒。
人們有時對數據科學家盲目崇拜，認為隻有他們纔有可能有效地處理和分析數據。然而，近來興起了一陣全新的、極為重要的潮流，旨在讓數據思維變得更加全民化。越來越多的機構開始注重培養普通員工的數據思維和數據分析能力。自動化機器學習工具使得人們可以更輕松地建立數學模型，並利用模型出色地完成預測工作。當然，我們仍需要專業的數據科學家負責開發新算法，並為那些進行復雜數據分析工作的普通員工把關。但是，一些單位選擇把與數據分析相關的工作交給單位中那些“非科班出身”的數據達人負責，這樣做往往能夠讓數據科學家專注更重要的工作。固有觀念3: 數據科學家無所不能，他們掌握著從事數據活動所需的全部技能。
數據科學家是受過專業訓練，從事模型開發和代碼編寫工作的人。人們往往想當然地認為，數據科學家同樣能夠包攬模型的實際應用工作。換句話說，人們認為數據科學家是無所不能的。但實際上這樣的人鳳毛麟角。對於一個數據科學項目來說，那些不僅了解數據科學的基礎知識，而且了解所處行業、能夠有效地管理項目，並擅長建立業務關繫的數據達人纔是無價之寶。他們不但能夠勝任數據科學工作，還能提升數據科學項目的商業價值。固有觀念4: 人們需要具有非常高的數學天賦，並經受大量訓練，纔有可能在數據和分析方面取得成功。
一個相關的假設是，為了從事數據科學工作，人們必須在該領域接受過良好的培訓，因此一個數據達人也必須非常擅長和數字打交道。數據方面的天賦與訓練固然對從事數據科學相關工作有幫助，但《像數據達人一樣思考和溝通》這本書中的一個觀點令我深感認同: 一個擁有動力的學習者能夠掌握數據和分析知識，並在數據科學項目中貢獻力量。部分原因是，統計分析的基本概念遠沒有那麼深奧；同時，想要參與數據科學項目，也並不需要極高水平的數據和分析能力。與專業數據科學家協作，或是參與自動化人工智能項目，需要的隻是提出關鍵問題的能力和好奇心、在業務問題和定量結果之間建立聯繫並識別出可疑假說的能力而已。固有觀念5: 如果你在大學或研究生階段的主要研究方向並非定量（quantitative）領域，那麼現在學習數據和分析方法所需的知識就為時已晚。
這一觀念甚至得到了調查數據的支持: 在Splunk公司於2019年對全球約1300名高管的調查報告中，幾乎所有受訪者 (98%) 都認為數據技能對他們未來的工作很重要。81%的高管認同數據技能是成為高級領導者所必需的，而85%的人認為掌握數據技能會讓他們在公司中變得更有價值。盡管如此，仍有67%的人表示他們不習慣自己獲取或使用數據，73%的人認為數據技能相較於其他業務技能更難習得，53%的人認為自己年紀太大，已經錯過了學習數據技能的黃金時期。這種“數據失敗主義”（data defeatism）對個人和組織都是有害的，而本書作者和我都認為這不過是無稽之談。仔細閱讀本書正文，你會發現其中不涉及任何艱深難懂的知識！
因此，拋開這些固有的觀念吧，讓自己成為一個數據達人。你將成為職場上更有價值的員工，並幫助你所在的機構變得更加成功。這就是世界的發展方向，是時候開始加入浪潮，更加深入地了解數據及其分析方法了。我相信，閱讀《像數據達人一樣思考和溝通》，探索數據科學，你將會收獲一段富有價值且充滿樂趣的旅程。前言對於本書的讀者來說，無論主觀意願如何，數據或許已經成為你工作中最重要的一部分，沒有之一。而你之所以翻開這本書，大概是因為希望能夠了解數據究竟是怎麼一回事。
首先，有必要重復一個老生常談的問題: 在這個時代，每個人創造和接收的信息比以往任何時候都多。毫無疑問，現在是一個數字的時代。而這個數字時代也催生了一個充斥著承諾、行話和產品的行業，其中許多是翻開本書的你，你的經理、同事和下屬正在或將要接觸的。但是，盡管與數據相關的承諾和產品不斷湧現，數據科學方面的商業項目卻往往會很快就陷入失敗。美國科技博客VentureBeat在2019年進行了一個調查，其中顯示87%以上的數據項目以失敗告終。
這裡需要澄清一下，我們並非暗示所有關於數據的承諾都言之無物，或所有的產品都糟糕透頂。相反，要真正了解這個領域，必須首先接受一個基本事實: 事情遠比我們想像的要復雜。從事數據方面的工作意味著與數字、細微差別和不確定性打交道。數據至關重要，這毫無疑問，但與此同時，它並不簡單。然而，有一個行業卻在試圖讓人們忽視這一點——這是一個在不確定的世界中試圖承諾確定性，並利用公司對落伍的恐懼而牟利的行業。我們在本書中將其稱為數據科學工業復合體（Data Science Industrial Complex）。
數據科學工業復合體
對於身處其中的每個人來說，數據科學工業復合體都是一個有待關注的問題。企業不斷買入產品，期待它們能代替自己進行思考；經理們雇傭名不副實的專家；各種機構都在招聘數據科學家，卻並沒有做好迎接他們的準備；高管們不得不聆聽無窮無盡的行業黑話，並假裝理解。這樣的現狀造成了大量數據項目的停滯和資金的浪費。