第1章大數據之大歷史1
1.1大歷史的概述1
1.2遠古時代的數據思維2
1.2.1數字的產生2
1.2.2人類的數字感3
1.2.3數字感給我們的歷史啟迪6
1.2.4計數繫統的起源與發展7
1.2.5數字的誕生10
1.2.6數字與數據的不同11
1.2.7語言與文字12
1.2.8文言文的“無奈”精簡13
1.2.9古代的“數據中心”——圖書館16
1.3近代數據思維的崛起18
1.3.1統計學的誕生18
1.3.2“政治算術”的內涵19
1.3.3統計分析科學的誕生20
1.3.4概率論的動機21
1.3.5社會物理學背後的玄機22
1.3.6美國式的人口普查——大數據催生新技術24
1.4數據管理的發展與演進25
1.4.1電子數字存儲介質的演化26
1.4.2簡陋的“有文無庫”時代27
1.4.3“窮”則思變之網狀數據庫28
1.4.4濃墨重彩之關繫數據庫30大數據導論(通識課版)目錄1.4.5突破數據共享的封鎖線31
1.4.6向非結構化進發的大趨勢33
1.5大數據的誕生35
1.5.1大數據術語的歷史淵源35
1.5.2在混沌和秩序轉化中螺旋上升37
1.6本章小結38
思考與練習39
本章參考文獻40
第2章大數據內涵與數據文化42
2.1從數據、信息，到知識、智慧的飛躍42
2.2大數據的多版本定義46
2.3大數據的經濟地位48
2.3.1新時代的生產資料48
2.3.2數據與第二經濟49
2.4各方位的重視50
2.4.1來自學術界的青睞51
2.4.2來自政府層面的認可52
2.4.3來自工商業的追捧53
2.5大數據內涵——豈止於大55
2.5.1大數據之“大”有不同56
2.5.2大數據之唯“快”不破59
2.5.3大數據之五彩繽“紛”64
2.5.4大數據之價“值”無限66
2.5.5包括但不限於4V68
2.6數據文化與未來之路70
2.6.1三人成虎——數據真的越大越好嗎70
2.6.2數據文化的養成71
2.7本章小結72
思考與練習73
本章參考文獻73
第3章大數據創新與實踐75
3.1洞察帶來數據價值75
3.2安德森的學術觀點78
3.3數據、模型與理論的關繫79
3.4谷歌是如何預測流感的82
3.4.1流感治療網絡化82
3.4.2無意間生產的大數據84
3.4.3谷歌工程師的傑作——流感預測趨勢84
3.4.4谷歌公司的流感預測為何成功？86
3.4.5案例小結87
3.5全數據是如何為葉詩文抱不平88
3.5.1舍恩伯格的三個學術觀點88
3.5.2葉詩文事件的新聞背景88
3.5.3什麼是性能分析法89
3.5.4質疑的合理性在哪裡90
3.5.5“大數據=全數據”的威力——為葉詩文抱不平92
3.5.6案例小結94
3.6教育大數據是如何干預學生成長的95
3.6.1飯卡數據的二次使用95
3.6.2一卡通數據的另類解讀97
3.6.3案例小結97
3.7更多大數據應用案例98
3.7.1基於位置服務98
3.7.2商品和服務的個性化推薦99
3.7.3客戶叛離分析99
3.7.4服務軟件改善100
3.8數據價值如何得以變現102
3.8.1數據變現的途徑102
3.8.2計算廣告是如何實現數據變現的104
3.8.3信用——大數據時代的另類資產107
3.9利用大數據的三個層次109
3.9.1對過去/現狀的把握109
3.9.2對未來的預測110
3.9.3對行動的優化110
3.10本章小結112
思考與練習112
本章參考文獻113
第4章數據科學的認知方法論114
4.1大、小數據的“質”不同114
4.2大數據的數理哲學基礎——同構關繫116
4.2.1阿喀琉斯追烏龜116
4.2.2大數據的同構映射118
4.3大數據的認知論120
4.3.1科學始於觀察——邏輯證實主義120
4.3.2證實主義的困頓——來自波普爾的批判123
4.3.3科學始於問題——波普爾的貢獻124
4.3.4科學始於數據——數據科學帶來轉機125
4.4大數據科學研究的第四範式130
4.4.1庫恩與範式130
4.4.2科學研究的前三個範式132
4.4.3數據科學的第四範式135
4.5科學哲學對大數據時代的啟發136
4.5.1多範式並存137
4.5.2科學綱領內允許有波動139
4.6本章小結139
思考與練習140
本章參考文獻140
第5章大數據反思與數據倫理142
5.1來自大數據的反思1425.1.1園中有金不在金——大數據的價值到底在哪裡142
5.1.2蓋洛普抽樣的成功——大小之爭，大數據一定勝過小抽樣嗎144
5.1.3點球成金——數據流與球探誰更重要145
5.1.4你若安好，便是晴天——大數據很好，但小數據也很美146
5.1.5預測即干預——谷歌流感預測是如何失效的151
5.1.6撲朔離迷的相關性—— 誤把相關當因果154
5.2大數據算法是中性的嗎157
5.2.1大數據倫理157
5.2.2大數據算法的責任158
5.2.3人類的文化偏見存於大數據之中158
5.2.4大數據算法的生物學特性表現159
5.2.5大數據算法歧視的心理學特質160
5.2.6可能的應對策略162
5.3大數據的隱私之痛164
5.3.1個人隱身，無處可藏164
5.3.2優步的“榮耀之旅”165
5.3.3有關數據隱私的立法166
5.3.4隱私與便利的權衡167
5.4本章小結169
思考與練習170
本章參考文獻171
第6章大數據處理的技術圖譜173
6.1大數據價值的技術實現173
6.2大數據技術的幾個重要概念174
6.2.1非結構化（NoSQL）174
6.2.2面向列的存儲176
6.2.3CAP理論178
6.2.4MapReduce範式180
6.3大數據分析關鍵架構層概要182
6.3.1文件繫統層1826.3.2數據存儲層185
6.3.3資源管理層187
6.3.4計算協調層189
6.3.5計算框架層190
6.3.6數據分析層193
6.3.7數據集成層194
6.3.8操作框架層196
6.4本章小結198
6.5思考與練習199
本章參考文獻199

大數據時代，通纔的你，
需要一本新通識讀本
塗子沛先生在其著作《數商》中提到塗子沛. 數商［M］. 北京： 中信出版社，2020. ，人類文明正在發生一場大躍遷，從以文字為中心轉變到以數據為中心，進入“數文明”時代。要在新時代的競爭中勝出，需要新的思維、技能和工具。關於大數據，經過多年的宣傳和浸染，人們或許不再陌生了。或許你會問，使用大數據是IT（Information Technology，信息技術）公司或理工科專業人士做的事，我自己不從事IT行業，怎麼會使用到大數據呢？事實上，大數據與我們休戚相關。在日常生活中，我們都不知不覺地使用了大數據，並且也在或主動或被動中為那些給我們提供服務的各種應用程序（Application，App）提供數據。比如說，如果使用搜索引擎（百度或谷歌等），實際上是在和大數據打交道。當我們“免費”使用百度時，如同“雁過留聲”，我們會留下很多網絡數字印跡，這些印跡會以日志的形式在後臺保留下來，而這些日志（數據）就是我們“免費”使用大數據而為大數提供商提供的“補償”。天下沒有免費的午餐！再比如愛美人士可能會用美圖秀秀一鍵修個漂亮的臉龐。然而細細思量之後，你會發現這背後並不簡單。這個軟件的審“美”標準並不是無中生有的，而是將用戶的臉往所謂的“標準的臉”上靠（即大眾審美的觀感），而“標準的臉”又是從哪裡來的呢？很簡單！它是我們每個人臉的平均值，這就是大數據歸納的結果。那麼，這些臉部大數據又是從哪裡來呢？就是千千萬萬的我們所“奉獻”的。可以想像，如果美圖秀秀能“穿越”到盛世唐朝，各路網絡直播達人定以“胖”為美。類似地，很多智能手機都提供了很多人臉識別功能，而它們也是建立在大數據基礎之上的。上面的案例說明，處於大數據時代，我們每個人能“躬身入局”，既是大數據的消費者，又是大數據的生產者，身在其中，逃無可逃。既然如此，這個“如影相隨”的大數據時代，我們該如何更好地生存呢？不論我們所學何種專業，從事何種職業，當然都需要更好地了解大數據的本質、方法論和底層運作的邏輯。大數據導論(通識課版)前言大數據時代，通纔的你，需要一本新通識讀本這個世界充滿了不確定性，它主要來自於兩方面： 一是影響世界的變量太多，以至於無法用精確的數學模型來描述；二是來自客觀世界本身，不確定性是人們所在宇宙的特性。人是天生需要安全感的物種，而安全感的獲得，主要來自不確定性的消除。吳軍博士認為吳軍. 智能時代： 大數據與智能革命重新定義未來［M］. 北京： 中信出版社，2016. ，大數據是解決不確定性的良藥。我們要用不確定的眼光看待世界，再用（來自大數據的）信息來消除這種不確定性，這是大數據的本質和使命所在。目前，“大數據”是個非常流行的概念。相關的學術著作自然也是汗牛充棟，開設數據科學與大數據專業的高校也如雨後春筍般地湧現。因此，為讀者介紹大數據宏觀知識的讀本——《大數據導論》也紛紛面市。那為什麼我還要再寫這麼一本《大數據導論》（通識課版）呢？原因有如下兩方面。
（1） “溫故而知新”是知識普及與傳承的重要手段。歷史學家陳寅恪先生授課時有著名的“三不講”： 書上講過的不講，別人講過的不講，自己講過的不講，要講就講的思考。如果用陳寅恪先生的“三不講”做學術研究，境界很高，但不太適合於知識的科普與推廣。就我個人而言，很喜歡法國作家安德烈·紀德（Andre Gide）的話： “所有值得拿出來說的事情，早就已經被人說過了。但是，由於以前根本沒有人在聽，所以必須拿出來再說一遍。”所以，我再來寫一本《大數據導論》（通識課版），無非就是重新強調一遍大數據的重要性，以便在更大範圍內推廣數據科學的知識，為全民數據文化的形成盡一份力。（2） 本書有獨有的特色，值得在讀者心裡有個位置。個中緣由，並不復雜，因為市面上大多數相關圖書都是面向專業讀者的，而對於非專業讀者（如人文專業），讓他們看得懂、看得進去的通識課版本是少之又少。寫一本跨專業都能讀得懂的《大數據導論》，是有價值的！這是因為，基於數據的創新是需要想像力的。而想像力的延展，通常需要跳出當前業務，打通涉及大數據產業的不同領域。多專業融合，纔能構建新的洞察力。大數據的蓬勃發展、基於數據科學的創新應用，需要其他領域與數據領域深度融合，從而觸發靈感，進而發現新的理論體繫和應用架構。因此，培養有數據思維的人纔，打破技術壁壘、數據壁壘和學科壁壘，是未來人纔培養的方向。我們知道，大數據從來都不是以“技術”為其底色。科學作家萬維鋼就說萬維鋼. 學習究竟是什麼［M］. 北京： 新星出版社，2020.，專纔是分工的產物，很多時候，專纔把自己變成了一個工具人，等待社會的挑選，而通纔的首要目標是完善自己。特別是人工智能（Artificial Intelligence,AI）正在接管大部分專業工作的時候，世界越來越需要通纔。本書和萬維鋼的說法遙相呼應。本書不僅僅給讀者介紹大數據處理流程中的多層技術圖譜，而且更側重地討論了與數據科學相關的歷史、哲學和倫理學，以便於讀者拓展跨領域的數據思維。當然，並非說本書僅僅是為人文學科的讀者準備的。事實上，本書同樣適用於理工科讀者。這是因為，雖然理工科背景的讀者不缺乏大數據技術的熏陶（事實上，我們在第6章也為讀者準備了非常硬核的大數據技術圖譜），但提高自己的人文修養，能夠讓自己站得更高，看得更遠，也讓自己未來的大數據之路走得更加順暢。畢竟人一旦走到管理層，將更需要用自己的人文素養來駕馭技術的走向、限定技術的邊界。舉例來說，很多風險投資人是（半個）哲學家，華爾街有時也喜歡錄取哲學專業的畢業生，所謂何來？就是因為，哲學能讓人適應矛盾。換句話說，如果一個人掌握多種思維模型，學會從不同的視角考察一件事，就能做出好的選擇。對大數據的決策又何嘗不是如此呢？客觀來說，大數據是一個前沿學科，很多觀點和概念都在快速發展、不斷迭代中，即很多知識並沒有定論。因此，本書力圖博采眾長，吸納眾學者的觀點，甚至一些觀點針鋒相對，意見相左。這又有什麼關繫呢？本書所希望的就是，通過本書的閱讀，讀者對大數據的認知，具備獨立思考之精神，通過哲學之思辨，對大數據理解更加透徹，進而成為大數據的參與者、建設者，甚至是開拓者。
作者聯繫方式
大數據科學是一個前沿且廣袤的研究領域，很少有人能對其每個研究方向都有深刻的認知。我自認纔疏學淺，同時限於時間與篇幅，書中難免出現理解偏差和疏漏之處。若讀者朋友們在閱讀本書的過程中發現問題，希望能及時通過郵箱(bljdream@163.com)與我聯繫，我將在時間修正並不勝感激。致謝
本書能得以面市，得益於多方面的幫助和支持。在信息獲取上，筆者學習並吸納了很多精華知識，書中也盡可能地給出了文獻出處，如有疏漏，望來信告知。在這裡，對這些高價值資料的提供者、生產者表示深深的敬意和感謝！此外，很多人在這本書的出版過程中扮演了重要角色，如河南工業大學的石岩松、陳偉楷和夏志強等付出了辛勤的勞動，在此對他們一並表示感謝！張玉宏2020年9月於美國卡梅爾