本選題以科普的方式繫統地闡述了大數據前沿技術與研究進展，對技術的來源、結論、對比、用途以及開源軟件進行了深入淺出的描述，並不過多地涉及數學符號及基礎原理。以大數據可視化為切入點，通過自然語言處理、社交網絡挖掘、語義網絡與知識圖譜三方面非結構化數據處理技術，闡述大數據經典應用，利用基於圖數據庫、內存計算、分布式存儲繫統的大數據存儲與管理作為大數據平臺支撐，進而探討基於眾包技術擴充數據來源與提高數據質量，並圍繞大數據環境下的隱私保護問題，探討了大數據安全技術。

阮肜，中科院軟件所博士，現任華東理工大學計算機技術研究所副所長，自然語言處理與大數據挖掘實驗室主任，副教授。中國計算機學會（CCF）大數據專委會委員，中文信息處理學會“CCIR”專委會委員，中關村大數據聯盟學術委員會主任委員。

第1章大數據可視化 1
1．1 可視化基礎 2
1．1．1 可視化釋義 2
1．1．2 可視化流程 5
1．1．3 可視化對像 6
1．1．4 可視化方法 10
1．2 大數據可視化介紹 36
1．2．1 大數據可視化特點 37
1．2．2 大尺度數據的可視化 38
1．2．3 快速變化數據的可視化 41
1．2．4 多變量數據的可視化 44
1．2．5 非結構化數據的可視化 50
1．2．6 大數據可視分析 53
1．3 可視化與可視分析研發資源 60
1．3．1 代表性開源與商業軟件 60
1．3．2 開發工具與編程語言 61
1．3．3 可視化信息資源 62
1．3．4 部分可視化科研機構 63
參考文獻 64
第2章文本大數據處理 67
2．1 文本大數據概述 67
2．2 中文詞法分析 70
2．3 句法分析 73
2．4 語義分析 74
2．5 開源項目與共享工具 75
2．6 文本大數據的部分應用 76
2．6．1 概述 76
2．6．2 基於雙數組Trie樹的面向微博短文本的分詞 77
2．6．3 詞義消歧 80
2．6．4 未登錄詞識別 83
2．6．5 文本分類與文本聚類 84
2．6．6 機器翻譯 86
2．6．7 其他應用 87
參考文獻 89
第3章社交網絡大數據挖掘 91
3．1 概述 91
3．2 大規模異構網絡集成 94
3．2．1 計算模型――COSNET 96
3．2．2 模型求解 98
3．2．3 實驗結果 99
3．3 基於交互的網絡機器學習 101
3．3．1 網絡數據的主動交互學習 101
3．3．2 算法模型――MaxCo 102
3．3．3 網絡流數據的主動交互學習 103
3．3．4 算法模型 104
3．4 基於隨機路徑的高效網絡拓撲相似度算法 106
3．4．1 問題定義 107
3．4．2 基於隨機路徑的網絡拓撲相似度算法――Panther 107
3．4．3 實驗結果 110
3．4．4 小結 113
3．5 個體行為與網絡分布的統一建模框架――M3D 113
3．5．1 研究方案 114
3．5．2 實驗驗證 115
3．6 總結和展望 117
參考文獻 117
第4章語義大數據――知識圖譜 119
4．1 大規模知識圖譜技術 119
4．1．1 知識圖譜的表示及其在搜索中的展現形式 119
4．1．2 知識圖譜的構建 121
4．1．3 知識圖譜在搜索中的應用 126
4．1．4 總結 127
4．2 行業知識圖譜工具 127
4．2．1 簡介 127
4．2．2 常見的行業知識圖譜 129
4．2．3 行業知識圖譜的構建 131
4．2．4 行業知識圖譜的應用 139
4．2．5 應用案例 141
第5章圖數據庫――基於圖的大數據管理 147
5．1 圖數據庫簡介 147
5．1．1 大圖數據 148
5．1．2 OLTP與OLAP 149
5．1．3 圖數據模型 151
5．1．4 圖查詢語言 154
5．2 主流圖數據庫和圖計算引擎 160
5．2．1 最流行的圖數據庫――Neo4j 160
5．2．2 分布式圖數據庫――Titan 161
5．2．3 基於R組庫的圖數據庫――Blazegraph 162
5．2．4 基於Pregel框架的圖計算引擎――Giraph、Hama、
GraphLab、GraphX 163
5．3 圖數據庫關鍵技術 166
5．3．1 圖數據庫的存儲 166
5．3．2 圖數據庫的索引 169
5．3．3 圖數據庫的查詢處理 172
5．4 圖數據庫應用 175
5．4．1 語義萬維網 175
5．4．2 社會網絡 176
5．4．3 生物信息學 177
第6章內存計算――高速大數據處理的核心技術 179
6．1 內存計算技術的一個誤區 179
6．2 TimesTen的設計思路 180
6．3 Apache Spark的設計思路 182
6．4 SAP HANA的設計思路 184
6．5 YunTable 4．0的產品介紹 186
6．5．1 整體架構與核心技術 186
6．5．2 MPP 188
6．5．3 列存2．0 188
6．5．4 動態數據分發 190
6．5．5 內存計算 191
6．5．6 性能和路線圖 191
6．6 總結 192
第7章分布式存儲繫統――大數據存儲支撐技術 193
7．1 大數據對存儲繫統帶來的挑戰及其引發的變革 193
7．2 谷歌文件繫統（GFS） 194
7．2．1 支持大數據集存取和離線批處理的分布式存儲繫統 194
7．2．2 GFS架構分析 195
7．2．3 繫統交互 202
7．2．4 主節點的設計 206
7．2．5 容錯和診斷 211
7．2．6 小結 214
7．3 支持海量數據和大規模並發訪問的分布式對像存儲
OpenStack Swift 214
7．3．1 互聯網化帶來新的存儲需求 214
7．3．2 OpenStack Swift的特點 216
7．3．3 Swift的數據模型和架構 219
7．3．4 Swift的API 236
第8章大數據安全技術 243
8．1 差分隱私保護方法簡介 243
8．2 差分隱私研究保護方向――數據發布和數據挖掘 246
8．2．1 基於差分隱私保護的數據發布（DPDR） 246
8．2．2 差分隱私保護數據挖掘（DPDM） 247
8．3 常見隱私保護方法 247
8．3．1 差分隱私保護分類方法 247
8．3．2 差分隱私保護聚類方法 248
8．3．3 差分隱私頻繁模式挖掘 249
8．4 應用案例和原型繫統 249
參考文獻 251
第9章眾包――數據來源與質量保證 255
9．1 眾包 255
9．1．1 眾包的概念和模型 255
9．1．2 眾包的優劣分析 257
9．2 眾包的關鍵技術 257
9．2．1 眾包流程 257
9．2．2 任務設計 259
9．2．3 任務分配 260
9．2．4 任務動態優化 261
9．2．5 眾包激勵機制 261
9．2．6 眾包質量保障 263
9．3 眾包的成功案例和平臺 264
9．3．1 知識百科眾包 264
9．3．2 數據眾包 264
9．3．3 創新眾包 266
9．3．4 軟件眾包 267
9．3．5 眾籌 268
9．3．6 通用智力勞動眾包 269
9．3．7 中國的眾包平臺 269
9．4 眾包研究趨勢 269
9．5 總結和展望 271
參考文獻 271

大數據四個V的定義已經深入人心，然而，有關大數據的探索，無論從大數據科學角度還是應用角度，都處於早期階段。對於普通的大數據實踐者而言，利用較為成熟的大數據基礎架構Hadoop、計算引擎Spark，以及諸如Weka3這樣的機器學習軟件，能夠在一定程度上解決數據存儲問題、計算與挖掘問題。
然而，對於大量的大數據探索者與實踐者而言，還會踫到形形色色的問題。例如，如何合理地可視化大數據，如何實現大數據的隱私保護，如何通過信息檢索技術快速在大數據中找到合適的信息等。這些問題也是學術界正在研究的問題。然而，由於產業與學術的分離、學術研究領域細分等現狀，大多數從業人員無從了解此類問題的學術界研究現狀，也無法判斷研究成果是否已經到了可用程度。
在編者主持中關村大數據聯盟的線上學術論壇活動中，各行各業的技術主管都希望能了解學術界有關大數據相關的研究方向與成果。然而，由於大數據涉及存儲、安全隱私、自然語言處理、可視化等學術研究的方方面面，非編者一人能力可及。因此，在學術論壇中，我們邀請了來自不同院校、不同研究方向的大數據科研工作者，講解他們與大數據相關的科研工作進展。
本書在論壇報告中選擇了部分精華，為了書本的邏輯性與完整性考慮，又邀請了部分知名青年學者增加了部分章節，並對每章內容進行了提煉和擴充。本書綜合了多名學者的智慧，使得讀者可以高屋建瓴地了解大數據在不同學術研究方向的現狀和最新成果。為方便讀者閱讀，編者與每章作者統一了寫作風格，試圖以科普的方式繫統闡述大數據前沿技術與研究進展，對技術的來源、結論、對比、用途及開源軟件進行深入淺出的描述，並不過多地涉及數學符號及基礎原理。
全書以大數據可視化（第1章）為切入點，通過自然語言處理（第2章）、社交網絡挖掘（第3章）、語義網絡與知識圖譜（第4章）三方面非結構化數據處理技術，闡述大數據經典應用；利用基於圖數據庫（第5章）、內存計算（第6章）、分布式存儲繫統的大數據存儲與管理（第7章）作為大數據平臺支撐；並圍繞大數據環境下的隱私保護（第8章）問題，探討了大數據安全技術；進而探討基於眾包技術（第9章）擴充數據來源與提高數據質量。通過繫統、多方位地總結大數據的技術前沿，使讀者可以快速了解大數據在學術方面的最新成果。
阮肜
2015年11月23日