第1章數據科學概論1
1.1數據和大數據1
1.1.1數據1
1.1.2數據化進程3
1.1.3大數據5
1.2數據科學理論基礎8
1.2.1數據科學發展歷程8
1.2.2數據科學的概念9
1.2.3數據科學的主要內容9
1.3數據科學應用實踐13
1.3.1數據科學家13
1.3.2數據科學工作流程14
1.3.3數據科學實踐案例15
1.4小結19
1.4.1本章總結19
1.4.2擴展閱讀材料20
1.5習題20
1.6參考資料21
第2章數學基礎23
2.1線性代數23
2.1.1向量23
2.1.2矩陣24
2.1.3矩陣導數29
2.1.4實例: 利用SVD進行評分預測31
2.2概率統計32
2.2.1隨機事件與概率33
2.2.2條件概率與事件獨立性342.2.3隨機變量及其數字特征36
2.2.4數理統計41
2.2.5信息論42
2.2.6實例: 利用樸素貝葉斯算法進行文本分類43
2.3優化理論44
2.3.1基本概念45
2.3.2優化問題的一般形式48
2.3.3優化方法54
2.3.4實例: SVM分類器57
2.4圖論基礎58
2.4.1圖的定義58
2.4.2圖的概念59
2.4.3圖的矩陣表示62
2.4.4拉普拉斯矩陣與譜64
2.4.5實例: 譜聚類算法65
2.5小結67
2.5.1本章總結67
2.5.2擴展閱讀材料68
2.6習題68
2.7參考資料69
數據科學導論目錄第3章Python語言初步70
3.1Python語言概述70
3.1.1Python語言簡介70
3.1.2Python語言環境搭建71
3.2Python的基本用法72
3.2.1組72
3.2.2字符串77
3.2.3字典79
3.2.4條件與循環語句83
3.2.5函數88
3.2.6文件94
3.2.7綜合實例96
3.3重要庫的使用方法與案例100
3.3.1NumPy100
3.3.2Pandas108
3.3.3SciPy118
3.3.4Matplotlib122
3.4小結124
3.4.1本章總結124
3.4.2擴展閱讀材料125
3.5習題125
3.6參考資料126
第4章數據預處理127
4.1數據預處理概述127
4.1.1數據預處理的意義與目標127
4.1.2背景知識128
4.1.3數據可視化實例130
4.2數據清洗133
4.2.1缺失值處理133
4.2.2噪聲平滑136
4.2.3異常值的檢測與處理137
4.3數據集成140
4.3.1實體識別問題141
4.3.2檢測和解決數據值衝突141
4.3.3冗餘數據與相關分析141
4.組重復143
4.4數據歸約144
4.4.1數據歸約策略144
4.4.2維歸約145
4.4.3數量歸約148
4.5數據變換150
4.5.1數據變換策略150
4.5.2規範化150
4.5.3離散化153
4.5.4標稱數據的概念分層生成155
4.6數據預處理實踐156
4.7小結167
4.7.1本章總結167
4.7.2擴展閱讀材料168
4.8習題168
4.9參考資料169
第5章分析方法初步170
5.1機器學習基礎170
5.1.1何為機器學習170
5.1.2基本術語171
5.1.3模型評估與性能度量172
5.1.4發展歷程177
5.2Sklearn庫基本使用178
5.2.1Sklearn庫簡介178
5.2.2基本使用介紹178
5.3回歸184
5.3.1線性回歸184
5.3.2Logistic回歸187
5.3.3其他回歸模型190
5.4分類191
5.4.1決策樹191
5.4.2K近鄰算法195
5.4.3樸素貝葉斯197
5.4.4支持向量機199
5.5聚類202
5.5.1概述202
5.5.2原型聚類203
5.5.3密度聚類207
5.5.4層次聚類209
5.6神經網絡212
5.6.模型212
5.6.2感知機與多層神經網絡213
5.6.3誤差逆傳播算法215
5.6.4深度學習217
5.7集成學習219
5.7.1概述219
5.7.2序列化方法221
5.7.3並行化方法223
5.8小結224
5.8.1本章總結225
5.8.2擴展閱讀材料225
5.9習題226
5.10參考資料226
第6章數據科學實踐228
6.1數據分析流程228
6.1.1數據挖掘目標228
6.1.2數據采樣228
6.1.3數據預處理229
6.1.4數據探索230
6.1.5數據建模230
6.1.6數據分析工具230
6.2案例1——Kaggle Titanic生存預測231
6.2.1數據挖掘目標231
6.2.2數據導入和預處理231
6.2.3數據探索235
6.2.4模型構建236
6.3案例2——客戶價值分析238
6.3.1數據挖掘目標238
6.3.2數據導入和預處理238
6.3.3數據探索242
6.3.4模型構建242
6.4案例3——時間序列預測244
6.4.1數據挖掘目標244
6.4.2數據導入244
6.4.3數據探索245
6.4.4模型構建250
6.5案例4——價格預測挑戰253
6.5.1數據挖掘目標253
6.5.2數據導入和預處理253
6.5.3數據探索和模型構建255
6.6小結257
6.6.1本章總結257
6.6.2擴展閱讀材料257
6.7習題257
6.8參考資料258
第7章數據科學的重要研究領域259
7.1文本分析259
7.1.1文本分析簡介259
7.1.2文本分析的任務與方法261
7.1.3知識圖譜266
7.1.4文本分析的應用269
7.2圖像視頻分析271
7.2.1圖像視頻分析簡介272
7.2.2圖像分析的任務與方法273
7.2.3視頻分析的任務與方法276
7.2.4圖像視頻分析的應用278
7.3網絡分析281
7.3.1網絡結構分析281
7.3.2復雜網絡283
7.3.3社交網絡分析287
7.3.4異質信息網絡分析292
7.4可視化分析295
7.4.1可視化分析簡介295
7.4.2可視化分析應用場景296
7.4.3可視化分析工具301
7.5小結306
7.5.1本章總結306
7.5.2擴展閱讀材料307
7.6習題307
7.7參考資料308
第8章大數據處理技術簡介311
8.1雲計算311
8.1.1雲計算的概念311
8.1.2雲計算的基本特點311
8.1.3雲計算的服務類型312
8.1.4雲計算的部署方式314
8.1.5雲計算與其他計算模式的區別316
8.2雲計算平臺317
8.2.1虛擬化技術317
8.2.2虛擬化產品及特點319
8.2.3AWS亞馬遜雲服務321
8.2.4阿裡雲323
8.3Hadoop及其生態環境327
8.3.1Hadoop簡介327
8.3.2HDFS文件繫統328
8.3.3YARN資源管理器331
8.3.4MapReduce計算模型334
8.3.5Hadoop生態繫統337
8.3.6Hadoop 3.0的新特性340
8.4Spark及其生態環境341
8.4.1Spark簡介341
8.4.2RDD以及DAG調度342
8.4.3Spark生態繫統344
8.5應用案例346
8.5.1安裝虛擬機集群環境346
8.5.2運行案例代碼355
8.6小結356
8.6.1本章總結357
8.6.2擴展閱讀材料358
8.7習題358
8.8參考資料358

近些年,各行各業聚集的“大數據”不僅對信息處理技術提出了挑戰,而且深刻影響社會經濟的各個方面。大數據時代的到來也催生一門新的學科——數據科學。數據科學是基於計算機科學、統計學、數學等學科的一門新興的交叉學科,主要研究內容包括數據科學基礎理論、數據預處理、數據計算和數據管理。作為一門新興學科,很多學校開設了相關專業,也急需講授其核心理論體繫和應用實踐的教材。本書順應數據科學興起的潮流,為數據科學與大數據及相關專業的學生,提供一本入門和導論性質的教材。
作者深入調研了現有的大數據教材和資料,結合十餘年數據挖掘和機器學習等領域的科研實踐以及“計算機導論”等計算機專業基礎課程的教學實踐經驗,以“建立知識體繫、掌握基本原理、學會初級實踐、了解前沿技術”為原則,精心設計編寫了本書。本書具有如下特色。
(1) 內容全面,重點突出。本書涵蓋了數據科學的主要內容,包括基礎理論、數學基礎、分析方法、應用前沿和處理技術。同時,作者也從數據挖掘的視角著重強調了數據分析的基本方法和技能。
(2) 理論繫統,實踐豐富。本書比較繫統地介紹了與數據科學緊密相關的基本理論和方法,並且配以豐富的實例進行講解。作者以Python語言為例,配以大量實例詳細講解了數據分析的基本方法。
(3) 模塊設計,靈活組合。本書劃分為3個模塊: 基礎理論(第1～2章)、分析方法(第3～6章)、高級主題(第7～8章),3個模塊相對獨立,模塊內部也是由淺入深。選擇合適章節內容和講授深度,可以支撐2～6學分的“數據科學導論”課程設置。
(4) 深入淺出,可讀性強。本書盡量介紹數據科學相關的內容和基本的概念,並配以實例介紹本質含義;此外,還介紹了大量要深入學習的擴展閱讀材料。本書面向具有基礎的計算機相關知識的學生和科技工作者,力爭概念通俗易懂,方法便於上手。
全書內容分為3部分,共8章。部分是數據科學的基本理論和數學基礎,由第1～2章組成。
第1章是本書統領式的一章。主要介紹數據科學的產生背景、基礎知識、基本理論以及數據科學家和數據科學的實踐案例。通過串聯數據和大數據的概念,闡述了人類社會的數據化進程;通過介紹數據科學的理論基礎和應用實踐引導讀者在學習時應注重理論聯繫實際,學以致用。
第2章介紹數據科學研究中廣泛使用的數學工具。主要介紹數據科學中需要用到的基礎數學知識,包括線性代數、概率統計、優化理論和圖論基礎,並結合實例探討它們的應用。
本書第二部分介紹數據科學中常用的數據分析方法,由第3～6章組成。
第3章介紹數據科學研究中主流的編程語言。全書的案例也都統一以Python語言講解。本章涵蓋Python的基本用法以及數據科學處理中重要庫的使用。
第4章介紹數據科學處理中基本的數據預處理方法。本章是整個數據處理中的前期核心步驟,包括數據清洗、數據集成、數據歸約、數據變換等技術,後輔以一個實踐案例具體闡述預處理的各個步驟。
第5章介紹數據科學研究中的基本機器學習模型。本章介紹機器學習的基本概念及主流的機器學習庫,同時講解回歸、分類、神經網絡等監督學習方法及聚類等無監督學習模型,每個模型均配有實例及代碼演示。
第6章以實戰案例繫統總結前面章節的數據處理技術。首先介紹數據分析流程,繼而給出4個具體的案例,包括Titanic生存預測、時間序列預測等,每個案例從問題分析開始,闡述數據預處理、機器學習模型使用、結果分析等完整流程。
本書第三部分介紹數據科學的應用前沿和處理技術,由第7～8章組成。
第7章圍繞非結構化數據,分別對文本數據、圖像視頻數據、圖結構數據的分析與應用方法展開介紹。此外,還簡要介紹了數據可視化分析技術、應用場景、常用的可視化分析工具。
第8章介紹大數據處理的主流工具。主要介紹了雲計算的相關概念和特點、核心技術虛擬化和多個商用的雲計算平臺;討論了大數據處理工具Hadoop與Spark這兩個框架的基本概念、核心算法以及生態環境。本章還提供了一個完整的搭建並使用Hadoop集群進行數據處理的應用案例。
本書可以作為數據科學與大數據及相關專業學生的數據科學和大數據分析等課程的入門教程,也可以作為科技工作者學習大數據分析的參考材料。作為大學教材使用,可以有短學時(2～3學分)和長學時(4～6學分)兩種教學計劃。針對短學時教學計劃,可以選擇第1、3～6章講授,其他章節選講;針對長學時教學計劃,可以講授全部內容,並且增加上機實踐環節。本書還提供了豐富的教學資料供教師教學參考和學生學習使用,包括教學幻燈片和所有實例源代碼等資料。這些資料可以從www.shichuan.org下載使用。
石川負責全書框架設計和統稿,並編寫了第1章；王嘯負責編寫第3～6章；胡琳梅負責編寫第2、7、8章;王柏對全書進行了校對。本書編寫過程中得到了北京郵電大學計算機學院數據科學與服務中心的老師們的大力支持和幫助;也得到了許多研究生的支持,他們收集並整理了大量的資料。沒有他們的幫助,本書很難在約定的時間內完成。在此,感謝他們在本書的編寫過程中做出的巨大貢獻。

編者 2020年6月