第1章  緒論

1.1  為什麼要研究數據科學

1.2  基本概念

1.2.1  數據

1.2.2  大數據

1.2.3  數據科學

1.3  數據科學項目涉及的人員及其任務

1.4  數據科學項目流程

1.4.1  確定問題

1.4.2  制定目標

1.4.3  搜集數據

1.4.4  探索性數據分析

1.4.5  建立模型

1.4.6  性能評價

1.4.7  結果展示

1.4.8  部署模型

1.5  數據科學項目中的數據流

1.6  本書內容、采用工具和目標人群

思考題

第2章  問題與目標

2.1  用戶層面的問題與目標

2.2  數據科學層面的問題與目標

思考題

第3章  數據獲取

3.1  前提假設與數據方案設計

3.1.1  前提假設

3.1.2  數據方案設計

3.1.3  數據獲取的可行性分析

3.1.4  確定數據構成

3.2  總體和抽樣

3.2.1  總體和個體

3.2.2  樣本

3.2.3  無偏抽樣

3.2.4  抽樣偏差

3.3  混雜因素和A/B Testing

3.3.1  混雜因素和辛普森悖論

3.3.2  雙盲實驗和A/B Testing

思考題

第4章  Python基礎

4.1  Python的下載與安裝

4.2  常用工具包的下載與安裝

4.3  Jupyter Notebook

4.4  Python的常用數據結構

4.4.1  列表

4.4.2&nbs組

4.4.3  字典

4.4.4  集合

4.4.5  numpy.n  darray

4.4.6  Pandas.D  ataFrame

4.5  Python基本語法

4.5.1  基本命令

4.5.2  控制流和相關語法

4.6  Python數據導入

4.6.1  本地數據導入

4.6.2  在線數據導入

4.6.3  數據的連續流加載

第5章  探索性數據分析

5.1  數據檢查

5.1.1  數據的意義及規模

5.1.2  特征的數據類型及意義

5.1.3  初步排除數據洩露

5.2  數據預處理

5.2.1  缺失處理

5.2.2  異常處理

5.2.3  冗餘處理

5.3  描述性統計

5.3.1  位置性測度

5.3.2  離散性測度

5.3.3  圖形化描述統計

思考題

第6章  建模與性能評價

6.1  統計建模

6.1.1  常見的概率密度函數

6.1.2  參數估計

6.1.3  假設檢驗

6.1.4  phacking

6.2  回歸模型

6.2.1  線性回歸模型

6.2.2  線性回歸模型性能評價

6.2.3  線性回歸與線性相關

6.2.4  邏輯回歸

6.2.5  訓練集測試集劃分

6.2.6  應用非數值特征作為輸入時的onehot編碼

6.3  樸素貝葉斯模型

6.3.1  貝葉斯定理

6.3.2  高斯模型

6.3.3  多項式模型

6.3.4  伯努利模型 

6.4  分類模型的性能評價

6.4.1  混淆矩陣

6.4.2  指標權衡

6.4.3  應用舉例

6.4.4  參數區分性能評價

6.5  決策樹

6.5.1  決策樹工作原理

6.5.2  分類任務決策樹的建模過程

6.5.3  分類決策樹應用舉例

6.6  有監督學習模型與無監督學習模型

6.7  Kmeans模型

6.7.1  兩個基本概念

6.7.2  Kmeans迭代算法

6.8  偏差方差權衡

6.8.1  偏差方差困境

6.8.2  過擬合與欠擬合

6.8.3  K折交叉驗證

6.9  參數的網格搜索

6.10  集成學習

6.10.1  孔多塞陪審團定理

6.10.2  決策樹集成

思考題

第7章  結果展示

7.1  區分面向對像的結果展示

7.1.1  面向出資方的結果展示

7.1.2  面向用戶的結果展示

7.1.3  面向數據科學家的結果展示

7.2  展示過程中的可視化

7.2.1  展示可視化的兩個層面

7.2.2  展示可視化的三點基本原則

結語

參考文獻

伴隨當前傳感、網絡與通信、存儲技術的大力發展，社會生活中的方方面面每天都產生、積累著大量數據，對這些數據的有效處理與及時應用的需求帶來了對傳統數據分析領域的新挑戰。針對上述挑戰，近年來以互聯網為代表的工業界引領了數據科學的熱潮。然而，隨著數據科學在業界的流行，一些由於基本概念不清晰或應用不規範而帶來的結論誤導（如有偏樣本搜集、p值欺騙等）問題也開始日益凸顯，進而引起了學術界的關注。

數據科學是應用“科學”的方法、流程、算法和繫統，從多種形式的結構化或非結構化數據中提取知識和洞見的交叉學科。其內容跨越數學、計算機、信息學、繫統科學等多領域，難以分門別類進行介紹。而已有的一些相關書籍，多偏重工具的應用和技巧，對數據科學中的“科學&rdq素甚少涉及。本書立足於“科學”性，從學術的嚴謹性出發，著重確立數據科學中的各種基本概念與原理，建立數據科學完整的規範化流程。

具體而言，本書將遵照嚴謹的科學探索流程，按“確定問題—制定目標—搜集數據—探索性數據分析—建立模型—性能評價—結果展示”的規範化步驟，依次介紹各環節的關鍵概念、原理和準則，並佐以豐富的案例分析，啟發學生主動思考，在實踐中培養學生嚴謹的科學思維方式及規範的數據科學流程，對於指導可靠的數據分析具有重要意義。

本書是對數據科學的導論性介紹，力求簡潔、易懂，包含了豐富的案例。本書可作為高等院校相關專業的基礎課或通識課教材，也適合作為對數據科學感興趣的大專院校學生或社會讀者的自學書籍。

本書的代碼全部使用Python語言在Jupyter Notebook環境中編寫，書中第4章將對Python和Jupyter Notebook做相應介紹，熟悉該內容的讀者可以跳過該章。

2018年，作者團隊在南京大學電子科學與工程學院面向三年級本科生新開設了“數據科學導論”課程，教學內容和教案的編寫借鋻了大量的國內外優秀教材以及國際知名高校的網絡公開課。2019年年底，本課程的慕課版“探索數據的奧秘”在中國大學MOOC網正式上線。在線下和線上課程的開設過程中，同學們都給予了積極熱情的反饋。基於他們的反饋意見，作者團隊對教學內容及其組織形式、分析案例等進行了多次調整與完善，終形成了本書。在此，也向所有參加過線下與線上課程學習的同學們表示感謝。

在本書編寫團隊中，黃曉林任主編，負責整體內容的規劃、組織與全書行文，劉斌任副主編並編寫第3、7章部分內容，劉欽編寫第4章部分內容，陳穎編寫第6章中決策樹相關部分，葛雲編寫第1章中部分應用案例。研究生張羽祺、王珵、餘強、奚菁對本書部分圖表的繪制提供了幫助，在此向他們表示感謝。

感謝南京大學電子科學與工程學院徐駿教授、施毅教授、王自強副教授，南京大學教務處施佳歡老師、宋曉青老師等，本書從初新建課程到現在教材定稿，每一步的進展都離不開他們的大力支持。感謝馬小飛博士提供業界動態，感謝南京郵電大學地理與生物信息學院王俊教授和南京師範大學教育科學學院王蔚教授為本書提出的寶貴意見。感謝清華大學出版社文怡編輯等同志，是他們的辛勤工作保障了本書的順利出版。

本書配套有微課視頻（請觀看中國大學MOOC網“探索數據的奧秘”課程視頻），書中所有源代碼、課件均隨書提供下載（掃描二維碼），可供讀者自學或作為教學等非商業目的使用。

由於作者水平有限，書中難免有不當之處，歡迎讀者批評指正。

作者

2020年8月

大綱 課件 源代碼