第1章  機器學習概述 1
1.1  什麼是機器學習 1
1.2  機器學習的作用領域 3
1.3  機器學習的分類 4
1.4  機器學習理論基礎 6
1.5  機器學習應用開發的典型步驟 7
1.6  本章小結 8
1.7  復習題 8
第2章  機器學習之數據特征 9
2.1  數據的分布特征 9
2.1.1  數據分布集中趨勢的測度 9
2.1.2  數據分布離散程度的測定 14
2.1.3  數據分布偏態與峰度的測定 17
2.2  數據的相關性 19
2.2.1  相關關繫 19
2.2.2  相關分析 22
2.3  數據的聚類性 24
2.4  數據主成分分析 27
2.4.1  主成分分析的原理及模型 27
2.4.2  主成分分析的幾何解釋 29
2.4.3  主成分的導出 30
2.4.4  證明主成分的方差是依次遞減的 31
2.4.5  主成分分析的計算 32
2.5  數據動態性及其分析模型 34
2.5.1  動態數據及其特點 34
2.5.2  動態數據分析模型分類 35
2.5.3  平穩時間序列建模 35
2.6  數據可視化 37
2.7  本章小結 39
2.8  復習題 39
第3章  用scikit-learn估計器分類 40
3.1  scikit-learn基礎  40
3.1.1  sklearn包含的機器學習方式 40
3.1.2  sklearn的強大數據庫 41
3.1.3  sklearn datasets構造數據 42
3.2  scikit-learn估計器 43
3.2.1  sklearn估計器的類別 43
3.2.2  sklearn分類器的比較 43
3.3  本章小結 47
3.4  復習題 48
第4章  樸素貝葉斯分類 49
4.1  算法原理 49
4.1.1  樸素貝葉斯算法原理 49
4.1.2  樸素貝葉斯分類法 50
4.1.3  拉普拉斯校準 52
4.2  樸素貝葉斯分類 52
4.2.1  高斯樸素貝葉斯 53
4.2.2  伯努利樸素貝葉斯 54
4.2.3  多項式樸素貝葉斯 55
4.3  樸素貝葉斯分類實例 57
4.4  樸素貝葉斯連續值的處理 60
4.5  本章小結 62
4.6  復習題 63
第5章  線性回歸 64
5.1  簡單線性回歸模型 64
5.1.1 &nbs線性回歸模型 64
5.1.2  損失函數 65
5.1.3  梯度下降算法 65
5.1.4 &nbs線性回歸模型 67
5.1.5 &nbs線性回歸模型 68
5.2  分割數據集  68
5.2.1  訓練集和測試集 69
5.2.2  驗證集 72
5.3  用簡單線性回歸模型預測考試成績 73
5.3.1  創建數據集並提取特征和標簽 73
5.3.2  模型訓練 75
5.4  本章小結 78
5.5  復習題 78
第6章  用k近鄰算法分類和回歸 79
6.1  k近鄰算法模型  79
6.1.1  k近鄰算法的原理 79
6.1.2  距離的度量 81
6.1.3  算法的優缺點及算法的變種 81
6.2  用k近鄰算法處理分類問題 82
6.3  用k近鄰算法對鳶尾花進行分類 85
6.3.1  導入數據集 85
6.3.2  模型訓練 86
6.4  用k近鄰算法進行回歸擬合 88
6.5  本章小結 90
6.6  復習題 91
第7章  從簡單線性回線性回歸 92
7.1  多變量的線性模型  92
7.1.1  簡單線性回歸模型 92
7.1.2 &nbs線性回歸模型的預測函數 93
7.1.3  向量形式的預測函數 93
7.1.4  向量形式的損失函數 94
7.1.5  梯度下降算法 94
7.2  模型的優化  94
7.2.1  數據歸一化 94
7.2.2  欠擬合和過擬合 96
7.2.3  正則化 99
7.2.4  線性回歸與多項式 101
7.2.5  查準率和召回率 102
7.3  線性回歸模型預測波士頓房價 103
7.3.1  導入波士頓房價數據 104
7.3.2  模型訓練 105
7.3.3  模型優化 106
7.3.4  學習曲線 108
7.4  本章小結 110
7.5  復習題 110
第8章  從線性回歸到邏輯回歸 111
8.1  邏輯回歸模型  111
8.1.1  基本公式 112
8.1.2  邏輯回歸算法的代價函數 113
8.1.3  邏輯回歸算法的損失函數 114
8.1.4  梯度下降算法 114
8.2 &nbs分類問題 115
8.2.1  OVR 115
8.2.2  softmax函數 116
8.3  正則化項 118
8.3.1  線性回歸的正則化 118
8.3.2  邏輯回歸的正則化 119
8.4  模型優化 119
8.4.1  判定邊界 119
8.4.2  L1和L2的區別 120
8.5  用邏輯回歸算法處理二分類問題 121
8.5.1  導入數據集 122
8.5.2  模型訓練 123
8.5.3  學習曲線 125
8.6  識別手寫數分類問題 128
8.6.1  導入數據集 128
8.6.2  模型訓練 129
8.6.3  模型優化 131
8.7  本章小結 132
8.8  復習題 132
第9章  非線性分類和決策樹回歸 133
9.1  決策樹的特點 133
9.2  決策樹分類 135
9.3  決策樹回歸 137
9.4  決策樹的復雜度及使用技巧 139
9.5  決策樹算法：ID3、C4.5和CART 140
9.5.1  ID3算法 140
9.5.2  C4.5算法 141
9.5.3  CART算法 142
9.6  本章小結 143
9.7  復習題 143
第10章  集成方法：從決策樹到隨機森林 144
10.1  Bagg估計器 144
10.2  由隨機樹組成的森林 145
10.2.1  隨機森林 145
10.2.2  極限隨機樹 146
10.2.3  參數 146
10.2.4  並行化 147
10.2.5  特征重要性評估 147
10.3  AdaBoost 149
10.3.1  AdaBoost算法 149
10.3.2  AdaBoost使用方法 150
10.4  梯度提升回歸樹 150
10.4.1  分類 151
10.4.2  回歸 151
10.4.3  訓練額外的弱學習器 153
10.4.4  控制樹的大小 154
10.4.5  數學公式 154
10.4.6  正則化 155
10.4.7  投票分類器 157
10.4.8  投票回歸器 159
10.5  本章小結 161
10.6  復習題 161
第11章  從感知機到支持向量機  162
11.1  線性支持向量機分類 162
11.1.1  線性支持向量機分類示例 163
11.1.2  軟間隔分類 165
11.2  非線性支持向量機分類 168
11.2.1  多項式內核 169
11.2.2  相似特征 171
11.2.3  高斯RBF內核 173
11.2.4  計算復雜度 175
11.3  支持向量機回歸 175
11.4  本章小結 178
11.5  復習題 178
第12章  從感知機到人工神經網絡 179
12.1  到人  179
12.1.1  生 180
12.1.2  的邏輯計算 181
12.2  感知機  182
12.3  多層感知機 186
12.3.1  反向傳播算法 187
12.3.2  激活函數 188
12.3.3  分類MLP 189
12.3.4  回歸MLP 190
12.3.5  實用技巧 191
12.4  本章小結 192
12.5  復習題 192
第13章  主成分分析降維 193
13.1  數據的向量表示及降維問題 193
13.2  向量的表示及基變換 194
13.2.1  內積與投影 194
13.2.2  基 195
13.2.3  基變換的矩陣表示 196
13.3  協方差矩陣及優化目標 197
13.3.1  方差 198
13.3.2  協方差 199
13.3.3  協方差矩陣 199
13.3.4  協方差矩陣對角化 200
13.4  PCA算法流程 201
13.5  PCA實例 202
13.6  scikit-learn PCA降維實例 203
13.7  核主成分分析KPCA簡介 208
13.8  本章小結 209
13.9  復習題 209
參考文獻 210

機器學習實際上已經存在了幾十年，或者也可以認為存在了幾個世紀。追溯到17世紀，貝葉斯、拉普拉斯關於小二乘法的推導和馬爾可夫鏈，這些構成了機器學習廣泛使用的工具和基礎。從1950年艾倫·圖靈提議搭建一個學習機器開始，到2000年年初深度學習的實際應用以及近的進展，比如2012年的AlexNet，機器學習有了很大的發展。
scikit-learn項目早由數據科學家 David Cournapeau在2007年發起，需要NumPy和SciPy等其他包的支持，它是Python語言中專門針對機器學習應用而發展起來的一款開源框架。
機器學習是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。它專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構並使之不斷改善自身的性能。它是人工智能的核心，即使計算機具有智能的根本途徑。
本書針對機器學習這個領域，描述了多種學習模型、策略、算法、理論以及應用，基於Python3使用scikit-learn工具包演示算法解決實際問題的過程。對機器學習感興趣的讀者可通過本書快速入門，快速勝任機器學習崗位，成為人工智能時代的人纔。
讀者需要了解的重要信息
本書作為機器學習專業圖書，介紹機器學習的基本概念、算法流程、模型構建、數據訓練、模型評估與調優、工具和實現方法，全程以真實案例驅動，案例采用Python3實現。本書涵蓋數據獲得、算法模型、案例代碼實現和結果展示的全過程，以機器學習的經典算法為軸線：算法分析→數據獲取→模型構建→推斷→算法評估。本書案例具有代表性，結合了理論與實踐，並能明確機器學習的目標及完成效果。
本書內容
本書共分13章，繫統講解機器學習的典型算法，內容包括機器學習概述、數據特征提取、scikit-learn估計器分類、樸素貝葉斯分類、線性回歸、k近鄰算法分類和回歸、從簡單線性回線性回歸、從線性回歸到邏輯回歸、非線性分類和決策樹回歸、從決策樹到隨機森林、從感知機到支持向量機、從感知機到人工神經網絡、主成分分析降維。
本書的例子都是在Python3集成開發環境Anaconda3中經過實際調試通過的典型案例，同時本書配備了案例的源碼和數據集供讀者參考。
配套資源下載
本書配套的案例源碼、PPT課件、數據集、開發環境和答疑服務，需要使用微信掃描下邊的二維碼下載，可按掃描後的頁面提示，把鏈接轉發到自己的郵箱中下載。如果有疑問，請聯繫booksaga@163.com，郵件主題寫“scikit-learn機器學習實戰”。

本書讀者
本書適合大數據分析與挖掘、機器學習與人工智能技術的初學者、研究人員及從業人員，也適合作為高等院校和培訓機構大數據、機器學習與人工智能相關專業的師生教學參考。
致  謝
本書完成之際，感謝合作者與清華大學出版社各位老師的支持。作者夜以繼日用了近一年的時間寫作，並不斷修正錯誤和完善知識結構。由於作者水平有限，書中有紕漏之處還請讀者不吝賜教。本書寫作過程中參考的圖書與網絡資源都在參考文獻中給出了出處。

鄧立國 
2022年1月