●第1章機器學習是什麼——機器學習定義1
引言2
1.1數據5
1.1.1結構型與非結構型數據5
1.1.2原始數據與加工7
1.1.3樣本內數據與樣本外數據9
1.2機器學習類別9
1.2.1有監督學習10
1.2.2無監督學習10
1.2.3半監督學習11
1.2.4增強學習11
1.2.5深度學習11
1.2.6遷移學習12
1.3性能度量12
1.3.1誤差函數13
1.3.2回歸度量14
1.3.3分類度量15
1.4總結19
參考資料20
第2章機器學習可行嗎——計算學習理論22
引言23
2.1基礎知識25
2.1.1二分類25
2.1.2對分26
2.1.3增長函數29
2.1.4突破點30
2.2核心推導31
2.2.1機器學習可行條件31
2.2.2從已知推未知33
2.2.3從民意調查到機器學習35
2.2.4從單一到有限36
2.2.5從有限到無限37
2.2.6從無限到有限38
2.3結論應用39
2.3.1VC不等式39
2.3.2VC維度40
2.3.3模型復雜度40
2.3.4樣本復雜度41
2.4總結42
參考資料43
技術附錄43
第3章機器學習怎麼學——模型評估選擇47
引言48
3.1模型評估52
3.2訓練誤差和測試誤差52
3.2.1訓練誤差52
3.2.2真實誤差54
3.2.3測試誤差57
3.2.4學習理論57
3.3驗證誤差和交叉驗證誤差60
3.3.1驗證誤差60
3.3.2交叉驗證誤差61
3.3.3學習理論62
3.4誤差剖析64
3.4.1誤差來源64
3.4.2偏差―方差權衡66
3.5模型選擇67
3.6總結70
參考資料71
技術附錄71
第4章線性回歸73
引言74
4.1基礎知識75
4.1.1標量微積分75
4.1.2向量微積分76
4.2模型介紹77
4.2.1核心問題77
4.2.2通用線性回歸模型83
4.2.3特征縮放84
4.2.4學習率設定86
4.2.5數值算法比較87
4.2.6代碼實現89
4.3總結90
參考資料90
第5章對率回歸92
引言93
5.1基礎內容94
5.1.1聯繫函數94
5.1.2函數繪圖95
5.2模型介紹96
5.2.1核心問題96
5.2.2查準和查全102
5.2.3類別不平衡104
5.2.4線性不可分105
5.2.5多分類問題106
5.2.6代碼實現109
5.3總結110
參考資料111
第6章正則化回歸112
引言113
6.1基礎知識114
6.1.1等值線圖114
6.1.2坐標下降116
6.2模型介紹116
6.2.1核心問題116
6.2.2模型對比122
6.2.3很好模型125
6.2.4代碼實現126
6.3總結126
參考資料127
第7章支持向量機128
引言129
7.1基礎知識133
7.1.1向量初體驗133
7.1.2拉格朗日量136
7.1.3原始和對偶137
7.2模型介紹138
7.2.1硬間隔SVM原始問題138
7.2.2硬間隔SVM對偶問題144
7.2.3軟間隔SVM原始問題148
7.2.4軟間隔SVM對偶問題150
7.2.5空間轉換151
7.2.6核技巧155
7.2.7核SVM158
7.2.8SMO算法159
7.2.9模型選擇161
7.3總結162
參考資料164
技術附錄164
第8章樸素貝葉斯170
引言171
8.1基礎知識174
8.1.1兩種概率學派174
8.1.2兩種獨立類別174
8.1.3兩種學習算法175
8.1.4兩種估計方法176
8.1.5兩類概率分布177
8.2模型介紹179
8.2.1問題剖析179
8.2.2樸素貝葉斯算法182
8.2伯努利模型183
8.2.4多項事件模型184
8.2.5高斯判別分析模型184
8.2.6多分類問題186
8.2.7拉普拉斯校正187
8.2.8優選似然估計和優選後驗估計188
8.3總結190
參考資料191
技術附錄191
第9章決策樹195
引言196
9.1基礎知識198
9.1.1多數規則198
9.1.2熵和條件熵198
9.1.3信息增益和信息增益比200
9.1.4基尼指數201
9.2模型介紹201
9.2.1二分類決策樹201
9.2.2多分類決策樹209
9.2.3連續值分裂210
9.2.4欠擬合和過擬合211
9.2.5預修剪和後修剪212
9.2.6數據缺失215
9.2.7代碼實現218
9.3總結219
參考資料219
第10章人工神經網絡220
引言221
10.1基本知識223
10.1.1轉換函數223
10.1.2單輸入單層單輸出神經網絡224
10.1.3多輸入單層單輸出神經網絡224
10.1.4多輸入單層多輸出神經網絡225
10.1.5多輸入多層多輸出神經網絡225
10.2模型應用227
10.2.1創建神經網絡模型227
10.2.2回歸應用230
10.2.3分類應用238
第11章正向/反向傳播246
引言247
11.1基礎知識250
11.1.1神素250
11.1.2鏈式法則254
11.2算法介紹254
11.2.1正向傳播254
11.2.2梯度下降257
11.2.3反向傳播258
11.2.4代碼實現262
11.3總結268
參考資料268
技術附錄269
第12章集成學習272
引言273
12.1結合假設277
12.1.1語文和數學277
12.1.2準確和多樣278
12.1.3獨裁和民主279
12.1.4學習並結合279
12.2裝袋法280
12.2.1基本概念280
12.2.2自助采樣280
12.2.3結合假設281
12.3提升法282
12.3.1基本概念282
12.3.2很優加權283
12.3.3結合假設285
12.4集成方式286
12.4.1同質學習器286
12.4.2異質學習器286
12.5總結288
參考資料288
第13章隨機森林和提升樹289
引言290
13.1基礎知識293
13.1.1分類回歸樹293
13.1.2前向分布算法294
13.1.3置換檢驗295
13.2模型介紹296
13.2.1隨機森林296
13.2.2提升樹302
13.2.3代碼實現306
13.3總結307
參考資料307
第14章靠前梯度提升309
引言310
14.1基礎知識311
14.1.1樹的重定義311
14.1.2樹的復雜度313
14.2模型介紹313
14.2.1XGB簡介313
14.2.2XGB的泛化度314
14.2.3XGB的準確度315
14.2.4XGB的速度318
14.2.5代碼實現324
14.3總結325
參考資料326
第15章本書總結327
15.1正交策略328
15.2單值評估指標330
15.3偏差和方差332
15.3.1理論定義332
15.3.2實用定義334
15.3.3很優誤差335
15.3.4兩者權衡336
15.3.5學習曲線336
結語339
學習並精通任何一門學科無外乎要經過四個步驟：它是什麼？它可行嗎？怎麼學它？如何學好它？機器學習也不例外，《快樂機器學習》就以這四個步驟來介紹機器學習。
《快樂機器學習》第1章介紹“機器學習是什麼”，即從定義開始，詳細介紹機器學習涉及的知識、數據和性能度量。第2章介紹“機器學習可行嗎”，即介紹機器具備學習樣本以外的數據的能力。
第3章介紹“機器學習怎麼學”，即介紹機器如何選擇出很優模型。作者在這3章的寫作上花費的時間最多，光這3章的內容就絕對會讓讀者有所收獲。
第4~14章介紹“如何學好機器學習”，重點介紹機器學習的各類算法和調參技巧。
第15章介紹機器學習中的一些非常實用的經驗，包括學習策略、目標設定、誤差分析和偏差與方差分析。作者寫作本書的目的是深入淺出介紹機器學習，使看似復雜、晦澀的專業知識變得通俗易懂，讓那些想入門的讀者感覺門檻沒有那麼高，讓有等
