清晰解釋Python運行代碼，深入淺出講解機器學習原理，精選商業建模實踐案例，演繹常用機器學習算法，精準解讀運行結果。

●第1章 Python入門知識 1
1.1 Python簡介與本書的教學理念 1
1.2 Python的下載與安裝 2
1.2.1 下載Python（Anaconda平臺） 2
1.2.2 安裝Python（Anaconda平臺） 4
1.2.3 Anaconda Prompt（Anaconda3） 6
1.2.4 Spyder（Anaconda3）的介紹及偏好設置 7
1.2.5 Spyder（Anaconda3）窗口介紹 10
1.3 Python注釋、基本輸入與輸出 16
1.3.1 Python的注釋 16
1.3.2 print函數 17
1.3.3 input函數 17
1.4 Python變量和數據類型 18
1.4.1 Python的保留字與標識符 18
1.4.2 Python的變量 19
1.4.3 Python的基本數據類型 20
1.4.4 Python的數據運算符 23
1.5 Python序列 25
1.5.1 索引（Indexing） 26
1.5.2 切片（Slicing） 26
1.5.3 相加（Adding） 27
1.5.4 相乘（ ltiplying） 28
1.5素檢查 28
1.5.6 與序列相關的內置函數 28
1.6 Python列表 30
1.6.1 列表的基本操作 30
1.6.2素的基本操作 32
1.6.3 列表推導式 33
1.7 Pyt組 34
1.7組的基本操作 34
1素的基本操作 35
1.7組推導式 36
1.8 Python字典 37
1.8.1 字典的基本操作 37
1.8.2素的基本操作 39
1.8.3 字典推導式 40
1.9 Python集合 41
1.10 Python字符串 42
1.11 習題 46
第2章 Python進階知識 48
2.1 Python流程控制語句 48
2.1.1 選擇語句 48
2.1.2 循環語句 50
2.1.3 跳轉語句 52
2.2 Python函數 53
2.2.1 函數的創建和調用 53
2.2.2 參數的相關概念與操作 53
2.2.3 變量的作用域 56
2.3 Python模塊和包 58
2.3.1 模塊的創建和導入 58
2.3.2 包的創建和使用 61
2.4 Python numpy模塊中的數組 63
2.4.1 數組的創建 63
2.4.2 數組的計算 65
2.4.3 使用數組開展矩陣運算 66
2.4.4 數組的排序、索引和切片 66
2.5 Python pandas模塊中的序列與數據框 67
2.5.1 序列的相關操作 67
2.5.2 數據框的相關操作 69
2.6 Python對像與類 74
2.6.1 類的定義 74
2.6.2 定義適用於類對像的方法 75
2.6.3 子類從父類繼承 76
2.7 Python數據讀取 76
2.7.1 讀取文本文件（CSV或者TXT文件） 77
2.7.2 讀取EXCEL數據 80
2.7.3 讀取SPSS數據 81
2.7.4 讀取Stata數據 82
2.8 Python數據檢索 83
2.9 Python數據缺失值處理 84
2.9.1 查看數據集中的缺失值 84
2.9.2 填充數據集中的缺失值 86
2.9.3 刪除數據集中的缺失值 89
2.10 Python數據重復值處理 91
2.10.1 查看數據集中的重復值 91
2.10.2 刪除數據集中的重復值 92
2.11 Python數據行列處理 94
2.11.1 刪除變量列、樣本行 94
2.11.2 更改變量列名稱、調整變量列順序 95
2.11.3 改變列的數據格式 96
2.11.4 多列轉換 96
2.11.5 數據百分比格式轉換 97
2.12 習題 98
第3章 機器學習介紹 99
3.1 機器學習概述 99
3.2 機器學習術語 100
3.3 機器學習分類 101
3.4 誤差、泛化、過擬合與欠擬合 102
3.5 偏差、方差與噪聲 103
3.5.1 偏差 103
3.5.2 方差 103
3.5.3 噪聲 103
3.5.4 誤差與偏差、方差、噪聲的關繫 104
3.5.5 偏差與方差的權衡 104
3.6 性能量度 105
3.6.1 “回歸問題監督式學習”的性能量度 105
3.6.2 “分類問題監督式學習”的性能量度 106
3.7 模型評估 111
3.7.1 驗證集法 111
3.7.2 K折交叉驗證 112
3.7.3 自助法 113
3.8 機器學習項目流程 114
3.9 習題 118
第4章 線性回歸算法 119
4.1 線性回歸算法的基本原理 119
4.1.1 線性回歸算法的概念及數學解釋 119
4.1.2 線性回歸算法的優缺點 120
4.2 數據準備 121
4.2.1 導入分析所需要的模塊和函數 121
4.2.2 數據讀取及觀察 122
4.3 描述性分析 123
4.4 圖形繪制 125
4.4.1 直方圖 125
4.4.2 密度圖 127
4.4.3 箱圖 128
4.4.4 小提琴圖 128
4.4.5 正態QQ圖 129
4.4.6 散點圖和線圖 130
4.4.7 熱力圖 131
4.4.8 回歸擬合圖 132
4.4.9 聯合分布圖 132
4.5 正態性檢驗 133
4.5.1 Shapiro-Wilk test檢驗 133
4.5.2 kstest檢驗 134
4.6 相關性分析 135
4.7 使用statsmodels進行線性回歸 137
4.7.1 使用 smf 進行線性回歸 137
4.7.2 多重共線性檢驗 139
4.7.3 解決多重共線性問題 140
4.7.4 繪制擬合回歸平面 141
4.8 使用sklearn進行線性回歸 142
4.8.1 使用驗證集法進行模型擬合 142
4.8.2 更換隨機數種子，使用驗證集法進行模型擬合 143
4.8.3 使用10折交叉驗證法進行模型擬合 143
4.8.4 使用10折重復10次交叉驗證法進行模型擬合 144
4.8.5 使用留一交叉驗證法進行模型擬合 144
4.9 習題 145
第5Logistic回歸算法 147
5.Logistic回歸算法的基本原理 147
5.2 數據準備 148
5.2.1 導入分析所需要的模塊和函數 149
5.2.2 數據讀取及觀察 150
5.3 描述性分析 152
5.4 數據處理 154
5.4.1 區分分類特征和連續特征並進行處理 154
5.4.2 將樣本全集分割為訓練樣本和測試樣本 154
5.5 Logistic回歸算法模型 155
5.5.1 使用statsmodelsLogistic回歸算法模型 155
5.5.2 使用sklearnLogistic回歸算法模型 159
5.5.3 特征變量重要性水平分析 162
5.5.4 繪制ROC曲線，計算AUC值 165
5.5.5 計算科恩kappa得分 166
5.6 習題 167
第6Logistic回歸算法 169
6.Logistic回歸算法的基本原理 169
6.2 數據準備 170
6.2.1 導入分析所需要的模塊和函數 170
6.2.2 數據讀取及觀察 171
6.3 描述性分析及圖形繪制 172
6.3.1 描述性分析 172
6.3.2 繪制直方圖 173
6.3.3 繪制箱圖 173
6.4 數據處理 175
6.4.1 區分分類特征和連續特征並進行處理 175
6.4.2 將樣本全集分割為訓練樣本和測試樣本 175
6.5 Logistic回歸算法模型 175
6.5.1 模型估計 176
6.5.2 模型性能分析 176
6.6 習題 179
第7章 判別分析算法 180
7.1 判別分析算法的基本原理 180
7.1.1 線性判別分析的基本原理 180
7.1.2 線性判別分析的算法過程 181
7.1.3 二次判別分析的基本原理 182
7.2 數據準備 183
7.2.1 導入分析所需要的模塊和函數 184
7.2.2 線性判別分析降維優勢展示 185
7.2.3 數據讀取及觀察 187
7.3 特征變量相關性分析 188
7.4 使用樣本全集開展線性判別分析 189
7.4.1 模型估計及性能分析 189
7.4.2 運用兩個特征變量繪制LDA決策邊界圖 192
7.5 使用分割樣本開展線性判別分析 193
7.6 使用分割樣本開展二次判別分析 195
7.6.1 模型估計 195
7.6.2 運用兩個特征變量繪制QDA決策邊界圖 196
7.7 習題 197
第8章 樸素貝葉斯算法 198
8.1 樸素貝葉斯算法的基本原理 198
8.1.1 貝葉斯方法的基本原理 198
8.1.2 貝葉斯定理 199
8.1.3 樸素貝葉斯算法的基本原理 201
8.1.4 拉普拉斯修正 202
8.1.5 樸素貝葉斯算法分類及適用條件 202
8.2 數據準備 203
8.2.1 案例數據說明 203
8.2.2 導入分析所需要的模塊和函數 205
8.3 高斯樸素貝葉斯算法示例 205
8.3.1 數據讀取及觀察 206
8.3.2 將樣本全集分割為訓練樣本和測試樣本 207
8.3.3 高斯樸素貝葉斯算法擬合 207
8.3.4 繪制ROC曲線 207
8.3.5 運用兩個特征變量繪制高斯樸素貝葉斯決策邊界圖 208
8.4 多項式、補集、二項式樸素貝葉斯算法示例 208
8.4.1 數據讀取及觀察 209
8.4.2 將樣本全集分割為訓練樣本和測試樣本 209
8.4.3 多項式、補集、二項式樸素貝葉斯算法擬合 210
8.4.4 尋求二項式樸素貝葉斯算法擬合的很優參數 210
8.4.5 很優二項式樸素貝葉斯算法模型性能評價 213
8.5 習題 214
第9章 高維數據懲罰回歸算法 216
9.1 高維數據懲罰回歸算法簡介 216
9.1.1 高維數據懲罰回歸算法的基本原理 216
9.1.2 嶺回歸 217
9.1.3 Lasso回歸 217
9.1.4 彈性網回歸 218
9.1.5 懲罰回歸算法的選擇 218
9.2 數據準備 218
9.2.1 導入分析所需要的模塊和函數 220
9.2.2 數據讀取及觀察 220
9.3 變量設置及數據處理 221
9.4 嶺回歸算法 222
9.4.1 使用默認懲罰繫數構建嶺回歸模型 222
9.4.2 使用留一交叉驗證法尋求很優懲罰繫數構建嶺回歸模型 223
9.4.3 使用K折交叉驗證法尋求很優懲罰繫數構建嶺回歸模型 224
9.4.4 劃分訓練樣本和測試樣本下的很優嶺回歸模型 225
9.5 Lasso回歸算法 226
9.5.1 使用隨機選取懲罰繫數構建嶺回歸模型 226
9.5.2 使用留一交叉驗證法尋求很優懲罰繫數構建Lasso回歸模型 227
9.5.3 使用K折交叉驗證法尋求很優懲罰繫數構建Lasso回歸模型 227
9.5.4 劃分訓練樣本和測試樣本下的很優Lasso回歸模型 228
9.6 彈性網回歸算法 229
9.6.1 使用隨機選取懲罰繫數構建彈性網回歸模型 229
9.6.2 使用K折交叉驗證法尋求很優懲罰繫數構建彈性網回歸模型 230
9.6.3 劃分訓練樣本和測試樣本下的很優彈性網回歸模型 231
9.7 習題 231
第10章 K近鄰算法 233
10.1 K近鄰算法簡介 233
10.1.1 K近鄰算法的基本原理 233
10.1.2 K值的選擇 235
10.1.3 K近鄰算法的變種 235
10.2 數據準備 236
10.2.1 案例數據說明 236
10.2.2 導入分析所需要的模塊和函數 236
10.3 回歸問題K近鄰算法示例 237
10.3.1 變量設置及數據處理 237
10.3.2 構建K近鄰回歸算法模型 237
10.3.3 如何選擇很優的K值 238
10.3.4 很優模型擬合效果圖形展示 239
10.4 分類問題K近鄰算法示例 240
10.4.1 變量設置及數據處理 240
10.4.2 構建K近鄰分類算法模型 241
10.4.3 如何選擇很優的K值 242
10.4.4 很優模型擬合效果圖形展示 243
10.4.5 繪制K近鄰分類算法ROC曲線 243
10.4.6 運用兩個特征變量繪制K近鄰算法決策邊界圖 244
10.4.7 普通KNN算法、帶權重KNN、指定半徑KNN三種算法的對比 245
10.5 習題 246
第11章 主成分分析算法 248
11.1 主成分分析算法簡介 248
11.1.1 主成分分析算法的基本原理 248
11.1.2 主成分分析算法的數學概念 249
11.1.3 主成分的特征值 250
11.1.4 樣本的主成分得分 250
11.1.5 主成分載荷 251
11.2 數據準備 252
11.2.1 案例數據說明 252
11.2.2 導入分析所需要的模塊和函數 253
11.2.3 變量設置及數據處理 253
11.2.4 特征變量相關性分析 254
11.3 主成分分析算法示例 256
11.3.1 主成分提取及特征值、方差貢獻率計算 256
11.3.2 繪制碎石圖觀察各主成分特征值 256
11.3.3 繪制碎石圖觀察各主成分方差貢獻率 257
11.3.4 繪制碎石圖觀察主成分累積方差貢獻率 258
11.3.5 計算樣本的主成分得分 258
11.3.6 繪制二維圖形展示樣本在前兩個主成分上的得分 259
11.3.7 繪制三維圖形展示樣本在前三個主成分上的得分 260
11.3.8 輸出特征向量矩陣，觀察主成分載荷 260
11.4 習題 261
第12章 聚類分析算法 262
12.1 聚類分析算法簡介 262
12.1.1 聚類分析算法的基本原理 262
12.1.2 劃分聚類分析 263
12.1.3 層次聚類分析 263
12.1.4 樣本距離的測度 265
12.2 數據準備 267
12.2.1 案例數據說明 268
12.2.2 導入分析所需要的模塊和函數 268
12.2.3 變量設置及數據處理 269
12.2.4 特征變量相關性分析 270
12.3 劃分聚類分析算法示例 271
12.3.1 使用K均值聚類分析方法對樣本進行聚類（K=2） 271
12.3.2 使用K均值聚類分析方法對樣本進行聚類（K=3） 271
12.3.3 使用K均值聚類分析方法對樣本進行聚類（K=4） 272
12.4 層次聚類分析算法示例 273
12.4.1 最短聯結法聚類分析 273
12.4.2 聯結法聚類分析 274
12.4.3 平均聯結法聚類分析 275
12.4.4 ward聯結法聚類分析 277
12.4.5 重心聯結法聚類分析 278
12.5 習題 279
第13章 決策樹算法 280
13.1 決策樹算法簡介 280
13.1.1 決策樹算法的概念與原理 280
13.1.2 特征變量選擇及其臨界值確定方法 282
13.1.3 決策樹的剪枝 284
13.1.4 包含剪枝決策樹的損失函數 284
13.1.5 變量重要性 285
13.2 數據準備 285
13.2.1 案例數據說明 285
13.2.2 導入分析所需要的模塊和函數 287
13.3 分類問題決策樹算法示例 287
13.3.1 變量設置及數據處理 287
13.3.2 未考慮成本-復雜度剪枝的決策樹分類算法模型 288
13.3.3 考慮成本-復雜度剪枝的決策樹分類算法模型 291
13.3.4 繪制圖形觀察葉節點總不純度隨alpha值的變化情況 291
13.3.5 繪制圖形觀察節點數和樹的深度隨alpha值的變化情況 292
13.3.6 繪制圖形觀察訓練樣本和測試樣本的預測準確率隨alpha值的變化情況 293
13.3.7 通過10折交叉驗證法尋求很優alpha值 294
13.3.8 決策樹特征變量重要性水平分析 295
13.3.9 繪制ROC曲線 296
13.3.10 運用兩個特征變量繪制決策樹算法決策邊界圖 297
13.4 回歸問題決策樹算法示例 298
13.4.1 變量設置及數據處理 298
13.4.2 未考慮成本-復雜度剪枝的決策樹回歸算法模型 299
13.4.3 考慮成本-復雜度剪枝的決策樹回歸算法模型 300
13.4.4 繪制圖形觀察葉節點總均方誤差隨alpha值的變化情況 300
13.4.5 繪制圖形觀察節點數和樹的深度隨alpha值的變化情況 301
13.4.6 繪制圖形觀察訓練樣本和測試樣本的擬合優度隨alpha值的變化情況 302
13.4.7 通過10折交叉驗證法尋求很優alpha值並開展特征變量重要性水平分析 302
13.4.8 很優模型擬合效果圖形展示 304
13.4.9 構建線性回歸算法模型進行對比 305
13.5 習題 305
第14章 隨機森林算法 307
14.1 隨機森林算法的基本原理 307
14.1.1 集成學習的概念與分類 307
14.1.2 裝袋法的概念與原理 308
14.1.3 隨機森林算法的概念與原理 309
14.1.4 隨機森林算法特征變量重要性量度 309
14.1.5 部分依賴圖與個體條件期望圖 309
14.2 數據準備 310
14.2.1 案例數據說明 310
14.2.2 導入分析所需要的模塊和函數 310
14.3 分類問題隨機森林算法示例 311
14.3.1 變量設置及數據處理 311
14.3.Logistic回歸、單棵分類決策樹算法觀察 311
14.3.3 裝袋法分類算法 312
14.3.4 隨機森林分類算法 313
14.3.5 尋求max_features很優參數 313
14.3.6 尋求n_estimators很優參數 314
14.3.7 隨機森林特征變量重要性水平分析 316
14.3.8 繪制部分依賴圖與個體條件期望圖 316
14.3.9 模型性能評價 318
14.3.10 繪制ROC曲線 319
14.3.11 運用兩個特征變量繪制隨機森林算法決策邊界圖 320
14.4 回歸問題隨機森林算法示例 320
14.4.1 變量設置及數據處理 320
14.4.2 線性回歸、單棵回歸決策樹算法觀察 321
14.4.3 裝袋法回歸算法 321
14.4.4 隨機森林回歸算法 322
14.4.5 尋求max_features很優參數 322
14.4.6 尋求n_estimators很優參數 323
14.4.7 隨機森林特征變量重要性水平分析 325
14.4.8 繪制部分依賴圖與個體條件期望圖 325
14.4.9 很優模型擬合效果圖形展示 326
14.5 習題 327
第15章 提升法 329
15.1 提升法的基本原理 329
15.1.1 提升法的概念與原理 329
15.1.2 AdaBoost（自適應提升法） 330
15.1.3 梯度提升法（Gradient Boosting Machine） 331
15.1.4 回歸問題損失函數 332
15.1.5 分類問題損失函數 336
15.1.6 隨機梯度提升法 337
15.1.7 XGBoost算法 338
15.2 數據準備 338
15.2.1 案例數據說明 338
15.2.2 導入分析所需要的模塊和函數 340
15.3 回歸提升法示例 340
15.3.1 變量設置及數據處理 340
15.3.2 線性回歸算法觀察 341
15.3.3 回歸提升法（默認參數） 341
15.3.4 使用隨機搜索尋求很優參數 341
15.3.5 繪制圖形觀察模型均方誤差隨弱學習器數量變化的情況 342
15.3.6 繪制圖形觀察模型擬合優度隨弱學習器數量變化的情況 343
15.3.7 回歸問題提升法特征變量重要性水平分析 344
15.3.8 繪制部分依賴圖與個體條件期望圖 345
15.3.9 很優模型擬合效果圖形展示 346
15.3.10 XGBoost回歸提升法 347
15.4 二分類提升法示例 349
15.4.1 變量設置及數據處理 349
15.4.2 AdaBoost算法 349
15.4.3 二分類提升法（默認參數） 349
15.4.4 使用隨機搜索尋求很優參數 350
15.4.5 二分類問題提升法特征變量重要性水平分析 350
15.4.6 繪制部分依賴圖與個體條件期望圖 351
15.4.7 模型性能評價 352
15.4.8 繪制ROC曲線 354
15.4.9 運用兩個特征變量繪制二分類提升法決策邊界圖 354
15.4.10 XGBoost二分類提升法 355
15.5 多分類提升法示例 356
15.5.1 變量設置及數據處理 356
15.5.Logistic回歸算法觀察 357
15.5.3 多分類提升法（默認參數） 357
15.5.4 使用隨機搜索尋求很優參數 357
15.5.5 多分類問題提升法特征變量重要性水平分析 358
15.5.6 繪制部分依賴圖與個體條件期望圖 359
15.5.7 模型性能評價 360
15.5.8 XGBoost多分類提升法 362
15.6 習題 362
第16章 支持向量機算法 364
16.1 支持向量機算法的基本原理 364
16.1.1 線性可分 364
16.1.2 硬間隔分類器的概念與原理解釋 365
16.1.3 硬間隔分類器的求解步驟 367
16.1.4 軟間隔分類器的概念與原理解釋 368
16.1.5 軟間隔分類器的求解步驟 369
16.1.6 核函數 370
16.1.7 多分類問題支持向量機 372
16.1.8 支持向量回歸 373
16.2 數據準備 375
16.2.1 案例數據說明 375
16.2.2 導入分析所需要的模塊和函數 375
16.3 回歸支持向量機算法示例 376
16.3.1 變量設置及數據處理 376
16.3.2 回歸支持向量機算法（默認參數） 376
16.3.3 通過10折交叉驗證尋求很優參數 377
16.3.4 很優模型擬合效果圖形展示 378
16.4 二分類支持向量機算法示例 379
16.4.1 變量設置及數據處理 379
16.4.2 二分類支持向量機算法（默認參數） 379
16.4.3 通過10折交叉驗證尋求很優參數 380
16.4.4 模型性能評價 381
16.4.5 繪制ROC曲線 382
16.4.6 運用兩個特征變量繪制二分類支持向量機算法決策邊界圖 383
16.5 多分類支持向量機算法示例 386
16.5.1 變量設置及數據處理 386
16.5.2 多分類支持向量機算法（一對一） 387
16.5.3 多分類支持向量機算法（默認參數） 388
16.5.4 通過10折交叉驗證尋求很優參數 389
16.5.5 模型性能評價 390
16.6 習題 391
第17章 神經網絡算法 393
17.1 神經網絡算法的基本原理 393
17.1.1 神經網絡算法的基本思想 393
17.1.2 感知機 395
17.1.3 多層感知機 398
17.1.4激活函數 400
17.1.5 誤差反向傳播算法（BP算法） 405
17.1.6 萬能近似定理及多隱藏層優勢 408
17.1.7 BP算法過擬合問題的解決 408
17.2 數據準備 410
17.2.1 案例數據說明 410
17.2.2 導入分析所需要的模塊和函數 411
17.3 回歸神經網絡算法示例 411
17.3.1 變量設置及數據處理 411
17.3.2 單隱藏層的多層感知機算法 412
17.3.3 神經網絡特征變量重要性水平分析 413
17.3.4 繪制部分依賴圖與個體條件期望圖 414
17.3.5 擬合優度個數變化的可視化展示 415
17.3.6 通過K折交叉驗證尋求單隱藏層很個數 416
17.3.7 雙隱藏層的多層感知機算法 417
17.3.8 很優模型擬合效果圖形展示 417
17.4 二分類神經網絡算法示例 418
17.4.1 變量設置及數據處理 418
17.4.2 單隱藏層二分類問題神經網絡算法 419
17.4.3 雙隱藏層二分類問題神經網絡算法 420
17.4.4 早停策略減少過擬合問題 420
17.4.5 正則化（權重衰減）策略減少過擬合問題 420
17.4.6 模型性能評價 421
17.4.7 繪制ROC曲線 422
17.4.8 運用兩個特征變量繪制二分類神經網絡算法決策邊界圖 423
17.5 多分類神經網絡算法示例 423
17.5.1 變量設置及數據處理 424
17.5.2 單隱藏層多分類問題神經網絡算法 424
17.5.3 雙隱藏層多分類問題神經網絡算法 424
17.5.4 模型性能評價 425
17.5.5 運用兩個特征變量繪制多分類神經網絡算法決策邊界圖 426
17.6 習題 427

數字化轉型背景下，Python作為一門簡單、易學、速度快、免費、開源的主流編程語言，廣泛應用於大數據處理、人工智能、雲計算等各個領域，是眾多高等院校學生的必修基礎課程，也是堪與Office辦公軟件應用比肩的職場人士的推薦技能。同時隨著數據存儲、數據處理等大數據技術的快速進步，機器學習的各種算法在各行各業得以廣泛應用，同樣成為高校師生、職場人士迎接數字化浪潮、與時俱進提升專業技能的必修課程。本書將“Python課程學習”與“機器學習課程學習”有機結合，推動數字化人纔的培養，提升人纔的實踐應用能力。全書內容共17章。第1、2章介紹Python的入門知識和進階知識；第3章介紹機器學習的概念及各種術語及評價標準；第4~10章介紹相對簡單的監督式學習方法，包括線性回歸算Logistic回歸算Logistic回歸算法、判別分析算法、樸素貝葉斯算法、高維數據懲罰回歸算法、K近等

楊維忠,張甜 著