第1章人工智能概述1
1.1相關概念1
1.1.1人工智能1
1.1.2機器學習2
1.1.3深度學習2
1.1.4三者關繫2
1.2機器學習三要素3
1.2.1數據3
1.2.2算法4
1.2.3模型6
1.3機器學習開發流程6
1.3.1數據采集6
1.3.2數據預處理7
1.3.3特征工程7
1.3.4模型構建和訓練7
1.3.5模型優化和評估8
1.4Sklearn框架8
1.4.1Sklearn簡介9
1.4.2Sklearn的安裝過程10
1.4.3基於Sklearn的機器學習流程10
1.5Anaconda13
1.5.1Anaconda簡介13
1.5.2Anaconda的安裝過程13
1.5.3Anaconda的運行方式15
1.5.4Jupyter Notebook17
1.6學習建議與方法20
1.6.1學習建議20
1.6.2學習方法21
1.6.3Kaggle競賽平臺21第2章Python科學計算22
2.1走進科學計算22
2.2NumPy23
2.2.1NumPy簡介23
2.2.2創建數組25
2.2.3查看數組26
2.2.4索引和切片27
2.2.5矩陣運算28
2.2.6主要方法29
2.3Matplotlib30
2.3.1Matplotlib簡介30
2.3.2圖表要素31
2.3.3線圖31
2.3.4散點圖32
2.3.5餅狀圖33
2.3.6條形圖34
2.3.7直方圖34
2.4SciPy35
2.4.1SciPy簡介35
2.4.2稀疏矩陣36
2.4.3泊松分布37
2.4.4二項分布37
2.4.5正態分布38
2.4.6均勻分布39
2.4.7指數分布40
2.5Pandas41
2.5.1Pandas簡介41
2.5.2Series42
2.5.3DataFrame46
2.5.4Index52
2.5.5plot53第3章數據清洗與特征預處理56
3.1數據清洗56
3.1.1數據清洗簡介56
3.1.2評價標準56
3.2清洗方法56
3.2.1缺失值56
3.2.2異常值58
3.2.3重復值60
3.2.4Pandas數據清洗函數60
3.3特征預處理67
3.3.1歸一化68
3.3.2標準化69
3.3.3魯棒化70
3.3.4正則化70
3.3.5學生數據清洗示例71
3.4missingno76
3.4.1missingno簡介76
3.4.2圖示功能76
3.4.3數據可視化示例79
3.5wordcloud80
3.5.1wordcloud簡介80
3.5.2wordcloud示例80第4章數據劃分與特征提取83
4.1數據劃分83
4.1.1留出法83
4.1.2交叉驗證法84
4.1.3自助法87
4.2獨熱編碼88
4.2.1獨熱編碼簡介88
4.2.2獨熱編碼示例88
4.3初識特征提取90
4.4字典特征提取91
4.4.1字典特征提取簡介91
4.4.2DictVectorizer91
4.5文本特征提取92
4.5.1CountVectorizer93
4.5.2TfidfVectorizer94
4.6中文分詞95
4.6.1簡介95
4.6.2jieba分詞庫96
4.6.3停用詞表103第5章特征降維與特征選擇107
5.1初識特征降維107
5.2線性判別分析107
5.2.1線性判別分析簡介107
5.2.2線性判別分析示例108
5.3主成分分析109
5.3.1主成分分析簡介109
5.3.2components參數110
5.4特征選擇112
5.4.1簡介112
5.4.23種方法112
5.5包裝法113
5.5.1遞歸特征消除113
5.5.2交叉驗證遞歸特性消除114
5.6過濾法116
5.6.1移除低方差特征116
5.6.2單變量特征選擇117
5.7皮爾森相關繫數118
5.7.1皮爾森相關繫數簡介118
5.7.2皮爾森相關繫數應用示例119
5.8嵌入法121
5.8.1基於懲罰項的特征選擇121
5.8.2基於樹模型的特征選擇121第6章模型評估與選擇123
6.1欠擬合和過擬合123
6.1.1欠擬合123
6.1.2過擬合124
6.1.3正則化124
6.2模型調參125
6.2.1網格搜索125
6.2.2隨機搜索126
6.3分類評價指標127
6.3.1混淆矩陣127
6.3.2準確率129
6.3.3精確率130
6.3.4召回率131
6.3.5F1分數132
6.3.6ROC曲線133
6.3.7AUC134
6.3.8分類評估報告135
6.4損失函數136
6.5回歸損失136
6.5.1MAE136
6.5.2MSE137
6.5.3RMSE138
6.5.4R2分數138
6.5.5Huber損失139
6.6分類損失141
6.6.1平方損失函數141
6.6.2誤差損失函數141
6.6.301損失函數141
6.6.4對數損失函數142
6.6.5鉸鏈損失函數143第7章KNN算法144
7.1初識KNN算法144
7.1.1算法描述144
7.1.2三要素146
7.2分類問題147
7.2.1分類問題簡介147
7.2.2分類問題示例147
7.3回歸問題150
7.3.1回歸問題簡介150
7.3.2回歸問題示例151
7.4案例152
7.4.1電影類型152
7.4.2鳶尾花153
7.4.3波士頓房價154
7.4.4印第安人的糖尿病156第8章決策樹161
8.1初識決策樹161
8.1.1決策樹簡介161
8.1.2決策樹相關概念162
8.2決策樹算法164
8.2.1ID3算法164
8.2.2C4.5算法165
8.2.3CART算法165
8.3分類與回歸166
8.3.1分類問題166
8.3.2回歸問題166
8.3.3max_depth參數調優166
8.4集成分類模型169
8.4.1隨機森林170
8.4.2梯度提升決策樹171
8.5Graphviz與DOT175
8.5.1Graphviz175
8.5.2DOT177
8.6案例178
8.6.1決定是否賴床178
8.6.2波士頓房價180第9章線性模型182
9.1線性回歸182
9.1.1線性回歸簡介182
9.1.2簡單線性回歸實現182
9.2小二乘法185
9.2.1小二乘法簡介185
9.2.2比薩價格185
9.3邏輯回歸186
9.3.1邏輯回歸簡介186
9.3.2乳腺癌187
9.4優化方法189
9.4.1正規方程189
9.4.2梯度下降190
9.5嶺回歸192
9.5.1嶺回歸簡介192
9.5.2alpha參數194
9.6案例195
9.6.1糖尿病195
9.6.2波士頓房價196
9.6.3鳶尾花198第10章樸素貝葉斯算法201
10.1初識樸素貝葉斯算法201
10.2貝葉斯定理201
10.3樸素貝葉斯分類方法202
10.3.1GaussianNB函數202
10.3.2MultinomialNB函數203
10.3.3BernoulliNB函數205
10.4案例207
10.4.1鳶尾花207
10.4.2新聞文本分類208第11章支持向量機210
11.1初識支持向量機210
11.1.1支持向量機簡介210
11.1.2支持向量機算法庫211
11.2核函數211
11.2.1徑向基核函數211
11.2.2線性核函數212
11.2.3多項式核函數213
11.3參數調優215
11.3.1gamma參數215
11.3.2懲罰繫數C217
11.4回歸問題218
11.5案例219
11.5.1鳶尾花219
11.5.2波士頓房價222第12章k均值聚類算法224
12.1初識k均值聚類算法224
12.1.1k均值聚類算法簡介224
12.1.2k均值聚類算法步驟224
12.1.3k均值聚類算法相關問題227
12.1.4k均值聚類算法和KNN關繫228
12.2k均值聚類算法評估指標229
12.2.1ARI229
12.2.2輪廓繫數230
12.3案例234
12.3.1鳶尾花數據集234
12.3.2標記聚類中心235附錄A課程教學大綱237
A.1課程簡介237
A.2課程內容及要求237
A.3教學安排及學時分配241
A.4考核方式242
A.5教材及參考文獻242附錄BSklearn數據集243
B.1初識Sklearn數據集243
B.2小數據集243
B.2.1小數據集簡介243
B.2.2鳶尾花數據集244
B.2.3葡萄酒數據集245
B.2.4波士頓房價數據集245
B.2.5手寫數字數據集245
B.2.6乳腺癌數據集245
B.2.7糖尿病數據集245
B.2.8體能訓練數據集246
B.3大數據集246
B.3.1大數據集簡介246
B.3.2新聞分類數據集246
B.4生成數據集247
B.4.1生成數據集簡介247
B.4.2make_regression函數247
B.4.3make_blobs函數248
B.4.4make_classification函數249
B.4.5make_gaussian_quantiles函數250
B.4.6make_circles函數251參考文獻253

零基礎學習者掌握機器學習基礎知識的路線可以從代碼開始，參加Kaggle數據挖掘比賽，體會使用每個模型的效果，對機器學習涵蓋的內容有大致了解後，再深入地對理論知識進行完善。本書面向零基礎的學習者，以Python編程語言為基礎，使用Sklearn平臺，在不涉及大量數學模型與復雜編程知識的前提下，逐步帶領學習者熟悉和掌握傳統的機器學習算法。
機器學習的重要學習方法就是實踐，本書的所有程序都是在Anaconda上調試和運行的。本書包括人工智能概述、Python科學計算、數據清洗與特征預處理、數據劃分與特征提取、特征降維與特征選擇、模型評估與選擇、KNN算法、決策樹、線性模型、樸素貝葉斯算法、支持向量機和k均值聚類算法，附錄介紹了課程教學大綱和Sklearn數據集。
本書具有如下特點: 
（1） 代碼完整，注釋詳細。大部分機器學習教材重理論輕代碼，往往隻是給出偽代碼;而本書采用基於Python語言的Sklearn平臺實現，便於學生更快地掌握機器學習的基本思想。
（2） 突出實用性，針對每個機器學習算法都有相關案例。
本書配有教學大綱、電子課件、源碼等資料。在編寫過程中，陝西省網絡數據分析與智能處理重點實驗室李曉戈和西安郵電大學賈陽、王紅玉、高巍然、孔韋韋、張慶生等閱讀了部分手稿，提出了很多寶貴的意見。本書在寫作過程中參閱了大量中外專著、教材、論文、報告及網上的資料，在此一並表示敬意和衷心的感謝。
本書內容精練，文字簡潔，結構合理，實訓題目經典實用、綜合性強，明確定位面向初、中級讀者，由入門起步，側重提高。特別適合作為高等院校本科或研究生相關專業機器學習入門課程的教材和教學參考書，也可以供從事計算機應用開發的技術人員參考。
由於作者水平有限，時間緊迫，書中難免有疏漏之處，懇請廣大讀者批評指正。

 作者2021年7月