第1章緒論/1
1.1什麼是機器學習1
1.1.1機器學習的定義1
1.1.2機器學習的三要素3
1.1.3機器學習與數據挖掘3
1.2為什麼要進行機器學習5
1.3機器學習的發展歷程5
1.4機器學習算法9
1.4.1監督學習9
1.4.2無監督學習10
1.4.3半監督學習11
1.4.4強化學習12
1.5機器學習的應用12
1.6機器學習開發工具與框架13
1.6.1機器學習常用開發工具13
1.6.2機器學習常用框架15
1.7機器學習數據集16
習題17
第1部分監 督 學 習
第2章線性模型/212.1基本形式21
2.2線性回歸22
2.3線性分類25
2.4多分類策略28
習題33
本章實驗34
第3章決策樹分類/35
3.1基本概念35
3.1.1什麼是分類35
3.1.2分類過程36
3.1.3分類器常見的構造方法37
3.1.4決策樹分類38
3.2CART算法39
3.2.1CART算法介紹39
3.2.2CART算法原理40
3.2.3CART算法實例40
3.2.4CART算法Python實現42
3.2.5CART算法的優缺點43
3.3ID3算法43
3.3.1ID3算法介紹43
3.3.2ID3算法原理44
3.3.3ID3算法實例45
3.3.4ID3算法Python實現48
3.3.5ID3的優缺點51
3.4C4.5算法52
3.4.1C4.5算法介紹52
3.4.2C4.5算法原理52
3.4.3C4.5算法實例53
3.4.4C4.5算法Python實現58
3.4.5C4.5算法的優缺點59
3.53種算法的比較59
3.6分類算法評價60
3.6.1常用術語60
3.6.2評價指標61
3.6.3分類器性能的表示62
3.6.4分類器性能的評估方法65
習題66
本章實驗68
〖1〗機器學習（Python實現）目錄〖3〗〖3〗第4章貝葉斯分類器/69
4.1貝葉斯理論69
4.1.1條件概率和乘法定理69
4.1.2全概率公式和貝葉斯定理70
4.1.3極大後驗假設和極大似然假設70
4.2樸素貝葉斯分類算法72
4.2.1NBC算法原理72
4.2.2樸素貝葉斯分類器的特點75
4.3樸素貝葉斯分類器在破產預測中的應用76
4.3.1實驗環境及數據集76
4.3.2數據處理77
4.3.3模型構建77
4.3.4模型評價分析78
4.4極大期望算法79
4.4.1極大似然估計79
4.4.2極大期望算法81
4.4.3EM算法的優缺點86
4.5EM算法求解三硬幣模型參數87
4.5.1三硬幣模型87
4.5.2三硬幣模型Python實現87
習題89
本章實驗90
第5章集成學習/91
5.1基本概念91
5.1.1算法起源91
5.1.2基本概念91
5.2Bagging算法與隨機森林93
5.2.1Bagging算法93
5.2.2隨機森林94
5.3Boosting算法102
5.3.1Boosting算法概述102
5.3.2AdaBoost算法103
5.3.3GBDT和XGBoost118
習題119
本章實驗120
第6章支持向量機/121
6.1最大間隔分類121
6.2支持向量機模型求解123
6.3核支持向量機模型130
6.4軟件間隔支持向量機135
習題140
本章實驗141
第2部分無監督學習
第7章關聯規則/1457.1基本概念145
7.2Apriori算法149
7.2.1Apriori算法150
7.2.2Apriori算法實例154
7.2.3Apriori算法實現157
7.2.4Apriori算法總結162
7.3FPGrowth算法163
7.3.1FPGrowth算法簡介164
7.3.2FPGrowth算法實例171
7.3.3FPGrowth算法實現173
7.3.4FPGrowth算法總結178
習題178
本章實驗180
第8章聚類分析/181
8.1聚類分析優化模型181
8.1.1聚類分析概念181
8.1.2聚類優化模型182
8.2基於劃分的聚類算法183
8.2.1Kmeans算法183
8.2.2Kmeans算法應用: 圖像減色壓縮186
8.2.3Kmeans算法的優缺點188
8.3基於層次的聚類算法189
8.3.1AGNES算法190
8.3.2DIANA算法194
8.4基於密度的聚類算法198
8.4.1DBSCAN198
8.4.2OPTICS204
8.4.3DENCLUE210
8.5聚類效果評估方法211
8.5.1估計聚類趨勢212
8.5.2確定簇數213
8.5.3評估聚類質量214
習題220
本章實驗221
第9章數據降維/222
9.1主成分分析222
9.2線性判別分析225
9.3核線性降維229
習題234
本章實驗234
第3部分深 度 學 習
第10章神經網絡/23710.1人工神經網絡237
10.1.1人工神經網絡介紹237
10.1.2人工神經網絡的發展歷史237
10.2前饋神經網絡239
10.2.介紹239
10.2.2網絡結構243
10.2.3前饋神經網絡244
10.3反向傳播算法246
10.3.1梯度下降246
10.3.2反向傳播250
10.3.3神經網絡優化中的挑戰254
10.3.4神經網絡調參方法256
10.4神經網絡案例257
10.4.1前饋計算257
10.4.2反向傳播計算258
10.5總結260
習題261
本章實驗261
第11章深度學習/262
11.1卷積神經網絡262
11.1.1卷積及卷積層262
11.1.2彙聚層266
11.1.3幾種典型的卷積神經網絡268
11.2循環神經網絡281
11.2.1基礎的循環神經網絡281
11.2.2基於門控的循環神經網絡286
11.2.3典型應用與實現289
11.3Transformer和大型語言模型297
11.3.1自注意力和Transformer架構297
11.3.2基於Transformer的預訓練模型304
11.3.3ChatGPT308
習題313
本章實驗314
第12章生成對抗網絡/315
12.1算法原理315
12.2數學模型317
12.2.1GAN優化目標317
12.2.2GAN訓練算法318
12.2.3分布距離度量319
12.2.4生成器G的全局最優解320
12.2.5GAN優勢和劣勢321
12.3變體模型322
12.3.1基於Wasserstein距離的生成對抗網絡322
12.3.2深度卷積生成對抗網絡325
12.4評價標準329
12.4.1IS繫列330
12.4.2弗雷切特初始距離331
12.4.3最大均值差異332
12.4.4標準化相對鋻別分數332
12.5GAN實現手寫體數字圖片生成334
習題342
本章實驗342
第4部分強 化 學 習
第13章強化學習/34513.1強化學習概述345
13.1.1基本原理345
13.1.2強化學習和有監督學習345
13.1.3強化學習方法分類346
13.1.4強化學習的發展與應用347
13.2QLearning算法348
13.2.1QLearning算法介紹348
13.2.2QLearning算法實現350
13.2.3QLearning算法實例350
13.2.4QLearning算法評價353
13.3SARSA算法353
13.3.1SARSA算法介紹353
13.3.2SARSA算法原理354
13.3.3SARSA算法實例354
13.3.4SARSA算法評價357
13.4DQN算法358
13.4.1DQN算法介紹358
13.4.2DQN算法原理359
13.4.3DQN算法實例359
13.4.4DQN算法評價362
習題362
本章實驗362

機器學習是計算機科學和人工智能中非常重要的一個領域，是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。本書是一本理工類專業的基礎教材，為了讓更多的讀者能通過本書對機器學習有所實踐，本書弱化了機器學習的數學基礎知識，同時采用Python語言實現算法。Python代碼簡單優雅、易於上手，科學計算和機器學習軟件包眾多，已成為不少大學和研究機構進行教學和研究的語言。相信用Python編寫的機器學習代碼也能讓讀者盡快領略到這門學科的精妙之處。
本書作為機器學習領域的基礎教材，在內容上盡可能實用且易於上手實踐，從機器學習理論到Python實踐，對機器學習領域經典方法進行了全面介紹，首先對機器學習進行概述，然後分4部分展開介紹，第1部分介紹監督學習，包括線性模型、決策樹分類、貝葉斯分類器、集成學習和支持向量機；第2部分介紹無監督學習，包括關聯規則、聚類分析和數據降維；第3部分介紹深度學習，包括神經網絡、深度學習和生成對抗網絡(GAN)；第4部分介紹強化學習。本書所介紹的經典機器學習算法及其應用案例均配有相關實驗數據和Python代碼實現，通過對應用使用Python語言全過程實現，讀者可在不知不覺中加深對經典算法的理解，獲得機器學習項目經驗，提高編程能力，同時快速領悟看似難懂的機器學習理論。每章末尾均有習題和實驗題，便於讀者鞏固知識和開展課內實驗。讀者可根據自己的知識儲備、興趣和時間情況選擇使用。本書通過經典算法、算法Python實現和實際應用的“三位一體法”，強化對經典算法的理解和掌握，期望讀者能對經典算法做到“精”和“通”。
本書第1章由王曙燕編寫，第2、6和9章由路龍賓編寫，第3、4、5、7、8、12和13章由孫家澤編寫，第10章由王紅玉編寫，第11章由田振洲編寫，孫家澤負責全書的校稿工作。感謝西安郵電大學可信軟件研究團隊的各位同學在稿件的修改和應用的編寫中給予的幫助和支持，同時感謝很多領域專家在網絡上共享的資源，這些對本書的編寫有很大的啟發。這裡還要特別感謝本書編輯龍啟銘，沒有龍編輯的幫助，就沒有本書的出版。
機器學習的發展日新月異，中國人工智能科技產業發展風起雲湧，技術體繫包括大數據和雲計算、物聯網、5G、智能機器人、計算機視覺、自動駕駛、智能芯片、智能推薦、虛擬/增強現實、語音識別、區塊鏈、生物識別、光電技術、自然語言處理、空間技術、人機交互和知識圖譜在內的很多類技術，構成了復雜技術體繫。罕有人士能對其眾多分支領域都精深理解。編者纔疏學淺，領域僅略知皮毛，時間和精力所限，書中錯誤及疏漏之處在所難免，懇請讀者批評指正，不勝感激。

編者
2023年1月