第1部分  入門篇
第1章  全書指南3
1.1Python編程3
1.2數據分析5
1.3機器學習6
1.3.1任務9
1.3.2經驗10
1.3.3性能11
1.4Kaggle競賽13
1.5Git代碼管理14
1.6章  末小結15
第2章  基本環境搭建與配置16
2.1Windows操作繫統下基本環境的搭建與配置16
2.1.1查看Windows的版本與原始配置16
2.1.2下載並安裝Anaconda3（Windows）17
2.1.3使用Anaconda Navigator創建虛擬環境python_env（Windows）19
2.1.4在虛擬環境python_env下使用Anaconda Navigator安裝
Jupyter Notebook與PyCharm Professional（Windows）20
2.2macOS操作繫統下基本環境的搭建與配置21
2.2.1查看macOS的版本與原始配置21
2.2.2下載並安裝Anaconda3（macOS）23
2.2.3使用Anaconda Navigator創建虛擬環境python_env（macOS）24
2.2.4在虛擬環境python_env下使用Anaconda Navigator安裝
Jupyter Notebook與PyCharm Professional（macOS）24〖1〗Python機器學習及實踐——從零開始通往Kaggle競賽之路（2022年度版）〖1〗目錄2.3Ubuntu操作繫統下基本環境的搭建與配置26
2.3.1查看Ubuntu的版本與原始配置26
2.3.2下載並安裝Anaconda3（Ubuntu）27
2.3.3在終端中創建虛擬環境python_env（Ubuntu）28
2.3.4在虛擬環境python_env下使用conda命令安裝Jupyter 
Notebook（Ubuntu）29
2.4Jupyter Notebook使用簡介31
2.4.1在虛擬環境python_env下啟動Jupyter Notebook31
2.4.2創建一個.ipynb文件32
2.4.3試運行.ipynb文件內的Python 3程序33
2.5PyCharm使用簡介34
2.5.1在虛擬環境python_env下啟動PyCharm34
2.5.2基於虛擬環境python_env的Python 3.8解釋器創建一個
.py文件35
2.5.3試運行.py文件內的Python 3程序35
2.6章  末小結37
第2部分  基礎篇
第3章  Python編程基礎41
3.1Python編程環境配置41
3.1.1基於命令行/終端的交互式編程環境41
3.1.2基於Web的交互式開發環境42
3.1.3集成式開發環境43
3.2Python基本語法44
3.2.1賦值44
3.2.2注釋45
3.2.3縮進46
3.3Python數據類型46
3.4Python數據運算49
3.5Python流程控制53
3.5.1分支語句53
3.5.2循環控制55
3.6Python函數設計56
3.7Python面向對像編程57
3.8Python編程庫（包）導入60
3.9Python編程綜合實踐62
3.10章  末小結63
第4章  pandas數據分析64
4.1pandas環境配置65
4.1.1使用Anaconda Navigator搭建和配置環境66
4.1.2使用conda命令搭建和配置環境66
4.2pandas核心數據結構67
4.2.1Series68
4.2.2DataFrame69
4.3pandas讀取/寫入文件數據70
4.3.1讀取/寫入CSV文件數據70
4.3.2讀取/寫入JSON文件數據73
4.3.3讀取/寫入Excel文件數據76
4.4pandas數據分析的常用功能80
4.4.1添加數據80
4.4.2刪除數據83
4.4.3查詢/篩選數據84
4.4.4修改數據86
4.4.5數據統計87
4.4.6數據排序89
4.4.7函數應用90
4.5pandas數據合並92
4.6pandas數據清洗93
4.7pandas數據分組與聚合95
4.8章  末小結97
第5章  Scikitlearn單機機器學習98
5.1Scikitlearn環境配置99
5.1.1使用Anaconda Navigator搭建和配置環境100
5.1.2使用conda命令搭建和配置環境100
5.2Scikitlearn無監督學習102
5.2.1降維學習與可視化102
5.2.2聚類算法113
5.3Scikitlearn監督學習模型121
5.3.1分類預測121
5.3.2數值回歸141
5.4Scikitlearn半監督學習模型154
5.4.1自學習框架155
5.4.2標簽傳播算法157
5.5單機機器學習模型的常用優化技巧159
5.5.1交叉驗證160
5.5.2特征工程162
5.5.3參數正則化170
5.5.4超參數尋優174
5.5.5並行加速訓練176
5.6章  末小結179
第3部分  進階篇
第6章  PyTorch/TensorFlow/PaddlePaddle深度學習185
6.1PyTorch/TensorFlow/PaddlePaddle環境配置187
6.2前饋神經網絡191
6.2.1前饋神經網絡的PyTorch實踐192
6.2.2前饋神經網絡的TensorFlow實踐197
6.2.3前饋神經網絡的PaddlePaddle實踐199
6.3卷積神經網絡202
6.3.1卷積神經網絡的PyTorch實踐204
6.3.2卷積神經網絡的TensorFlow實踐208
6.3.3卷積神經網絡的PaddlePaddle實踐211
6.4循環神經網絡214
6.4.1循環神經網絡的PyTorch實踐216
6.4.2循環神經網絡的TensorFlow實踐220
6.4.3循環神經網絡的PaddlePaddle實踐222
6.5自動編碼器226
6.5.1自動編碼器的PyTorch實踐227
6.5.2自動編碼器的TensorFlow實踐231
6.5.3自動編碼器的PaddlePaddle實踐234
6.6神經網絡模型的常用優化技巧238
6.6.1隨機失活238
6.6.2批量標準化249
6.7章  末小結260
第7章  PySparkML分布式機器學習262
7.1PySpark環境配置264
7.1.1使用Anaconda Navigator搭建和配置環境264
7.1.2使用conda命令搭建和配置環境265
7.1.3安裝JRE267
7.2PySpark分布式數據結構268
7.2.1RDD269
7.2.2DataFrame271
7.3PySpark分布式特征工程273
7.3.1特征抽取273
7.3.2特征轉換279
7.4PySparkML分布式機器學習模型284
7.5分布式機器學習模型的常用優化技巧292
7.5.1留一驗證293
7.5.2K折交叉驗證295
7.6章  末小結297
第4部分  實踐篇
第8章  Kaggle競賽實踐301
8.1泰坦尼克號罹難乘客預測302
8.1.1數據分析303
8.1.2數據預處理305
8.1.3模型設計與尋優306
8.1.4提交測試307
8.2Ames房產價值評估308
8.2.1數據分析309
8.2.2數據預處理315
8.2.3模型設計與尋優316
8.2.4提交測試317
8.3推特短文本分類318
8.3.1數據分析320
8.3.2數據預處理321
8.3.3模型設計與尋優322
8.3.4提交測試323
8.4CIFAR100圖像識別324
8.4.1數據分析326
8.4.2數據預處理327
8.4.3模型設計與尋優328
8.4.4提交測試331
8.5章  末小結333
第9章  Git代碼管理334
9.1Git本地環境搭建335
9.1.1Windows下Git工具的安裝與配置335
9.1.2macOS下Git工具的安裝與配置336
9.1.3Ubuntu下Git工具的安裝與配置336
9.2Git遠程倉庫配置337
9.2.1GitHub介紹337
9.2.2GitHub遠程倉庫的創建與配置338
9.2.3Gitee介紹339
9.2.4Gitee遠程倉庫的創建與配置339
9.3Git基本指令340
9.3.1克隆倉庫340
9.3.2提交修改341
9.3.3遠程推送343
9.4Git分支管理343
9.4.1創建分支344
9.4.2分支合並345
9.4.3合並衝突346
9.4.4刪除分支347
9.5貢獻Git項目348
9.5.1Fork項目348
9.5.2本地克隆、修改與推送349
9.5.3發起拉取請求349
9.6章  末小結351
後記352
第1章  簡介篇1
1.1機器學習綜述1
1.1.1任務3
1.1.2經驗5
1.1.3性能5
1.2Python編程庫8
1.2.1為什麼使用Python8
1.2.2Python機器學習的優勢9
1.2.3NumPy & SciPy10
1.2.4Matplotlib11
1.2.5Scikitlearn11
1.2.6Pandas11
1.2.7Anaconda12
1.3Python環境配置12
1.3.1Windows繫統環境12
1.3.2Mac OS 繫統環境17
1.4Python編程基礎18
1.4.1Python基本語法19
1.4.2Python 數據類型20
1.4.3Python 數據運算22
1.4.4Python 流程控制26
1.4.5Python 函數（模塊）設計28
1.4.6Python 編程庫（包）的導入29
1.4.7Python 基礎綜合實踐30
1.5章  末小結33第2章  基礎篇34
2.1監督學習經典模型34
2.1.1分類學習35
2.1.2回歸預測64
2.2無監督學習經典模型81
2.2.1數據聚類81
2.2.2特征降維91
2.3章  末小結97
第3章  進階篇98
3.1模型實用技巧98
3.1.1特征提升99
3.1.2模型正則化111
3.1.3模型檢驗121
3.1.4超參數搜索122
3.2流行庫/模型實踐129
3.2.1自然語言處理包（NLTK）131
3.2.2詞向量（Word2Vec）技術133
3.2.3XGBoost模型138
3.2.4Tensorflow框架140
3.3章  末小結152
第4章  實戰篇153
4.1Kaggle平臺簡介153
4.2Titanic罹難乘客預測157
4.3IMDB影評得分估計165
4.4MNIST手寫體數字圖片識別174
4.5章  末小結180
後記181
參考文獻182

在本書第1版付梓之後，我便繼續投身於互聯網人工智能（Artificial Intelligence，AI）新產品的研發領域。時隔近5年，回望這段時間，我親身感受到了人工智能理論和技術日新月異的飛速發展。
在此期間，我看到了大量承載著人工智能前沿理念和技術的次時代原型產品被孵化出來，不斷刷新著人類的認知：  波士頓動力（Boston Dynamics）公司的機器人Atlas可以像人類運動員一樣實現跑步越障、後空翻和驚人的三級跳動作；OpenAI設計的人工智能體能夠在Dota 2這樣環境復雜的策略對抗遊戲中幾乎“全面碾壓”人類優秀選手；DeepMind構建的AlphaGo繫列對弈程序接連戰勝了多位人類圍棋大師；國內外自動駕駛平臺所支持的新型汽車陸續投入量產……同時，許多世界的科研人員在機器視覺、語音合成、閱讀理解等人工智能的細分領域進行著不懈的理論探索，就在這短短幾年間，我們不斷聽聞人工智能已經逐漸在這些細分領域超越人類的平均水平。而這些各自深耕的細分領域技術經過工程化的打磨和融合之後，又重新在一些既有的人工智能產品上給我們帶來了全新的體驗。例如，更加實時和準確的機器同聲傳譯；或者是那些能和真人打電話，聊天過程完全不會尷尬，甚至有點“萌”的多輪對話語音助手。
這些新的技術進步和大量的讀者來信時刻鞭策著我。許多表示本書第1版給予了他們莫大的幫助；同時也有資深的前輩指出了第1版中的疏漏和不足。這裡，我一並誠摯地感謝大家。其實從本書第1版發行之後，我就一直有意繼續跟進、維護和更新本書；怎奈步入職場之後，業餘時間的確不如在校期間那般充裕，再版的計劃一再被擱置。
這5年間，我也意識到書中一些重要的機器學習平臺已經有了明顯的變化。比起本書的第1版，Scikitlearn從0.17.0更新到0.24.2，並且其1.0版本也發布在即；TensorFlow也有多年的歷史，版本號持續維護到2.6。期間，許多新的機器學習模型被添加到Scikitlearn與TensorFlow中，一些API也被調整和修改；許多其他的機器學習平臺，如PyTorch、PaddlePaddle等，也逐漸受到更多的關注。上述現像都不停地暗示我應該做出改變了。因此，我在互聯網人工智能產業界5年有餘的積累之後，決定開始第2版《Python機器學習實踐——從零開始通往Kaggle競賽之路（2022年度版）》的規劃和寫作。
自這一版開始，本人將力爭持續跟進Python、pandas、Scikitlearn、PyTorch、TensorFlow、PaddlePaddle，以及PySparkML的更新，及時推出再版，保持和維護全書內容的先進性和代碼的可用性。同時，本書將繼續延續我們的理念： 力求減少讀者對編程技能和數學知識的過分依賴，進而降低理解本書與實踐機器學習模型的門檻；試圖讓更多的興趣愛好者體會到使用經典模型，乃至更加高效的方法解決實際問題的樂趣。
全書介紹的上述核心工具，均是作者本人長期總結行業經驗，精心篩選後的成果。在面對現實中的工程或者科研問題，或參加一些公開的競賽（如Kaggle、天池競賽等）時，相信本書都能夠幫助讀者使用Python編程語言快速上手，並結合一繫列經典的開源工具，搭建行之有效的計算機程序來解決實際問題。
在大數據時代，隻要是與數據相關的從業人員，掌握Python編程、數據分析、機器學習的能力，都是不錯的職業加分項。不論是在金融、統計、數理研究、社會科學、工業工程等領域的從業者，還是在互聯網行業的程序員、數據分析師、運營人員、產品經理等，都會對本書有著不同程度的學習需求。
本書所介紹的知識也能夠幫助讀者通過一些專業類的考試，如人工智能工程師認證、注冊數據分析師認證（CDA、CPDA）等。同時，鋻於內容的入門性和普適性，本書也可以被廣泛用於初、高中生的信息學興趣培訓，專科職業教育，本科、研究生通識課程的講授等。
衷心地希望每一位讀者朋友都能夠從本書獲益，這也是對我的鼓勵和支持。歡迎大家關注我的新浪微博https://weibo.com/fanmiaothu。普及人工智能，使機器學習的理論與實踐成為一種大眾的通識教育，始終是我編寫本書的長期目標和動力。

下載地址1
下載地址2全書基於Python 3的實踐代碼和數據均已分別開源在Gitee和Github平臺：
中國境內的讀者，請在gitee.com上搜索關鍵詞MLKaggleGitee2022，或掃描二維碼下載地址1進行下載。
其他地區的讀者，請在 github.com上搜索關鍵詞MLKaggleGithub2022，或掃描二維碼下載地址2進行下載。
掃描書後的二維碼源程序亦可獲取本書代碼。
歡迎大家批評指正書中的任何錯誤，並發送至電子郵箱： fanmiao.cslt.thu@gmail.com。
〖1〗Python機器學習及實踐——從零開始通往Kaggle競賽之路（2022年度版）〖1〗前言致謝
感激父母長久以來對我的關愛和支持，讓我可以持續不斷地追求學業的成長和進步。
自我踏入北京郵電大學校門的第二年，便十分有幸得到吳國仕教授的指導。彼時的我還不知道，作為一名大一新生，能夠有這樣一位在企業智能信息化方面深有造詣的老教授親自指導，是一件多麼幸運的事情。
而後，我在人工智能方向上的成長之路便開始了。在清華大學、紐約大學、百度公司等多個人工智能領域的優秀科研院所與企業，我先後得到了鄭方、周強、Ralph Grishman、王海峰、王建民等一眾知名教授的悉心指導。從每一位老師的身上，我都發現了許許多多不同的優秀品質。不管是對人還是對事，這些優秀品質，都對我的成長和求學之路給予了莫大的幫助。
在漫長的求學之路上，我也結識了一些行業內優秀的學者朋友，感謝張民、馬少平等教授為本書撰寫推薦語。
感謝清華大學出版社的謝琛編輯。從第1版開始，她就擔任本書的責任編輯。如果沒有她一直以來的辛勤工作，這本書也無法高質量地呈現到各位讀者面前。

範淼2022年6月