√ 本書深入淺出話AI，將看似高深莫測的AI技術抽絲剝繭、化繁為簡，娓娓道來。

√ 本書從理論到實踐，循序漸進地介紹了人工智能算法的基礎知識。

√ 本書每章的末尾提煉出了該章的核心關鍵詞，方便讀者查詢回顧。

√ 歸納和總結出AI基礎學習路徑，讓感興趣的“門外漢”學習人工智能是什麼、做什麼及怎麼做。

本書從理論到實踐，循序漸進地介紹人工智能算法的基礎知識，幫助讀者敲開人工智能算法之門。本書共有8 章，分別為算法入門、算法之內力、算法之招式、算法之****、算法工程的組成部分、算法工程實戰、進階學習、思考與展望。本書主要講解算法的歷史背景與基本概念、與算法相關的數學基礎知識、信息學算法與數據結構的概念與知識點、業界常用的幾類機器學習算法模型；本書還會介紹算法工程比較完整的組成部分，以及一個典型的算法工程項目，手把手帶領讀者體驗算法的魅力；此外，本書會介紹人工智能算法的三大研究方向，幫讀者邁向進階學習之路。

本書適合從事人工智能應用實踐的科研人員和工程技術人員閱讀，也適合高等院校計算機科學與技術、人工智能、大數據等相關專業的本科生和研究生閱讀。

呂 磊

微軟（中國）軟件工程師。本碩畢業於山東大學計算機科學與技術繫，具有多年算法從業經驗，曾先後在京東廣告部、螞蟻金服人工智能部、亞馬遜AWS（中國）的AI產品相關部門從事算法工作，在工業界有著豐富的AI算法落地經驗。

• 
• 
• 
• 
• 
• 
• 
• 
• 

AI是一項具有歷史性意義的革命技術，了解人工智能，了解新時代計算機技術發展趨勢對每一位時代新人都具有深遠意義。在作者的縝密邏輯下，本書深入淺出話AI，將看似高深莫測的AI技術抽絲剝繭、化繁為簡，可幫助讀者破解AI奧秘。

黃 山
Mathlab聯合創始人

在人工智能愈發被普通大眾所了解，各國政府大力投入人工智能領域研究的今天，《深入淺出AI算法：基礎概覽》作者結合自身從業經驗，歸納和總結出人工智能基礎學習路徑，引導讀者從理論到實踐，讓感興趣的“門外漢”學習人工智能是什麼、做什麼及怎麼做。本書是一本介於科普圖書與專業圖書之間的上乘之作。

張亞雄
互聯網連續創業者

我與作者熟識多年，作者無疑是喜歡且善於思考和總結的。本書立意新穎，以算法為主線，深入淺出、循序漸進地介紹了算法的相關基礎知識並拓展至AI算法，同時融入了作者的思考和多年互聯網一線工程實踐的經驗，值得一讀。

王雪岩
清華大學博士，北京航空航天大學“卓越百人”博士後

能在繁忙的工作之餘寫作出書的人不多，《深入淺出AI算法：基礎概覽》一書展現了作者對算法世界清晰、完整的見解，值得同行借鋻。

郭 樂
阿裡巴巴高級算法專家

《深入淺出AI算法：基礎概覽》一書用淺顯易懂的語言為讀者構建了AI算法的完整知識體繫，同時結合了作者多年的一線算法工作經驗，將理論和實踐相結合，可以給入門者起到很好的引導作用，非常值得閱讀。

魏凱峰
《MXNet深度學習實戰》圖書作者，網易資深算法工程師

目錄
第1章 算法入門 / 1
1．1 打開算法之門 / 2
1．1．1 算法簡史 / 2
1．1．2 算法與人工智能 / 5
1．1．3 什麼是數據分析 / 6
1．1．4 什麼是數據挖掘 / 6
1．1．5 什麼是機器學習 / 7
1．2 如何學習算法 / 8
1．3 本書結構 / 9
關鍵詞回顧 / 10

第2章 算法之內力 / 11
2．1 線性代數 / 12
2．1．1 名詞解釋 / 13
2．1．2 向量和矩陣 / 13
2．2 排列組合 / 19
2．3 高等數學 / 20
2．3．1 導數 / 20
2．3．2 梯度 / 23
2．4 概率與統計 / 23
2．4．1 名詞解釋 / 23
2．4．2 概率分布 / 26
2．5 最優化原理 / 33
2．6 動腦時刻 / 34
2．7 本章小結 / 35
關鍵詞回顧 / 36

第3章 算法之招式 / 37
3．1 數據結構 / 38
3．1．1 數組與鏈表 / 38
3．1．2 隊列和棧 / 40
3．1．3 樹 / 41
3．1．4 圖 / 43
3．1．5 散列表 / 45
3．2 基礎算法 / 46
3．2．1 排序 / 47
3．2．2 遞歸與分治 / 55
3．2．3 貪婪算法和動態規劃 / 57
3．2．4 搜索 / 60
3．2．5 最短路徑 / 61
3．2．6 最小生成樹 / 65
3．2．7 樹狀數組 / 67
3．2．8 線段樹 / 69
3．2．9 平衡二叉樹 / 72
3．2．10 並查集 / 75
3．2．11 匈牙利算法 / 78
3．3 在線評測繫統 / 80
3．3．1 LeetCode / 81
3．3．2 POJ與ZOJ / 82
3．3．3 Tsinsen / 82
3．4 動腦時刻 / 83
3．5 本章小結 / 83
關鍵詞回顧 / 84

第4章 算法之武功秘籍 / 85
4．1 類別劃分 / 86
4．1．1 按是否有監督信號劃分 / 86
4．1．2 按學習目標劃分 / 89
4．2 線性回歸模型與邏輯回歸模型 / 90
4．2．1 線性回歸模型 / 90
4．2．2 邏輯回歸模型 / 92
4．3 人工神經網絡 / 95
4．3．1 初識人工神經網絡 / 95
4．3．2 深度神經網絡 / 97
4．3．3 卷積神經網絡 / 99
4．3．4 遞歸神經網絡 / 102
4．3．5 圖神經網絡 / 104
4．4 決策樹 / 106
4．4．1 概念與方法 / 106
4．4．2 剪枝 / 109
4．4．3 梯度提升決策樹 / 110
4．4．4 隨機森林 / 112
4．5 聚類 / 113
4．5．1 距離度量 / 114
4．5．2 劃分聚類 / 115
4．5．3 層次聚類 / 116
4．5．4 密度聚類 / 117
4．5．5 模型聚類 / 119

4．6 貝葉斯分類 / 121
4．6．1 概率基礎 / 121
4．6．2 樸素貝葉斯分類 / 124
4．7 支持向量機 / 125
4．8 動腦時刻 / 128
4．9 本章小結 / 129
關鍵詞回顧 / 129

第5章 算法工程的組成部分 / 133
5．1 數據分析 / 134
5．1．1 宏觀把握數據 / 134
5．1．2 微觀感受數據 / 137
5．1．3 分析方法 / 139
5．2 特征工程 / 141
5．2．1 數據預處理 / 141
5．2．2 特征分類 / 142
5．2．3 工程技巧 / 142
5．3 建模與調參 / 149
5．3．1 建模 / 150
5．3．2 調參 / 150
5．4 效果評估 / 151
5．4．1 數據集劃分 / 151
5．4．2 評估指標 / 152
5．4．3 直觀理解AUC / 155
5．5 模型托管 / 159
5．6 動腦時刻 / 160
5．7 本章小結 / 160
關鍵詞回顧 / 161

第6章 算法工程實戰 / 163
6．1 環境準備 / 164
6．1．1 設備配置 / 164
6．1．2 環境搭建 / 165
6．1．3 開發工具 / 167
6．1．4 基礎調試 / 168
6．2 開源算法庫 / 170
6．2．1 scikit-learn / 171
6．2．2 TensorFlow / 172
6．3 算法實踐 / 174
6．3．1 線性回歸模型 / 174
6．3．2 神經網絡模型 / 179
6．4 工程實戰 / 182
6．4．1 數據準備 / 182
6．4．2 數據分析 / 184
6．4．3 特征工程 / 188
6．4．4 模型訓練 / 189
6．4．5 模型的保存與載入 / 190
6．5 算法競賽介紹 / 191
6．5．1 Kaggle / 191
6．5．2 KDD Cup / 191
6．6 動腦時刻 / 192
6．7 本章小結 / 192
關鍵詞回顧 / 193

第7章 進階學習 / 195
7．1 深度學習 / 196
7．1．1 起源 / 196
7．1．2 難點與方法 / 197
7．1．3 經典模型：AlexNet / 201
7．2 強化學習 / 203
7．2．1 起源 / 203
7．2．2 流派與分類 / 204
7．2．3 經典案例：AlphaGo / 206
7．3 遷移學習 / 213
7．3．1 簡介 / 213
7．3．2 方法與研究方向 / 214
7．3．3 經典模型：TrAdaBoost / 215
7．4 動腦時刻 / 216
7．5 本章小結 / 217
關鍵詞回顧 / 217

第8章 思考與展望 / 219
8．1 思考 / 220
8．1．1 人工智能感悟 / 220
8．1．2 萬物數據化 / 221
8．2 展望 / 224
8．2．1 人工智能最終能做什麼 / 224
8．2．2 人類最終能做什麼 / 224
8．3 本章小結 / 225

在《三國演義》中，諸葛亮在調兵遣將時經常說：關羽聽令，給你三千精兵，從左路包抄曹軍；張飛聽令，給你五千精兵，從右路包抄曹軍。由此可知，諸葛亮在用兵打仗之前，必然已經掌握了己方有多少將領、精兵、殘兵、糧草、戰場地勢等情報。再如成語“量體裁衣”，是說按照身材尺寸裁剪出合適的衣服，用於比喻做事要從實際出發，因地制宜。算法工程也是同樣的道理。在算法工程中，能做到知己知彼、“量體裁衣”的關鍵步驟，非數據分析莫屬。

無論是數據挖掘、機器學習相關的算法比賽，還是工業界的推薦、排序等場景中的算法應用，如果沒有足夠的數據分析結論作為支撐，那麼能夠取得的結果通常都不甚理想。為什麼數據分析對機器學習算法結果的影響如此之深？有哪些實用的數據分析方法，這些方法在算法工程中又是如何起作用的呢？

5.1.1 宏觀把握數據

拿到數據，切勿著急生搬硬套模型，先統計各類指標或特征的數量，把握數據大局。這個數量包括但不限於樣本數據集的總數量、不同類別樣本的數量、各類特征或指標的數量、缺失值的數量及特征值的分布等。宏觀把握數據是數據分析的基礎，也是容易被忽視的一點，它能幫助我們避免一些基本問題。例如，在後續工作開展之前，先搞清楚所定算法目標是否合理，可以幫助我們少走彎路、不走死路，從而提高算法工程的實施效率。

舉個例子，在不考慮分布式訓練的情況下，如果需要知道算法模型從訓練任務啟動到完成需要花費多長時間，則可以用訓練樣本的總數量除以batch size①，再乘每批次訓練花費的時間，就能估算出一個epoch①花費的總時間，最後乘epoch的數量，即可得出算法模型的總體訓練時間。如果在訓練之前沒有統計樣本的總數量，那麼模型訓練何時結束，就隻能對著屏幕默默等待了。

一份擁有512條數據、特征維度為1000的數據集，假設batch size為128，一個epoch包含4個batch，epoch和batch之間的關繫如圖5-1所示。

除此之外，如果發現驗證集或測試集中正、負例樣本的一方過少，如隻有1個正例樣本的極端情況，則可以提前終止無意義的訓練過程，因為針對極端比例下的類別樣本數據集，無論是模型訓練，還是模型評估，都會完全失效。事先統計各類別樣本的數量，能提前發現樣本不均衡的問題，尤其在類別樣本比例差別較大時，一方面能幫助劃分訓練集、驗證集和測試集的大小，另一方面可以對樣本進行重采樣或降低采樣比例。樣本不均衡問題會在5.2.3節的特征工程技巧中進一步講解。

在一個動物分類數據集中，針對不同動物類別的數量統計結果如圖5-2所示。

對於數據字段的缺失問題（為空值或非法值），事先統計有助於掌握特征字段、標簽字段等關鍵字段的缺失程度。如果缺失字段占比較低（通常1%以下可以忽略不計），那麼可以直接丟棄；如果缺失字段占比較高，那麼可能是源頭數據出問題了，可以檢查源頭數據的收集過程是否存在問題，避免在訓練過程中再出現問題，從而提高算法工程的整體效率。

總之，在動手開始搭建算法模型前，對樣本數據集先有一個宏觀把控，可以幫助我們對算法目標有一個更清晰、具體的認識，從而做到少走彎路、有的放矢。

5.1.2 微觀感受數據

作為一門復雜學問，在機器學習算法工程中，無論采用什麼模型，都不可能得到百分之百精確的結果。訓練再好的回歸模型，也不可能將預測值與真實值之間的預測誤差降為0；即使分類效果再好的分類模型，也不可能保證每次的分類結果一定是正確的。在機器學習算法工程中，我們的工作是盡可能地逼近目標和真相。除了繼續調參①優化模型，在數據層面，一方面，可以通過宏觀把握數據提前發現問題；另一方面，可以微觀感受數據，抽樣觀察單個樣本數據的行為表現並思考其合理性，對算法工程的開展也大有幫助。例如，在包含用戶行為序列的場景中，抽樣觀察具體的用戶行為序列，設身處地地理解和感受用戶行為特征，對用戶行為序列的建模大有裨益。

以電商場景為例，要真正理解用戶數據，就必須對用戶數據進行充分的觀察。總體而言，抽樣觀察用戶數據的方式主要有以下兩種。

第一，抽樣觀察用戶個體維度的行為數據，換位思考，設身處地觀察具體的用戶行為序列，可以幫助我們更好地理解業務。行為數據是指用戶在時間維度上的連續動作，如頁面曝光、鍵盤輸入、頁面點擊、鼠標滑動、觸屏等行為。圖5-3所示為一段完整的用戶網上購物行為序列。筆者自從事電商行業相關算法工作以來，多次發現靠直覺得來的關於用戶行為的觀點，與用戶的實際行為表現並不相符。例如，直覺上認為用戶應該先單擊商品A，然後單擊商品B，由於運營規則、前端規則或用戶偏見等原因，用戶的實際行為表現可能會恰恰相反。

第二，抽樣觀察用戶個體維度的統計指標，可以幫助我們更好地進行業務建模。並不是所有業務場景都適合使用復雜模型，有時基於規則的方法在某些業務場景中更容易出效果。筆者曾經跟進過一個保險返利①項目，項目目標是挖掘參與保險購買活動的作弊用戶，從而減少因不正當手段獲取返利帶來的損失，淨化拉新②指標。在項目前期，我們直接使用人工標記的作弊訂單作為樣本標簽，基於邏輯回歸訓練了一個作弊分類器。但是，該作弊分類器在真實數據集上的分類效果很差。後來，我們根據對保險業務的重新理解，統計相關總體指標，提煉出幾條滿足非正常用戶的規則，並且通過規則篩選出了一批作弊訂單，然後在驗證階段通過電話逐一回訪，發現大部分用戶填寫的手機號是無法撥通的空號，因此確認這些訂單均為作弊訂單。在這個反作弊場景中，基於規則的算法不僅簡單易實現，作弊訂單命中率非常高，而且具備極強的模型可解釋性，隻需根據當前作弊訂單所命中的作弊規則，給出相應的規則描述。這便是微觀感受數據帶來的價值。

① 在算法模型訓練過程中，嘗試選擇不同的模型參數，從而達到最優預測結果，詳見5.3.2節。

① 在體驗指定保險產品後返還紅包或實物獎品。

② 營銷活動用詞，是指拉動與發展新用戶。

① 每一批次同時輸入算法模型中訓練的樣本量。

① 模型訓練的迭代單位，通常一個epoch表示遍歷一遍數據集中的所有樣本。

推薦序

自進入21世紀以來，得益於大數據和計算機軟硬件技術的迅猛發展，在全球範圍內出現了機器學習研究與應用的熱潮。機器學習大大提高了語音識別、圖像識別、自動駕駛、虛擬現實和機器人等高新技術的發展進程。與前三次工業革命一樣，機器學習也是一種能夠產生巨大生產力的革命性技術。機器學習是專門研究如何讓計算機模擬或實現人類行為的過程，通過調整特定的參數和配置，使對應的機器學習算法模型不斷改善自身在某個方面的性能，如對話、翻譯、遊戲、駕駛等。它是當前人工智能（AI）發展的主要方面，是使計算機具有智能的重要途徑。現階段所討論的AI算法，通常指的就是機器學習算法。

作為一門交叉學科，機器學習涉及概率論、統計學、組合數學、最優化理論等多門學科，因此學習門檻很高。如何降低機器學習算法的學習門檻，讓更多的人可以理解、掌握這些算法並加以改進，從而應用於實際工作中，是一個亟須解決的問題。而本書是在這方面所做的有益嘗試。

本書共8章，內容豐富，對常用的機器學習算法進行了深入淺出的介紹。圍繞機器學習算法，本書囊括理論和實踐，在保證完整性的前提下，重點探討各個環節中的核心問題。從廣度上看，本書討論了算法的兩種類別，即偏邏輯類型的信息學算法與偏數據類型的機器學習算法。從深度上看，本書討論了相關的數學原理、算法原理及工程實戰。

本書作者呂磊曾於山東大學師從於我，攻讀碩士學位，畢業後先後就職於京東、阿裡巴巴、亞馬遜與微軟的AI相關部門，在工業界有較為豐富的機器學習算法應用經歷。

本書可以作為對人工智能與機器學習感興趣的本科生、研究生，以及程序開發人員的算法入門參考書。

禹曉輝

加拿大約克大學信息技術學院副教授

山東大學計算機科學與技術學院兼職教授、博士生導師

前言

AI算法博大精深，所含各部分內容都足以各自形成一本書。本書作為一本算法概覽書，其內容尚不足以形成完整而繫統的算法學習體繫。此外，考慮到筆者存在的信息采樣誤差，本書挑選的常用知識點不一定具備絕對的普適性。

本書的目標受眾包括但不限於行業屬性或工作職能與AI算法有關的人士、從事傳統行業的工程師、面臨畢業的學生、初入職場的人士等。當然，無論是哪一類人群，前提都需要對AI算法感興趣。愛因斯坦說過，興趣是最好的老師。筆者希望，讀者在讀完本書後，可以對AI算法有一個較為清晰的整體認識，並且針對自己感興趣的環節進行更深入的學習。

本書的內容及風格

本書從介紹算法是什麼開始，包括發展簡史和目前與算法有關的職位和領域，循序漸進地幫助讀者敲開算法的大門。首先，本書甄選了與算法有關的數學基礎知識，包括線性代數、排列組合、高等數學、概率與統計等，為讀者正式接觸算法奠定一定的數學基礎。其次，本書從信息學算法與數據結構入手，講解了二者最常用的概念與知識點，幫助讀者培養一定的算法邏輯思維能力和數據結構思想。然後，切入AI算法正題，從總體視角將AI算法劃分為兩種類別，並且甄選業界常見的幾類機器學習算法模型，幫助讀者在總體把控的前提下，掌握不同機器學習算法模型中的具體算法，以及它們的實現原理。接著，本書會介紹算法工程的組成部分，並且手把手帶領讀者完成一個簡易的算法工程項目，通過實踐加深其對AI算法的理解，使其能夠學以致用。最後，本書挑選出AI算法的三大研究方向，幫助讀者鋪墊AI算法學習的進階之路，並且總結了筆者對算法行業的思考和展望。全書內容從基礎到進階，從理論到實踐，層層遞進。

學習算法對數學基礎和邏輯思維的要求比較高。因此，本書盡量通過列舉與生活息息相關的例子，對其中的一些概念進行直觀講述，如向量、矩陣、數組、鏈表。不過，並不是所有的知識點都可以通過直觀舉例來講解，如高等數學中的導數和梯度、概率與統計中的各種名詞等。所以，對於真正想入門AI算法的讀者，該下的功夫、該花的時間是少不了的；而對於隻想對AI算法有所了解的讀者，在遇到較難理解的概念和公式時，隻需了解它們在AI算法中的作用，可以跳過理論細節。

本書的章節標題運用了武俠小說中的“內力”“招式”“武功秘籍”，分別對應數學基礎、信息學算法和機器學習算法。有人說，信息學算法和機器學習算法沒什麼關繫，其實不然。看過武俠作品的讀者應該知道，“內力”和“招式”作為“武功秘籍”修煉的前提，是一種基礎能力。相應地，數學基礎和信息學算法對學習機器學習算法而言，不僅是基礎的鋪墊，而且有助於思維模式的培養。

本書每章的內容都采用“總分總”形式，並且在章節末尾提煉出核心關鍵詞，方便讀者進一步查詢回顧。其中在第2章～第7章末尾，針對章節內容留有若干思考題，幫助讀者鞏固和理解相關知識。關於動腦時刻的答案，請關注“對半獨白”微信公眾號並回復“動腦時刻”獲取。

我與本書的局限性

本書的局限性。與其他同類型的機器學習入門書籍相比，本書關於AI算法的內容要少很多。本書作為一本AI算法圖書，主要目的在於幫助讀者構建一個較為完整的AI算法基礎知識體繫。作為一本隻有200多頁的書，既然選擇了整體性，就必須舍棄部分性，這便是本書最大的局限性。但反過來想，無論哪一門學問，其知識體繫都在持續不斷地迭代更新。從這個角度來看，真正做到內容大而全的書，其實是不存在的。所謂“萬變不離其宗”，授人以名目齊全之魚，不如授人以追本溯源之漁。因此，本書在內容層面的局限性，未嘗不會成為目標讀者群體的優先選擇性。

筆者的局限性。有一個詞可以充分表達筆者的局限性，這個詞或許也可以描述所有作者的局限性，那就是“偏見”。數據有偏見，寫作也有偏見。在AI算法模型中，我們需要做的非常重要的一件事就是減少數據偏見，以及降低數據偏見帶來的不良結果。所謂寫作偏見，就是筆者在寫作之前的各種經歷和所處環境，對本書寫作所帶來的影響，包括但不限於長期積累所形成的個人認知水平、表達水平、專業水平、職業慣性，乃至個人素養和品質。因此，書中如有表達不當或有失偏頗之處，望讀者海涵。

首先，我想感謝閱讀本書的讀者朋友。你們的青睞和支持，給了我堅持寫作的原動力。如果本書能給大家帶來收獲，是我莫大的榮幸。

然後，我想感謝本書的責任編輯——電子工業出版社的宋亞東先生。您從“對半獨白”公眾號第一次聯繫到我直到現在，已近3年時光。從決定開始寫書到最終完稿，這之間的過程真的十分不容易，感謝您一路對我的幫助。如果沒有您的支持與鼓勵，我不會順利完成本書的寫作，您是我人生旅程中的伯樂。

最後，我想感謝我的妻子——魏金璐。從校園戀愛開始，謝謝你一路走來對我的付出，不管遇到什麼困難，你總是默默地在我身邊傾聽與陪伴，無論是工作還是生活，都給了我無窮的動力。

呂磊