●目錄 1 機器學習入門 ....................................................................................................... 1 1.1 什麼是機器學習 ........................................................................................... 1 1.1.1 人類學習 VS 機器學習.................................................................. 1 1.1.2 機器學習三要素 ............................................................................... 3 1.2 什麼問題適合用機器學習方法解決 ........................................................... 5 1.2.1 必備條件 .......................................................................................... 5 1.2.2 機器學習可解決的問題 ................................................................... 7 1.3 機器學習的過程 ........................................................................................... 9 1.3.1 機器學習的三個階段 ....................................................................... 9 1.3.2 模型的訓練及選擇 ......................................................................... 11 1.4 機器學習的類型 ......................................................................................... 12 1.4.1 有監督學習..................................................................................... 13 1.4.2 無監督學習..................................................................................... 14 1.4.3 半監督學習..................................................................................... 14 1.4.4 強化學習 ........................................................................................ 15 1.5 產品經理的經驗之談 ................................................................................. 16 2 數據的準備工作 ................................................................................................. 18 2.1 數據預處理 ................................................................................................. 18 2.1.1 為什麼要做數據預處理 ................................................................. 18 2.1.2 數據清洗 ........................................................................................ 20 2.1.3 數據集成 ........................................................................................ 23 2.1.4 數據變換 ........................................................................................ 24 2.1.5 數據歸約 ........................................................................................ 26 2.2 特征工程 ..................................................................................................... 27 2.2.1 如何進行特征工程 ......................................................................... 27 2.2.2 特征構建 ........................................................................................ 27 2.2.3 特征提取 ........................................................................................ 28 2.2.4 特征選擇 ........................................................................................ 31 2.3 產品經理的經驗之談 ................................................................................. 34 3 了解你手上的數據 ............................................................................................ 36 3.1 你真的了解數據嗎 ..................................................................................... 36 3.1.1 機器學習的數據統計思維 ............................................................. 36 3.1.2 數據集 ............................................................................................ 37 3.1.3 數據維度 ........................................................................................ 41 3.1.4 數據類型 ........................................................................................ 42 3.2 讓數據更直觀的方法 ................................................................................. 43 3.2.1 直方圖 ............................................................................................ 43 3.2.2 散點圖 ............................................................................................ 44 3.3 常用的評價模型效果指標 ......................................................................... 45 3.3.1 混淆矩陣 ........................................................................................ 45 3.3.2 準確率 ............................................................................................ 46 3.3.3 精確率與召回率 ............................................................................. 47 3.3.4 F 值 ................................................................................................. 49 3.3.5 ROC 曲線 ....................................................................................... 50 3.3.6 AUC 值 ........................................................................................... 54 3.4 產品經理的經驗之談 ................................................................................. 55 4 趨勢預測專家：回歸分析 ................................................................................ 57 4.1 什麼是回歸分析 ......................................................................................... 57 4.2 線性回歸 ..................................................................................................... 58 4.2.線性回歸 ................................................................................. 58 4.2.線性回歸 ................................................................................. 63 4.3 如何評價回歸模型的效果 ......................................................................... 66 4.4 邏輯回歸 ..................................................................................................... 68 4.4.1 從線性到非線性 ............................................................................. 68 4.4.2 引入 Sigmoid 函數 ......................................................................... 71 4.5 梯度下降法 ................................................................................................. 74 4.5.1 梯度下降原理 ................................................................................. 74 4.5.2 梯度下降的特點 ............................................................................. 76 4.6 產品經理的經驗之談 ................................................................................. 77 5 最容易理解的分類算法：決策樹 ................................................................... 79 5.1 生活中的決策樹 ......................................................................................... 79 5.2 決策樹原理 ................................................................................................. 80 5.3 決策樹實現過程 ......................................................................................... 82 5.3.1 ID3 算法 ......................................................................................... 83 5.3.2 決策樹剪枝..................................................................................... 86 5.4 ID3 算法的限制與改進 .............................................................................. 88 5.4.1 ID3 算法存在的問題 ..................................................................... 88 5.4.2 C4.5 算法的出現 ............................................................................ 89 5.4.3 CART 算法 ..................................................................................... 95 5.4.4 三種樹的對比 ................................................................................. 97 5.5 決策樹的應用 ............................................................................................. 98 5.6 產品經理的經驗之談 ................................................................................. 99 6 垃圾郵件克星：樸素貝葉斯算法 ................................................................. 101 6.1 什麼是樸素貝葉斯 ................................................................................... 101 6.1.1 一個流量預測的場景 ................................................................... 101 6.1.2 樸素貝葉斯登場 ........................................................................... 102 6.2 樸素貝葉斯如何計算 ............................................................................... 103 6.2.1 理論概率與條件概率 ................................................................... 103 6.2.2 引入貝葉斯定理 ........................................................................... 105 6.2.3 貝葉斯定理有什麼用 ................................................................... 107 6.3 樸素貝葉斯的實際應用 ........................................................................... 108 6.3.1 垃圾郵件的克星 ........................................................................... 108 6.3.2 樸素貝葉斯的實現過程 ............................................................... 111 6.4 進一步的提升 ........................................................................................... 112 6.4.1 詞袋子困境................................................................................... 112 6.4.2 多項式模型與伯努利模型 ........................................................... 113 6.5 產品經理的經驗之談 ............................................................................... 114 7 模擬人類思考過程：神經網絡 ...................................................................... 116 7.1 最簡單模型 ............................................................................... 116 7.1.1 從生物學到機器學習 ................................................................... 116 7.1.2模型................................................................................... 118 7.2 感知機 ....................................................................................................... 121 7.2.1 基礎感知機原理 ........................................................................... 121 7.2.2 感知機的限制 ............................................................................... 125 7.3 多層神經網絡與誤差逆傳播算法 ........................................................... 126 7.3.1 從單層到多層神經網絡 ............................................................... 126 7.3.2 巧用 BP 算法解決計算問題 ........................................................ 128 7.4 RBF 神經網絡 .......................................................................................... 132 7.4.1 全連接與局部連接 ....................................................................... 132 7.4.2 改變激活函數 ............................................................................... 134 7.5 產品經理的經驗之談 ............................................................................... 136 8 求解支持向量機 ............................................................................................... 138 8.1 線性支持向量機 ....................................................................................... 138 8.1.1 區分咖啡豆................................................................................... 138 8.1.2 支持向量來幫忙 ........................................................................... 139 8.2 線性支持向量機推導過程 ....................................................................... 140 8.2.1 SVM 的數學定義 ......................................................................... 140 8.2.2 拉格朗日乘子法 ........................................................................... 143 8.2.3 對偶問題求解 ............................................................................... 146 8.2.4 SMO 算法 ..................................................................................... 147 8.3 非線性支持向量機與核函數 ................................................................... 148 8.4 軟間隔支持向量機 ................................................................................... 150 8.5 支持向量機的不足之處 ........................................................................... 152 8.6 產品經理的經驗之談 ............................................................................... 153 9 要想模型效果好，集成算法少不了 ............................................................. 155 9.1 個體與集成 ............................................................................................... 155 9.1.1 三個臭皮匠賽過諸葛亮 ............................................................... 155 9.1.2 人多一定力量大嗎 ....................................................................... 157 9.2 Boosting 族算法 ....................................................................................... 158 9.2.1 Boosting 是什麼 ........................................................................... 158 9.2.2 AdaBoost 如何增強 ...................................................................... 160 9.2.3 梯度下降與決策樹集成 ............................................................... 163 9.3 Bagging 族算法 ........................................................................................ 166 9.3.1 Bagging 是什麼 ............................................................................ 166 9.3.2 隨機森林算法 ............................................................................... 168 9.4 兩類集成算法的對比 ............................................................................... 171 9.5 產品經理的經驗之談 ............................................................................... 173 10 透過現像看本質，全靠降維來幫忙 ......................................................... 175 10.1 K 近鄰學習法 ......................................................................................... 175 10.1.1 “人以群分”的算法 ................................................................. 175 10.1.2 如何實現 KNN 算法 ................................................................ 176 10.2 從高維到低維的轉換 ............................................................................. 178 10.2.1 維數過高帶來的問題 ............................................................... 178 10.2.2 什麼是降維 ............................................................................... 179 10.3 主成分分析法 ......................................................................................... 180 10.3.1 PCA 原理 .................................................................................. 180 10.3.2 PCA 的特點與作用 .................................................................. 184 10.4 線性判別分析法 ..................................................................................... 186 10.5 流形學習算法 ......................................................................................... 189 10.6 產品經理的經驗之談 ............................................................................. 193 11 圖像識別與卷積神經網絡 ........................................................................... 195 11.1 圖像識別的準備工作 ............................................................................. 195 11.1.1 從電影走進現實 ....................................................................... 195 11.1.2 圖像的表達 ............................................................................... 196 11.1.3 圖像采集與預處理 ................................................................... 199 11.2 卷積神經網絡 ......................................................................................... 202 11.2.1 卷積運算 ................................................................................... 202 11.2.2 什麼是卷積神經網絡 ............................................................... 205 11.3 人臉識別技術 ......................................................................................... 211 11.3.1 人臉檢測 ................................................................................... 211 11.3.2 人臉識別 ................................................................................... 212 11.3.3 人臉識別的效果評價方法 ....................................................... 214 11.4 產品經理的經驗之談 ............................................................................. 215 12 自然語言處理與循環神經網絡 .................................................................. 217 12.1 自然語言處理概述 ................................................................................. 217 12.1.1 什麼是自然語言處理 ............................................................... 217 12.1.2 為什麼計算機難以理解語言 ................................................... 219 12.2 初識循環神經網絡 ................................................................................. 220 12.2.1 CNN 為什麼不能處理文本 ...................................................... 220 12.2.2 循環神經網絡登場 ................................................................... 222 12.2.3 RNN 的結構 ............................................................................. 224 12.3 RNN 的實現方式 ................................................................................... 228 12.3.1 引入 BPTT 求解 RNN .............................................................. 228 12.3.2 梯度消失問題 ........................................................................... 230 12.4 RNN 的提升 ........................................................................................... 231 12.4.1 長期依賴問題 ........................................................................... 231 12.4.2 處理長序列能手――LSTM .................................................... 232 12.5 產品經理的經驗之談 ............................................................................. 235 13 AI 繪畫與生成對抗網絡 ............................................................................. 237 13.1 初識生成對抗網絡 ................................................................................. 237 13.1.1 貓和老鼠的遊戲 ....................................................................... 237 13.1.2 生成網絡是什麼 ....................................................................... 240 13.1.3 判別檢驗 ................................................................................... 244 13.1.4 生成對抗的過程 ....................................................................... 244 13.2 生成對抗網絡的應用 ............................................................................. 246 13.2.1 GAN 的特點 ............................................................................. 246 13.2.2 GAN 的應用場景 ..................................................................... 247 13.3 生成對抗網絡的提升 ............................................................................. 249 13.3.1 強強聯合的 DCGAN ................................................................ 249 13.3.2 通過 BEGAN 化繁為簡 ........................................................... 251 13.3.3 對 GAN 的更多期待 ................................................................ 252 13.4 產品經理的經驗之談 ............................................................................. 253 參考資料 ................................................................................................................... 255