寫給IT工程師看的機器學習入門書
緊緊圍繞“機器學習的商業應用”這個主題，從數學原理上解釋機器學習的一些基礎算法，如*小二乘法、*優推斷法、感知器、Logistic回歸、K均值算法、EM算法、貝葉斯推斷等。
幫助讀者理解機器學習的本質，著眼於教會讀者使用什麼樣的思維方式，以及如何進行計算，為讀者探索更加復雜的深度學習領域或神經網絡算法打下堅實的基礎。
第 1章 數據科學和機器學習
第 2章 *小二乘法：機器學習理論第一步
第3章 *優推斷法：使用概率的推斷理論
第4章 感知器：分類算法的基礎
第5章 Logistic回歸和ROC曲線：學習模型的評價方法
第6章 K均值算法：無監督學習模型的基礎
第7章 EM算法：基於*優推斷法的監督學習
第8章 貝葉斯推斷：以數據為基礎提高置信度的手法

人工智能正在形成一股新的浪潮，它將從技術、經濟、社會等各個層面改變我們的工作和生活方式。作為實現人工智能的重要技術，機器學習正在受到人工智能專家之外的更廣泛人群的關注，想要了解機器學習相關知識和技術的人日益增多。
本書緊緊圍繞“機器學習的商業應用”這個主題，從數學原理上解釋了機器學習的一些基礎算法，如*小二乘法、*優推斷法、感知器、Logistic回歸、K均值算法、EM算法、貝葉斯推斷等。全書的主旨在於幫助讀者理解機器學習的本質，因此作者介紹具體的例題時，基本的著眼點是教會讀者使用什麼樣的思維方式，以及如何進行計算，為讀者探索更加復雜的深度學習領域或神經網絡算法打下堅實的基礎。

1971年4月生於日本大阪市。現為Linux工程師，任職於知名的Linux發行商Red Hat，主要致力於推動Linux/OSS在企業繫統中的應用。從基於Linux/OSS的企業應用開發，到10000餘臺Linux服務器的運維，再到私有雲的設計和構建，他通過各種各樣的項目掌握了豐富的Linux編程經驗，並積極地將自己的經驗傳授給年輕的程序員們。著作有《Linux繫統網絡管理技術》《Linux繫統架構和應用技巧》等。

第 1章 數據科學和機器學習\t1
1．1數據科學在商業領域中的作用2
1．2機器學習算法的分類8
1．2．1分類：產生類判定的算法8
1．2．2回歸分析：預測數值的算法9
1．2．3聚類分析：對數據進行無監督群組化的算法10
1．2．4其他算法12
1．3本書使用的例題13
1．3．1基於回歸分析的觀測值推斷13
1．3．2基於線性判別的新數據分類17
1．3．3圖像文件的褪色處理（提取代表色）18
1．3．4識別手寫文字19
1．4分析工具的準備20
1．4．1本書使用的數據分析工具21
1．4．2運行環境設置步驟（以CentOS 6為例）22
1．4．3運行環境設置步驟（以Mac OS X為例）25
1．4．4運行環境設置步驟（以Windows 7/8．1為例）27
1．4．5IPython的使用方法30

第2章 最小二乘法：機器學習理論第 一步35
2．1基於近似多項式和最小二乘法的推斷36
2．1．1訓練集的特征變量和目標變量36
2．1．2近似多項式和誤差函數的設置38
2．1．3誤差函數最小化條件39
2．1．4示例代碼的確認42
2．1．5統計模型的最小二乘法46
2．2過度擬合檢出49
2．2．1訓練集和測試集49
2．2．2測試集的驗證結果50
2．2．3基於交叉檢查的泛化能力驗證52
2．2．4基於數據的過度擬合變化54
2．3附錄：Hessian矩陣的特性56

第3章最優推斷法：使用概率的推斷理論59
3．1概率模型的利用60
3．1．1“數據的產生概率”設置60
3．1．2基於似然函數的參數評價65
3．1．3示例代碼的確認69
3．2使用簡化示例的解釋說明73
3．2．1正態分布的參數模型74
3．2．2示例代碼的確認76
3．2．3推斷量的評價方法（一致性和無偏性）78
3．3附錄：樣本均值及樣本方差一致性和無偏性的證明80
3．3．1樣本均值及樣本方差一致性和無偏性的證明81
3．3．2示例代碼的確認85

第4章感知器：分類算法的基礎89
4．1概率梯度下降法的算法91
4．1．1分割平面的直線方程91
4．1．2基於誤差函數的分類結果評價93
4．1．3基於梯度的參數修正95
4．1．4示例代碼的確認99
4．2感知器的幾何學解釋100
4．2．1對角項的任意性和算法的收斂速度101
4．2．2感知器的幾何學解釋103
4．2．3對角項的幾何學意義104

第5章Logistic回歸和ROC曲線：學習模型的評價方法107
5．1對分類問題應用最優推斷法108
5．1．1數據發生概率的設置108
5．1．2基於最優推斷法的參數確定112
5．1．3示例代碼的確認114
5．2基於ROC曲線的學習模型評價117
5．2．1Logistic回歸在實際問題中的應用118
5．2．2基於ROC曲線的性能評價120
5．2．3示例代碼的確認123
5．3附錄：IRLS法的推導126

第6章K均值算法：無監督學習模型的基礎133
6．1基於K均值算法的聚類分析和應用實例134
6．1．1無監督學習模型類聚類分析134
6．1．2基於K均值算法的聚類分析135
6．1．3在圖像數據方面的應用138
6．1．4示例代碼的確認141
6．1．5K均值算法的數學依據143
6．2“懶惰”學習模型K近鄰法146
6．2．1基於K近鄰法的分類146
6．2．2K近鄰法的問題148

第7章EM算法：基於最優推斷法的監督學習151
7．1使用伯努利分布的最優推斷法152
7．1．1手寫文字的合成方法153
7．1．2基於圖像生成器的最優推斷法應用154
7．2使用混合分布的最優推斷法157
7．2．1基於混合分布的概率計算157
7．2．2EM算法的過程158
7．2．3示例代碼的確認161
7．2．4基於聚類分析的探索性數據解析165
7．3附錄：手寫文字數據的采集方法167

第8章貝葉斯推斷：以數據為基礎提高置信度的手法169
8．1貝葉斯推斷模型和貝葉斯定理170
8．1．1貝葉斯推斷的思路171
8．1．2貝葉斯定理入門172
8．1．3使用貝葉斯推斷確定正態分布：推斷參數178
8．1．4使用貝葉斯推斷確定正態分布：推斷觀測值分布185
8．1．5示例代碼的確認188
8．2貝葉斯推斷回歸分析的應用190
8．2．1參數後期分布的計算190
8．2．2觀測值分布的推斷194
8．2．3示例代碼的確認195
8．3附錄：最優推斷法和貝葉斯推斷的關繫198

後記201

《機器學習入門之道》：
訓練集和測試集
如2.1.4節中的圖2—2所示，隨著多項式繫數的增加，我們能更加正確地再現訓練集數據。例子中，當M=9時，均方根誤差可以為0。然而，訓練集包含的數據為“偶然得到的值”，因此下次取數據時便無法得到相同的值。例子中的數據是通過疊加正弦函數y=sin（2πx）與標準差為0.3的隨機數生成的，我們不可能準確預測出下一次得出的值……。從圖2—2所示的圖形判斷出“推薦使用M=3”就是基於這樣的思考方法。
……