目錄


Fundamentals of Pattern Recognition and Machine Learning


譯者序

前言
第1章概述111模式識別與機器學習1

12數學基礎設置1

13預測2

14預測誤差2

15監督學習與無監督學習3

16復雜性權衡3

17設計周期4

18應用實例5

181生物信息學5

182材料信息學7

19文獻注釋9
第2章最優分類1021無特征分類10

22有特征分類10

23貝葉斯分類器13

24貝葉斯誤差16

25高斯模型19

251同方差情況20

252異方差情況22

26其他主題22

261極小極大分類22

262F誤差24

263貝葉斯決策理論26

*264分類問題的嚴格表達27

27文獻注釋28

28練習29

29Python作業33
第3章基於實例的分類3631分類規則36

32分類錯誤率38

*33一致性38

34沒有免費午餐定理41

35其他主題42

351集成分類42

352混合抽樣與獨立抽樣43

36文獻注釋44

37練習44

38Python作業45
第4章參數分類4741參數替換規則47

42高斯判別分析48

421線性判別分析48

422二次判別分析51

43邏輯斯諦分類53

44其他主題54

441正則化判別分析54

*442參數規則的一致性55

443貝葉斯參數規則57

45文獻注釋59

46練習60

47Python作業62
第5章非參數分類6451非參數替換規則64

52直方圖分類65

53最近鄰分類66

54核分類68

55CoverHart定理70

*56Stone定理73

57文獻注釋74

58練習75

59Python作業76
第6章函數逼近分類7861支持向量機78

611可分數據的線性支持
向量機78

612一般線性支持向量機80

613非線性支持向量機82

62神經網絡86

621反向傳播訓練89

622卷積神經網絡92

*623神經網絡的普遍逼近
性質94

624普遍一致性定理96

63決策樹97

64有序分類器100

65文獻注釋101

66練習102

67Python作業104
第7章分類誤差估計10871誤差估計規則108

72誤差估計性能109

721偏差分布109

722偏差、方差、均方根和
尾概率110

*723一致性111

73測試集誤差估計112

74再代入誤差估計113

75交叉驗證114

76自助方法116

77增強誤差估計118

78其他主題121

781凸誤差估計器121

782平滑誤差估計器123

783貝葉斯誤差估計123

79文獻注釋126

710練習127

711Python作業129
第8章分類模型選擇13181分類復雜性131

82VapnikChervonenkis理論134

*821有限模型選擇134

822打散繫數與VC維度135

823幾種分類規則中的VC
參數136

824VapnikChervonenkis
定理139

825沒有免費午餐定理139

83模型選擇方法140

831驗證誤差最小化140

832訓練集誤差最小化141

833結構性風險最小化141

84文獻注釋142

85練習143
第9章降維14591面向分類任務的特征提取145

92特征選擇146

921窮舉搜索146

922單變量貪婪搜索147

923多變量貪婪搜索149

924特征選擇與分類復雜性150

925特征選擇與誤差估計150

93主成分分析152

94多維縮放155

95因子分析156

96文獻注釋158

97練習159

98Python作業160
第10章聚類162101KMeans算法162

102高斯混合模型165

1021期望最大化方法166

1022與KMeans的關繫170

103層次聚類171

104自組織映射173

105文獻注釋174

106練習175

107Python作業176
第11章回歸178111最優回歸178

112

前言


Fundamentals of Pattern Recognition and Machine Learning

“隻有受過教育的人纔是自由的。”
——古希臘哲學家愛比克泰德（Epictetus）
模式識別和機器學習領域的發展有著悠久而成就卓著的歷史。單就教材而言，已有很多該領域的優秀教材，那麼我們需要回答為什麼仍需要一本全新的教材。本書致力於通過簡明的介紹，將理論和實踐相結合並且讓其更適用於課堂教學。本書的重點是基於Python編程語言對近期的新方法和應用實例予以展示。本書不會試圖對模式識別和機器學習進行百科全書式的面面俱到的介紹，因為該領域發展很快，這種介紹方式是不可能實現的。一本簡明的教科書必須有嚴格的選材要求，本書所選的主題在一定程度上不可避免會取決於我自己的經驗和喜好，但我相信它能夠使讀者精通這一領域所必須掌握的核心知識。本書隻要求讀者具備本科水平的微積分和概率論知識，同時附錄中包含了研究生水平的概率論知識的簡要回顧以及書中所需的其他數學方法。
本書是從我在得克薩斯農工大學講授了十多年的模式識別、生物信息學和材料信息學研究生課程的講稿發展而來的。本書旨在通過恰當的選題（詳細見後），在模式識別或機器學習方面，滿足一個或兩個學期的具有高年級本科層次或研究生層次的初級課程的教學需求。雖然本書是為課堂教學設計的，但它也可有效地用於自學。
本書並沒有對理論知識進行回避，因為對理論知識的理解對於模式識別和機器學習的教學過程尤為重要。模式識別和機器學習領域充滿經典的定理，如CoverHart定理、Stone定理及其推論、VapnikChervonenkis定理等。然而，本書試圖在理論和實踐之間獲取平衡。特別是，用貫穿全書的生物信息學和材料信息學的應用數據集實例來解釋理論。這些數據集也被用在章末的Python作業中。書中所有的插圖都是使用Python腳本生成的，可以從本書的網站下載。鼓勵讀者用這些腳本做試驗並在Python作業中使用它們。本書的網站還包含來自生物信息學和材料信息學應用的數據集，繪圖和Python作業中會用到它們。根據我在課堂上的經驗，一旦學生完成了Python作業並使用了來自真實應用的數據，他們對主題的理解就會顯著提升。
本書的組織結構如下。第1章是對主題動機的概括性介紹。第2～8章涉及分類問題。第2章和第3章是分類的基礎章節，主要涉及最優化的和常規的基於實例的分類問題。第4～6章檢驗了三類主要的分類規則：參數的、非參數的和函數逼近的。第7章和第8章涉及分類的誤差估計和模型選擇。第9章不僅對分類問題的降維方法進行研究，也包括關於無監督方法的學習材料。最後，第10章和第11章討論了聚類和回歸問題。教師或讀者可以靈活地從這些章節中選擇主題，並以不同的順序使用它們。特別是，部分章節末尾的“其他主題”部分涵蓋了雜項主題內容，在教學中可以包括也可以不包括這些主題，不會影響課程的連續性。此外，為了方便教師和讀者，書中用星號標記了專業性更強的章節，這些部分可以在初讀時跳過。
大多數章節末尾的練習部分都包含各種難度的問題，練習中的一些是本章所討論概念的直接應用，而另一些則介紹了新的概念和理論的擴展，其中有些可能值得在課堂上討論。大多數章節末尾的Python作業要求讀者使用Python語言和scikitlearn工具包實現本章中討論的方法，並將它們應用於生物信息學和材料信息學應用中的合成和真實數據集。
根據我的教學經驗，建議在課堂上按照如下方式使用本書：
1一個學期的課程重點可集中在分類問題上，講授內容包括第2～9章，包括大多數標有星號的小節和其他主題部分。
2面向應用的一學期課程，授課內容可跳過第2～8章中的大部分或所有標有星號的小節和其他主題部分，涵蓋第9～11章的內容，同時重點講解各章的Python作業。
3涵蓋整本書的兩個學期課程的教學內容包括大部分或所有標有星號的小節以及其他主題部分。
本書的出版要歸功於幾位前輩。首先，Duda和Hart的經典教材（1973年首次出版，2001年的第2版加入了Stork作為共同作者）幾十年來一直是該領域的標準參考材料。此外，Devroye，Gyrfi and Lugosi［1996］本書以“作者［年份］”的形式來指代該作者於該年份發表或出版的論文或著作。 現在仍然是非參數模式識別的黃金標準。其他對本書存在影響的資料來源包括McLachlan［1992］、Bishop［2006］、Webb［2002］和James et al［2013］。
我要感謝所有現在和過去的合作者，他們幫助我塑造對模式識別和機器學習領域的理解架構。同樣，我也要感謝所有的學生，無論是由我指導過他們的研究，還是參加過我講座的學生，他們都對本書的內容提出了自己的觀點和修改意見。我要感謝Ed Dougherty、Louise Strong、John Goutsias、Ascendino Dias e Silva、Roberto Lotufo、Junior Barrera和 Severino Toscano，我從他們身上受益匪淺。感謝Ed Dougherty、Don Geman、Al Hero和 Gábor Lugosi，在編寫本書的時候他們提供了對本書的評論和對我的鼓勵。我很感謝Caio Davi，他為本書繪制了幾幅插圖。非常感謝當我在紐約市處於困難時期時由Paul Drougas在施普林格提供的專家援助。最後，感謝我的妻子Flávia以及我的孩子Maria Clara和Ulisses，感謝他們在本書的寫作過程中對我充滿耐心，並提供了一如既往的支持。
Ulisses BragaNeto
得克薩斯學院站
2020年7月