安德裡亞斯·林霍爾姆（Andreas Lindholm） 瑞典Annotell公司機器學習研究工程師，致力於解決自動駕駛的數據注釋和數據質量問題。2013年獲得林雪平大學理學碩士學位，2018年獲得烏普薩拉大學信息技術方向博士學位。

尼克拉斯·瓦爾斯特倫（Niklas Wahlstr?m） 烏普薩拉大學繫統與控制繫助理教授。2010年獲得林雪平大學理學碩士學位，2015年獲得林雪平大學自動控制方向博士學位。

弗雷德裡克·林斯滕（Fredrik Lindsten） 林雪平大學統計與機器學習繫副教授。2013年獲得林雪平大學自動控制方向博士學位。他曾獲得瑞典戰略研究基金會頒發的Ingvar Carlsson獎和烏普薩拉皇家科學學會頒發的Benzelius獎。

托馬斯·B. 舍恩（Thomas B. Sch?n） 烏普薩拉大學人工智能方向教授。2018年當選瑞典皇家工程科學院和烏普薩拉皇家科學學會院士。他曾獲得瑞典皇家科學院頒發的Tage Erlander獎和Arnberg獎。他是ELLIS協會會士。

目錄
Machine Learning: A First Course for Engineers and Scientists

譯者序
致謝
符號表
第1章?引?言 1
1.1?機器學習的示例 1
1.2?關於本書 8
1.3?拓展閱讀 9
第2章?有監督學習：第一個方法 10
2.1?有監督機器學習 10
2.1.1從有標記的數據中學習 10
2.1.2數值型和分類型變量 11
2.1.3分類和回歸 11
2.1.4在訓練數據之外進行泛化 14
2.2一個基於距離的方法：k-NN 14
2.2.1k-NN算法 14
2.2.2分類器的決策邊界 16
2.2.3k的選擇 17
2.2.4輸入標準化 19
2.3一種基於規則的方法：決策樹 20
2.3.1學習回歸樹 21
2.3.2分類樹 24
2.3.3決策樹應該多深？ 27
2.4拓展閱讀 29
第3章?基本參數模型和統計視角上的學習 30
3.1?線性回歸 30
3.1.1線性回歸模型 30
3.1.2用訓練數據訓練線性回歸模型 31
3.1.3損失函數和代價函數 32
3.1.4最小二乘法和正規方程 33
3.1.5最大似然視角 35
3.1.6分類型輸入變量 36
3.2分類和邏輯回歸 36
3.2.1從統計角度看分類問題 36
3.2.分類的邏輯回歸模型 38
3.2.3通過最大似然法訓練邏輯回歸模型 39
3.2.4預測和決策邊界 40
3.2.5兩類以上的邏輯回歸 42
3.3多項式回歸和正則化 44
3.4廣義線性模型 46
3.5 拓展閱讀 48
3.A正規方程的推導 49
3.A.1微積分方法 49
3.A.2線性代數方法 49
第4章?理解、評估和提高性能 51
4.1預期的新數據錯誤：實際生產環境中的性能 51
4.2估計 53
4.2.1：我們無法從訓練數據中估計 53
4.2.2：我們可以從保留的驗證數據中估計 54
4.2.3k-fold 交叉驗證：無須設置保留驗證數據 55
4.2.4使用測試數據集 57
4.3的訓練誤差：泛化差距分解 57
4.3.1什麼影響泛化差距？ 58
4.3.2在實際應用中降低 61
4.3.3模型復雜度的缺陷 62
4.4的偏差-方差分解 63
4.4.1什麼影響偏差和方差？ 65
4.4.2偏差、方差和泛化差距之間的聯繫 67
4.5用於分類器的其他工具 70
4.5.1混淆矩陣和ROC曲線 70
4.5.2分數和精確率-召回率曲線 72
4.6拓展閱讀 73
第5章 學習參數模型 75
5.1 參數化建模原則 75
5.1.1非線性參數函數 75
5.1.2損失最小化作為泛化替代 77
5.2 損失函數和基於似然的模型 78
5.2.1回歸中的損失函數 79
5.2.分類中的損失函數 80
5.2.3多類分類 83
5.2.4基於似然的模型和最大似然方法 83
5.2.5嚴格正確的損失函數和漸近最小化器 85
5.3 正則化 88
5.3.1正則化 88
5.3.2正則化 89
5.3.3一般顯式正則化 90
5.3.4隱式正則化 90
5.4 參數優化 90
5.4.1閉式解優化 92
5.4.2梯度下降 93
5.4.3二階梯度法 96
5.5 大型數據集優化 100
5.5.1隨機梯度下降 100
5.5.2隨機梯度下降的學習率和收斂度 101
5.5.3隨機二階梯度法 103
5.5.4自適應方法 103
5.6 超參數優化 103
5.7 拓展閱讀 105
第6章 神經網絡和深度學習 106
6.1神經網絡模型 106
6.1.1廣義線性回歸 106
6.1.2雙層神經網絡 107
6.1.向量化 108
6.1.4深度神經網絡 109
6.1.5數據點向量化 110
6.1.6用於分類的神經網絡 111
6.2訓練神經網絡 112
6.2.1反向傳播 113
6.2.2初始化 117
6.3卷積神經網絡 118
6.3.1圖像的數據表示 118
6.3.2卷積層 119
6.3.3稀疏相互作用 119
6.3.4參數共享 120
6.3.5卷積層和步幅 120
6.3.6池化層 121
6.3.7多通道 122
6.3.8完整的CNN架構 123
6.4dropout 124
6.4.1子網絡集成 125
6.4.2通過dropout訓練 125
6.4.3測試時的預測 126
6.4.4dropout和bagging 126
6.4.5將dropout作為正則化方法 127
6.5拓展閱讀 127
6.A反向傳播方程的推導 128
第7章?集成方法：bagging和提升方法 129
7.1 bagging方法 129
7.1.1自舉法 131
7.1.2通過取平均值降低方差 132
7.1.3包外誤差估計 135
7.2隨機森林 136
7.3提升方法和AdaBoost 138
7.3.1AdaBoost 140
7.3.2AdaBoost的設計選擇 145
7.4梯度提升方法 145
7.5拓展閱讀 149
第8章 非線性輸入變換和核 151
8.1通過非線性輸入變換創造特征 151
8.2核嶺回歸 153
8.2.1對線性回歸的重構 153
8.2.2核的主要思想 155
8.3支持向量回歸 158
8.3.1更多核方法的預備工作：表示定理 158
8.3.2支持向量回歸方法 159
8.3.3對於核函數在回歸問題中的應用的總結 162
8.4核理論 162
8.4.1核k-NN簡介 162
8.4.2核函數的意義 164
8.4.3選擇有效的核函數 165
8.4.4核函數的例子 166
8.5支持向量分類 167
8.6拓展閱讀 171
8.A表示定理 171
8.B支持向量分類的推導 172
第9章 貝葉斯方法和高斯過程 174
9.1貝葉斯思想 174
9.1.1對於信念的一種表示 175
9.1.2間隔似然在模型選擇上的應用 176
9.2貝葉斯線性回歸 176
9.2.高斯分布 177
9.2.2基於貝葉斯方法的線性回歸 177
9.2.3與正則化線性回歸的關聯 181
9.3高斯過程 181
9.3.1什麼是高斯過程？ 182
9.3.2將核嶺回歸擴展為高斯過程 186
9.3.3函數的非參數分布 188
9.3.4對高斯過程采樣 190
9.4高斯過程的實際應用 191
9.4.1選擇核函數 191
9.4.2超參數的調參 192
9.5機器學習中的其他貝葉斯方法 195
9.6拓展閱讀  195
9.高斯分布 196
第10章?生成模型和無標記學習 198
10.1高斯混合模型和判別分析 198
10.1.1高斯混合模型 199
10.1.2高斯混合模型的有監督學習 200
10.1.3預測新輸入的輸出標簽：判別分析 201
10.1.4高斯混合模型的半監督學習 203
10.2聚類分析 208
10.2.1高斯混合模型的無監督學習 208
10.2.2k-均值聚類 212
10.2.3選擇集群的數量 214
10.3深層生成模型 215
10.3.1可逆的非高斯模型和標準化流 216
10.3.2生成對抗網絡 218
10.4表示學習和降維 221
10.4.1自動編碼器 221
10.4.2主成分分析 223
10.5拓展閱讀 228
第11章 機器學習的用戶視角 229
11.1定義機器學習問題 229
11.1.1訓練、驗證和測試數據 229
11.1.2驗證和測試數據集的大小 230
11.1.3單一數字評估指標 231
11.1.4基線和可實現的性能水平 231
11.2改進機器學習模型 232
11.2.1由淺入深 232
11.2.2調試模型 232
11.2.3訓練錯誤和泛化差距 233
11.2.4學習曲線 234
11.2.5誤差分析 235
11.2.6訓練和驗證/測試數據不匹配 237
11.3如果我們不能收集更多的數據怎麼辦？ 238
11.3.1用略有不同的數據擴展訓練數據 238
11.3.2數據增強 239
11.3.3遷移學習 239
11.3.4從未標記數據中學習 240
11.4實際數據問題 241
11.4.1異常值 241
11.4.2數據缺失 241
11.4.3特征選擇 242
11.5?可以相信機器學習模型嗎？ 243
11.5.1理解為什麼要做出某種預測 243
11.5.2最差情況保證 243
11.6?拓展閱讀 244
第12章?機器學習中的倫理學 245
12.1公平和誤差函數 245
12.1.1通過意識實現公平 245
12.1.2完全公平在數學上是不可能的 246
12.2關於性能的誤導性聲明 248
12.2.1刑事判決 249
12.2.2以一種可理解的方式解釋模型 250
12.2.3劍橋分析公司的例子 252
12.2.4醫學成像 253
12.3訓練數據的局限性 254
12.4拓展閱讀 257
參考文獻 258

譯者序
Machine Learning: A First Course for Engineers and Scientists
機器學習是人工智能的一個重要分支，作為一個多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科，廣泛應用於金融、電商、醫療、制造和娛樂等行業。掌握機器學習相關知識與技能對於工程師和科學家而言至關重要，這已經成為他們的技能。本書屬於入門機器學習的基礎參考書籍，可作為工程師和科學家學習和了解機器學習的初級課程用書。
全書內容豐富，涉及機器學習的基本概念、算法、模型和方法，適合技術開發人員和學術研究人員學習與參考。全書共由12章組成。第1章主要介紹機器學習的基本概念；第2章介紹有監督學習，包括有監督機器學習、k-NN和決策樹；第3章介紹基本參數模型和統計視角上的學習，包括線性回歸、分類和邏輯回歸、多項式回歸和正則化、線性模型等；第4章介紹機器學習算法的理解、評估和提高性能的方法；第5章介紹參數模型的概念，以及損失函數和基於似然的模型、正則化和參數優化等；第6章介紹神經網絡和深度學習；第7章介紹集成方法，包括bagging方法、隨機森林、AdaBoost和提升方法等；第8章介紹非線性輸入變換和核，包括核嶺回歸、支持向量回歸等；第9章介紹貝葉斯方法和高斯過程；第10章介紹生成模型和無標記學習，包括高斯混合模型和判別分析、聚類分析、深層生成模型、表示學習和降維；第11章和第12章分別介紹機器學習的用戶視角和機器學習中的倫
理學。
本書的翻譯由天津大學多位科研人員通力合作完成，其中湯善江組織了全書的統稿與審校工作，於策、孫超、肖健、畢重科、王梓懿、李政達、程樂祥、李凱華參與了部分章節的翻譯與審校。受語言背景以及技術水平所限，書中難免出現翻譯錯誤，希望廣大讀者批評
指正。

譯者
2023年10月於天津大學