遷移學習作為機器學習和人工智能領域的重要方法，在計算機視覺、自然語言處理、語音識別等領域都得到了廣泛的應用。本書的編寫目的是幫助遷移學習及機器學習相關領域的初學者快速入門。全書主要分為背景與概念、方法與技術、擴展與探索及應用與展望四大部分。除此之外，本書還配有相關的代碼、數據和論文資料，限度地降低初學者的學習和使用門檻。

本書適合對遷移學習感興趣的讀者閱讀，也可以作為相關課程的配套教材。

部分背景與概念

章緒論 3

1.1 遷移學習 3

1.2 相關研究領域 6

1.3 遷移學習的必要性 8

1.3.1 大數據與少標注之間的矛盾 8

1.3.2 大數據與弱計算能力的矛盾 8

1.3.3 有限數據與模型泛化能力的矛盾 9

1.3.4 普適化模型與個性化需求的矛盾 9

1.3.5 特定應用的需求 10

1.4 遷移學習的研究領域 11

1.4.1 按特征空間分類 12

1.4.2 按目標域有無標簽分類 12

1.4.3 按學習方法分類 12

1.4.4 按離線與在線形式分類 13

1.5 遷移學習的應用 14

1.5.1 計算機視覺 14

1.5.2 自然語言處理 15

1.5.3 普適計算與人機交互 16

1.5.4 醫療健康 17

1.6 學術會議和工業界中的遷移學習 18

第2 章從機器學習到遷移學習 21

2.1 機器學習及基本概念 21

2.2 結構風險 小化 22

2.3 數據的概率分布 23

2.4 概念與符號 25

2.5 遷移學習的問題定義 26

第3 章遷移學習基本問題 29

3.1 何處遷移 30

3.2 何時遷移 32

3.3 如何遷移 32

3.4 失敗的遷移：負遷移 33

3.5 完整的遷移學習過程 35

第二部分方法與技術

第4 章遷移學習方法總覽 39

4.1 遷移學習總體思路 39

4.2 分布差異的度量 40

4.2.1 百花齊放的遷移學習分布度量 41

4.2.2 分布差異的統一表征 42

4.2.3 分布自適應因子的計算 44

4.3 遷移學習統一表征 45

4.3.1 樣本權重遷移法 46

4.3.2 特征變換遷移法 47

4.3.3 模型預訓練遷移法 48

4.3.4 小結 48

4.4 上手實踐 48

4.4.1 數據準備 49

4.4.2 基準模型構建：KNN 51

4.5 遷移學習理論 53

4.5.1 概念與符號 54

4.5.2 基於H-divergence 的理論分析 54

4.5.3 基於HΔH-distance 的理論分析 55

4.5.4 基於差異距離的理論分析 57

4.5.5 結合標簽函數差異的理論分析 58

第5 章樣本權重遷移法 59

5.1 問題定義 59

5.1.1 樣本權重遷移法的可行性分析 59

5.1.2 形式化定義 60

5.2 基於樣本選擇的方法 61

5.2.1 基於非強化學習的樣本選擇法 62

5.2.2 基於強化學習的樣本選擇法 63

5.3 基於權重自適應的方法 64

5.4 上手實踐 66

5.5 小結 68

第6 章統計特征變換遷移法 69

6.1 問題定義 69

6.2 均值差異法 70

6.2.1 基本概念 70

6.2.2 基於均值差異的遷移方法 72

6.2.3 求解與計算 75

6.2.4 應用與擴展 76

6.3 度量學習法 78

6.3.1 從預定義的距離到可學習的距離 78

6.3.2 度量學習及其形式化 79

6.3.3 基於度量學習的遷移學習 80

6.4 上手實踐 81

6.4.1 算法精煉 81

6.4.2 編寫代碼 82

6.5 小結 84

第7 章幾何特征變換遷移法 85

7.1 問題定義 85

7.2 子空間變換法 86

7.3 流形學習法 87

7.3.1 流形學習 87

7.3.2 基於流形學習的遷移學習方法 88

7.4 傳輸法 91

7.4.1 傳輸 91

7.4.2 基於傳輸法的遷移學習方法 92

7.5 上手實踐 94

7.6 小結 97

第8 章預訓練方法 99

8.1 深度網絡的可遷移性 99

8.2 預訓練–微調 102

8.3 預訓練方法的有效性分析 105

8.4 自適應的預訓練方法 106

8.5 重新思考預訓練模型的使用 108

8.6 上手實踐 110

8.7 小結 113

第9 章深度遷移學習 115

9.1 總體思路 116

9.2 深度遷移學習的網絡結構 117

9.2.1 單流結構 118

9.2.2 雙流結構 118

9.3 數據分布自適應的深度遷移學習方法 120

9.3.1 邊緣分布自適應 120

9.3.2 條件、聯合與動態分布自適應 121

9.4 結構自適應的深度遷移學習方法 122

9.4.1 批歸一化 123

9.4.2 批歸一化用於遷移學習 123

9.4.3 基於多表示學習的遷移網絡結構 124

9.5 知識蒸餾 125

9.6 上手實踐 127

9.6.1 網絡結構 127

9.6.2 損失 129

9.6.3 訓練 131

9.6.4 測試 132

9.7 小結 133

0 章對抗遷移學習 135

10.1 生成對抗網絡 135

10.2 對抗遷移學習基本思路 136

10.3 數據分布自適應的對抗遷移方法 137

10.4 基於信息解耦的對抗遷移方法 140

10.5 基於數據生成的對抗遷移方法 141

10.6 上手實踐 142

10.6.1 領域判別器 143

10.6.2 分布差異計算 143

10.6.3 梯度反轉層 144

10.7 小結 145

1 章遷移學習熱門研究問題 147

11.1 類別不均衡的遷移學習 148

11.2 多源遷移學習 150

11.3 開放集遷移學習 153

11.4 時間序列的遷移學習 154

11.5 聯邦遷移學習 158

11.5.1 聯邦學習 158

11.5.2 聯邦遷移學習 160

11.6 基於因果關繫的遷移學習 161

11.6.1 什麼是因果關繫 161

11.6.2 因果關繫與遷移學習 163

11.7 自動遷移學習 168

11.8 在線遷移學習 171

第三部分擴展與探索

2 章領域泛化 177

12.1 領域泛化問題 177

12.1.1 背景 177

12.1.2 問題定義 179

12.1.3 常用方法 180

12.2 基於數據分布自適應的方法 181

12.2.1 領域無關成分分析DICA 181

12.2.2 深度數據分布自適應 183

12.3 基於解耦的方法 184

12.4 基於集成模型的方法 186

12.5 基於數據生成的方法 187

12.5.1 領域法 187

12.5.2 對抗數據生成 188

12.6學習的方法 190

12.7 小結 191

學習 193

13學習簡介 193

13.1.1 問題背景 193

13.1學習 194

13.2 基於學習方法 196

13.3 基於學習方法 198

13.4 基於學習方法 199

13學習的應用與挑戰 201

13.5.1 應用 201

13.5.2 現存的挑戰 202

13.6 小結 202

4 章遷移學習模型選擇 205

14.1 模型選擇 205

14.2 基於密度估計的模型選擇 206

14.3 遷移交叉驗證 207

14.4 小結 208

第四部分應用與展望

5 章遷移學習的應用 211

15.1 計算機視覺 212

15.2 自然語言處理 214

15.3 語音識別與合成 216

15.4 普適計算與人機交互 218

15.5 醫療健康領域 220

15.6 其他應用 223

15.7 小結 225

6 章遷移學習前沿 227

16.1 融合人類經驗的遷移 227

16.2 遷移強化學習 228

16.3 遷移學習的可解釋性 228

16.4 遷移學習繫統 229

附錄A 231

A.1 常用度量準則 231

A.1.1 常見的幾種距離 231

A.1.2 餘弦相似度 232

A.1.3 互信息 232

A.1.4 相關繫數 232

A.1.5 KL 散度與JS 距離 233

A.1.6 均值差異MMD 233

A.1.7 Principal Angle 234

A.1.8 A-distance 234

A.1.9 希爾伯特–施密特獨立性繫數 234

A.1.10 Wasserstein Distance 234

A.2 遷移學習常用數據集 235

A.2.1 手寫體識別圖像數據集 235

A.2.2 對像識別數據集 236

A.2.3 圖像分類數據集 237

A.2.4 通用文本分類數據集 237

A.2.5 行為識別公開數據集 238

A.3 本書相關資源 238

參考文獻 241

王晉東
微軟亞洲研究院研究員、中國科學院計算技術研究所博士，主要從事遷移學習、機器學習和深度學習方面的研究。研究成果發表在IEEE TNNLS、ACM TIST、CVPR、IJCAI、ACMMM、UbiComp等期刊和會議，獲得國家獎學金、中國科學院博士論文獎、中科院計算所所長特別獎學金等。擔任國際會議IJCAI 2019的宣傳主席、國際期刊會議IEEE TPAMI、TKDE、ICML、NeurIPS、ICLR、CVPR等的審稿人或程序委員會委員。熱心知識分享，在知乎的博客文章瀏覽次數逾700萬次。

陳益強
中國科學院計算技術研究所所務委員、研究員、CCF Fellow，主要研究人機交互與普適計算，聯邦學習與遷移學習等。
任北京市移動計算與新型終端重點實驗室主任、中科院計算所泛在計算繫統研究中心主任；曾入選國家“萬人計劃”科技創新領軍人纔、科技部中青年科技創新領軍人纔、北京市科技新星等；國務院特殊津貼專家，東京大學、南洋理工大學兼職教授，IEEE計算智能等6個刊物的編委，IEEE可穿戴與智能交互技術委員會創始委員等。獲IJCAI-FL等人工智能和普適計算領域論文獎6項；相關成果獲國家科技進步二等獎及中國計算機學會技術發明一等獎等。

一書入手，一步到位！零基礎入門遷移學習！

《遷移學習導論》獨闢蹊徑，從初學者角度出發，以“講課”的形式，歸納分析各類遷移學習方法，使讀者能快速理解遷移學習的本質問題、抓住重點、舉一反三、迅速入門。

《遷移學習導論》一大亮點是對“兩頭“的把握：

一是源頭，抓問題和場景，做到“師出有名”，講清楚針對什麼問題、用在哪裡；

二是筆頭，抓代碼與實踐，做到“落地結果”，在實戰中鞏固和深化對技術的理解。

考慮多方位學習的需求，《遷移學習導論》配有實踐代碼、學習資料、相關筆記和文章，並持續更新。