本書介紹了機器翻譯和評估的挑戰——包括歷史、語言和應用環境，然後提出了用於自然語言應用的核心深度學習方法。內含Python代碼示例，為讀者提供理

解和實現自己的機器翻譯繫統的實際藍圖。本書還提供了廣泛的機器學習技巧，涉及的問題包括處理各種形式的數據、模型的增強、當前的挑戰以及方法分析和可視化。本書包含機器翻譯領域的前沿研究，適用於該領域的本科和研究生，以及對神經方法在更廣泛的人類語言處理領域的其他應用感興趣的研究人員，也可以作為開發人員的重要參考。

目錄

作者寄語

譯者序
前言
閱讀指南
第一部分緒論
第1章翻譯問題 2
1.1翻譯的目標 2
1.2歧義性 4
1.2.1詞彙翻譯問題 4
1.2.2短語翻譯問題 4
1.2.3句法翻譯問題 5
1.2.4語義翻譯問題 5
1.3語言學觀點 6
1.4數據視角 9
1.4.1忠實度 9
1.4.2流暢度 10
1.4.3齊普夫定律 11
1.5實際問題 13
1.5.1公開的數據 13
1.5.2評測活動 13
1.5.3工具集 14
第2章機器翻譯的應用 15
2.1信息獲取 15
2.2人工輔助翻譯 16
2.3交流 18
2.4自然語言處理的管道式繫統 21
2.5多模態機器翻譯 21
第3章歷史回顧 23
3.1神經網絡 24
3.1.1生物學啟發 24
3.1.2感知器學習 25
3.1.3多層網絡 25
3.1.4深度學習 26
3.2機器翻譯 27
3.2.1密碼破譯 27
3.2.2ALPAC報告與後續影響 27
3.2.3個商用繫統 28
3.2.4基於中間語言的翻譯繫統 28
3.2.5數據驅動的方法 28
3.2.6開源的研發環境 29
3.2.7深入用戶 30
3.2.8神經翻譯的興起 30
第4章評價方法 32
4.1基於任務的評價 32
4.1.1真實世界的任務 33
4.1.2內容理解 33
4.1.3譯員翻譯效率 34
4.2人工評價 35
4.2.1忠實度和流暢度 35
4.2.2排序 37
4.2.3連續分數 38
4.2.4眾包評價 40
4.2.5人工譯文編輯率 41
4.3自動評價指標 41
4.3.1BLEU 42
4.3.2同義詞和形態變體 43
4.3.3TER 44
4.3.4characTER 45
4.3.5自舉重采樣 45
4.4指標研究 47
4.4.1關於評價的爭論 47
4.4.2對評價指標的評價 48
4.4.3自動評價指標缺點的相關證據 49
4.4.4新的評價指標 50
第二部分基礎
第5章神經網絡 54
5.1線性模型 54
5.2多層網絡 55
5.3非線性模型 56
5.4推斷 57
5.5反向傳播訓練 59
5.5.1輸出節點權重 60
5.5.2隱藏層節點權重 61
5.5.3公式總結 63
5.5.4權重更新示例 63
5.5.5驗證集 64
5.6探索並行處理 65
5.6.1向量和矩陣運算 65
5.6.2小批量訓練 65
5.7動手實踐：使用Python實現神經網絡 66
5.7.1Numpy庫中的數據結構和函數 66
5.7.2前向計算 67
5.7.3反向計算 67
5.7.4鏈式法則的重復使用 68
5.8擴展閱讀 71
第6章計算圖 72
6.1用計算圖描述神經網絡 72
6.2梯度計算 73
6.3動手實踐：深度學習框架 77
6.3.1利用PyTorch實現前向和反向計算 77
6.3.2循環訓練 79
6.3.3批訓練 80
6.3.4優化器 81
第7章神經語言模型 83
7.1前饋神經語言模型 83
7.1.1表征單詞 84
7.1.2神經網絡架構 85
7.1.3訓練 86
7.2詞嵌入 86
7.3噪聲對比估計 88
7.4循環神經語言模型 89
7.5長短時記憶模型 91
7.6門控 93
7.7深度模型 94
7.8動手實踐：PyTorch中的神經語言模型 96
7.8.1循環神經網絡 96
7.8.2文本處理 97
7.8.3循環訓練 98
7.8.4建議 99
7.9擴展閱讀 100
第8章神經翻譯模型 101
8.1編碼器–解碼器方法 101
8.2添加對齊模型 102
8.2.1編碼器 102
8.2.2解碼器 103
8.2.3注意力機制 104
8.3訓練 106
8.4深度模型 108
8.4.1解碼器 108
8.4.2編碼器 109
8.5動手實踐：利用PyTorch實現神經翻譯模型 110
8.5.1編碼器 111
8.5.2解碼器 111
8.5.3訓練 113
8.6擴展閱讀 115
第9章解碼 116
9.1柱搜索 116
9.2集成解碼 119
9.2.1生成候選繫統 120
9.2.2融合繫統輸出 120
9.3重排序 121
9.3.1利用從右到左解碼的重排序 121
9.3.2利用反向模型的重排序 122
9.3.3增加n-best列表的多樣性 122
9.3.4評分組件的權重學習 123
9.4優化解碼 126
9.5約束解碼 127
9.5.1XML模式 127
9.5.2網格搜索 127
9.5.3強制注意力 128
9.5.4評價 129
9.6動手實踐：Python中的解碼 129
9.6.1假設 129
9.6.2柱空間 129
9.6.3搜索 131
9.6.4輸出佳譯文 132
9.7擴展閱讀 133
第三部分提高
第10章機器學習技巧 138
10.1機器學習中的問題 138
10.2確保隨機性 140
10.2.1打亂訓練數據 141
10.2.2權重初始化 141
10.2.3標簽平滑 142
10.3調整學習率 142
10.3.1動量項 142
10.3.2調整每個參數的學習率 143
10.3.3批梯度更新 144
10.4避免局部優 145
10.4.1正則化 145
10.4.2課程學習 145
10.4.3drop-out法 146
10.5處理梯度消失和梯度爆炸問題 147
10.5.1梯度裁剪 147
10.5.2層歸一化 147
10.5.3捷徑連接和高速連接 148
10.5.4LSTM和梯度消失 149
10.6句子級優化 150
10.6.1小風險訓練 150
10.6.2生成對抗訓練 151
10.7擴展閱讀 152
第11章替代架構 155
11.1神經網絡組件 155
11.1.1前饋層 155
11.1.2因子分解 156
11.1.3基本的數學運算 157
11.1.4循環神經網絡 158
11.1.5卷積神經網絡 159
11.2注意力模型 160
11.2.1注意力計算 160
11.2.2多頭注意力 161
11.2.3細粒度注意力 162
11.2.4自注意力 162
11.3卷積機器翻譯模型 163
11.4融合注意力機制的卷積神經網絡 165
11.4.1編碼器 165
11.4.2解碼器 166
11.4.3注意力 167
11.5自注意力：Transformer 167
11.5.1自注意力層 167
11.5.2解碼器中的注意力 168
11.6擴展閱讀 171
第12章重溫單詞 173
12.1詞嵌入 173
12.1.1潛在語義分析 174
12.1.2連續詞袋模型 175
12.1.3Skip Gram 176
12.1.4GloVe 176
12.1.5ELMo 177
12.1.6BERT 178
12.2多語言詞嵌入 178
12.2.1特定語言詞嵌入之間的映射 179
12.2.2語言無關的詞嵌入 180
12.2.3僅使用單語數據 180
12.3大詞彙表 182
12.3.1低頻詞的特殊處理 182
12.3.2字節對編碼算法 183
12.3.3句子片段化算法 184
12.3.4期望大化訓練 185
12.3.5子詞正則化 185
12.4基於字符的模型 186
12.4.1字符序列模型 186
12.4.2基於字符的單詞表示模型 186
12.4.3集成基於字符的模型 188
12.5擴展閱讀 189
第13章領域自適應 195
13.1領域 195
13.1.1語料庫之間的差異 196
13.1.2多領域場景 197
13.1.3領域內與領域外 198
13.1.4自適應效應 198
13.1.5合理的警告 199
13.2混合模型 199
13.2.1數據插值 199
13.2.2模型插值 200
13.2.3領域感知訓練 201
13.2.4主題模型 202
13.3欠采樣 204
13.3.1Moore-Lewis：語言模型交叉熵 204
13.3.2基於覆蓋範圍的方法 205
13.3.3樣本加權 206
13.4微調 206
13.4.1約束更新 207
13.4.2文檔級自適應 208
13.4.3句子級自適應 209
13.4.4課程訓練 210
13.5擴展閱讀 210
第14章超越平行語料庫 214
14.1使用單語數據 215
14.1.1增加語言模型 215
14.1.2回譯 216
14.1.3迭代回譯 217
14.1.4往返訓練 217
14.2多種語言對 218
14.2.1多種輸入語言 219
14.2.2多種輸出語言 219
14.2.3共享模塊 220
14.3訓練相關任務 221
14.3.1預訓練詞嵌入 221
14.3.2預訓練編碼器和解碼器 221
14.3.3多任務訓練 222
14.4擴展閱讀 222
第15章語言學結構 228
15.1有指導的對齊訓練 228
15.2建模覆蓋度 230
15.2.1在推斷過程中約束覆蓋度 230
15.2.2覆蓋度模型 231
15.2.3繁衍率 232
15.2.4特征工程與機器學習 232
15.3添加語言學標注 233
15.3.1輸入句子的語言學標注 233
15.3.2輸出句子的語言學標注 234
15.3.3語言學結構化的模型 235
15.4擴展閱讀 236
第16章當前挑戰 238
16.1領域不匹配 238
16.2訓練數據規模 240
16.3稀有詞 241
16.4噪聲數據 243
16.4.1真實世界中的噪聲 243
16.4.2合成噪聲 245
16.4.3噪聲對翻譯質量的影響 246
16.5柱搜索 248
16.6詞對齊 250
16.7擴展閱讀 251
第17章分析與可視化 253
17.1錯誤分析 253
17.1.1神經機器翻譯的典型錯誤 253
17.1.2語言學錯誤類型 255
17.1.3真實世界中的研究案例 256
17.1.4目標測試集 257
17.1.5合成語言 259
17.2可視化 259
17.2.1詞嵌入 260
17.2.2編碼器狀態：詞義 261
17.2.3注意力機制 262
17.2.4多頭注意力機制 263
17.2.5語言模型預測中的記憶 264
17.2.6解碼器狀態 266
17.2.7柱搜索 266
17.3探測向量表示 267
17.3.1分類器方法 267
17.3.2實驗發現 268
17.4分 269
17.4.1認知理論 269
17.4.2個 269
17.4.3揭 271
17.5追溯模型決策過程 271
17.5.1層級間相關性傳遞 271
17.5.2相關性傳遞在機器翻譯中的應用 273
17.5.3顯著性計算 274
17.6擴展閱讀 275
參考文獻 279