●第1章自然語言生成的研究背景.1
1.1自然語言生成的背景概述.1
1.2基本定義與研究範疇.2
1.3自然語言生成與自然語言理解.3
1.4傳統的模塊化生成框架.4
1.5端到端的自然語言生成框架.7
1.6典型的自然語言生成任務.9
1.7自然語言生成的可控性.12
1.8本書結構.14
第2章從統計語言模型到神經網絡語言建模.15
2.1統計語言模型.15
2.1.1基本原理.15
2.1.2平滑技術.17
2.1.3語言模型評價.19
2.1.4統計語言模型的缺點.20
2.2神經網絡語言模型.21
2.2.1前饋神經網絡語言模型.21
2.2.2基於循環神經網絡的神經語言模型.24
2.2.3基於Transformer的神經語言模型.24
2.3靜態詞向量模型.26
2.3.1分布假設與分布式表示.26
2.3.2詞向量模型CBOW和Skip-gram.27
2.3.3詞向量模型訓練優化：負采樣.30
2.3.4詞向量模型訓練優化：層次化softmax.31
2.3.5靜態詞向量的缺陷.32
2.4語境化語言表示模型.33
2.4.1ELMo.34
2.4.2BERT.36
2.4.3XLNet.38
2.5本章小結.39
第3章基於RNN的語言生成模型.41
3.1RNN的基本原理.41
3.2RNN的訓練算法.42
3.3長短期記憶神經網絡與門控.45
3.4RNN的架構設計.47
3.4.1多層RNN.47
3.4.2雙向RNN.48
3.5基於RNN的語言模型.48
3.5.1模型結構.49
3.5.2主要問題.50
3.5.3模型改進.51
3.6序列到序列模型.52
3.6.1基本原理.52
3.6.2模型結構.53
3.6.3注意力機制.54
3.7解碼器的解碼方法.57
3.7.1基於搜索的解碼方法.59
3.7.2基於采樣的解碼方法.61
3.8序列到序列模型存在的問題.64
3.9本章小結.65
第4章基於Transformer的語言生成模型.66
4.1Transformer模型的基本原理.66
4.1.1多頭注意力機制.66
4.1.2Transformer.69
4.2基於Transformer的編碼器―解碼器結構.71
4.2.1基本原理.71
4.2.2位置編碼模塊.73
4.2.3Transformer編碼器.74
4.2.4Transformer解碼器.74
4.3Transformer模型與RNN模型的比較.77
4.4Transformer模型問題與解決方案.79
4.4.1長距離依賴問題.79
4.4.2運算復雜度問題.81
4.5基於Transformer的預訓練語言生成模型.85
4.5.1GPT模型.86
4.5.2GPT-2和GPT-3.88
4.5.3GPT模型的擴展.90
4.6本章小結.92
第5章基於變分自編碼器的語言生成模型.93
5.1自編碼器.93
5.2變分自編碼器.94
5.3條件變分自編碼器.98
5.4解碼器設計.100
5.5變分自編碼器在語言生成
任務上的應用實例.102
5.5.1含類別約束的條件變分自編碼器模型.102
5.5.2含隱變量序列的條件變分自編碼器模型.104
5.6主要問題及解決方案.107
5.6.1隱變量消失.107
5.6.2可解釋性增強.109
5.7本章小結.111
第6章基於生成式對抗網絡的語言生成模型.113
6.1生成式對抗網絡的背景.113
6.2生成式對抗網絡的基本原理.115
6.3生成式對抗網絡的基本結構.118
6.4生成式對抗網絡的優化問題.120
6.4.1使用強化學習方法訓練生成式對抗網絡.120
6.4.2使用近似方法訓練生成式對抗網絡.123
6.5生成式對抗模型在文本與圖像中的區別.126
6.6生成式對抗網絡的應用.128
6.6.1對話生成.128
6.6.2無監督的風格遷移.129
6.7本章小結.130
第7章非自回歸語言生成.131
7.1基本原理.131
7.1.1適用場景的問題定義.131
7.1.2自回歸模型和非自回歸模型.132
7.1.3模型結構.132
7.2非自回歸模型的挑戰.136
7.2.1一對多問題.136
7.2.2內部依賴問題.137
7.3非自回歸模型的改進.138
7.3.1網絡結構的改進.138
7.3.2模型理論的改進.139
7.3.3後處理的方法.142
7.3.4半自回歸方法.143
7.4應用與拓展.144
7.5本章小結.145
第8章融合規劃的自然語言生成.146
8.1數據到文本生成任務中的規劃.147
8.1.1數據到文本生成任務的定義.147
8.1.2傳統的模塊化方法.149
8.1.3神經網絡方法.150
8.2故事生成任務中的規劃.158
8.2.1故事生成任務的定義.158
8.2.2傳統方法.159
8.2.3神經網絡方法.160
8.3本章小結.163
第9章融合知識的自然語言生成.164
9.1引入知識的動機.164
9.2引入知識面臨的挑戰.165
9.3知識的編碼與表示.166
9.3.1結構化知識表示.167
9.3.2非結構化知識表示.170
9.4融合知識的解碼方法.172
9.4.1拷貝網絡.172
9.4.2生成式預訓練.174
9.5應用實例.175
9.5.1基於多跳常識推理的語言生成.175
9.5.2故事生成.180
9.6發展趨勢.185
9.6.1語言模型與知識的融合.185
9.6.2預訓練模型與知識的融合.186
9.7本章小結.189
第10章常見的自然語言生成任務和數據資源.190
10.1機器翻譯.190
10.1.1常規機器翻譯.190
10.1.2低資源機器翻譯.191
10.1.3無監督機器翻譯.192
10.2生成式文本摘要.192
10.2.1短文本摘要.192
10.2.2長文本摘要.193
10.2.3多文檔摘要.193
10.2.4跨語言文本摘要.193
10.2.5對話摘要.194
10.2.6細粒度文本摘要.195
10.3意義到文本生成.195
10.3.1抽像語義表示到文本生成.195
10.3.2邏輯表達式到文本生成.197
10.4數據到文本生成.197
10.5故事生成.200
10.5.1條件故事生成.200
10.5.2故事結局生成.201
10.5.3故事補全.202
10.5.4反事實故事生成.202
10.6對話生成.203
10.6.1常規對話生成.203
10.6.2知識導引的對話生成.204
10.6.3個性化對話生成.206
10.6.4情感對話生成.207
10.7多模態語言生成.208
10.7.1圖像描述生成.208
10.7.2視頻描述生成.208
10.7.3視覺故事生成.210
10.7.4視覺對話.210
10.8無約束語言生成.211
10.9本章小結.213
第11章自然語言生成的評價方法.214
11.1語言生成評價的角度.215
11.2人工評價.216
11.2.1人工評價的分類.216
11.2.2標注一致性.217
11.2.3人工評價的問題與挑戰.219
11.3自動評價.220
11.3.1無需學習的自動評價方法.222
11.3.2可學習的自動評價方法.228
11.4自動評價與人工評價的結合.236
11.5自動評價與人工評價的統計相關性.238
11.5.1Pearson相關繫數.238
11.5.2Spearman相關繫數.239
11.5.3Kendall相關繫數.239
11.5.4相關繫數的顯著性.240
11.6本章小結.240
第12章自然語言生成的趨勢展望.242
12.1現狀分析.242
12.2趨勢展望.245
參考文獻.249

本書總結了以神經網絡為代表的現代自然語言生成的基本思想、模型和框架。本書共12章，首先介紹了自然語言生成的研究背景、從統計語言模型到神經網絡語言建模的過程，以及自然語言建模的思想與技術演化過程；其次從基礎模型角度介紹了基於循環神經網絡、基於Transformer 的語言生成模型，從優化方法角度介紹了基於變分自編碼器、基於生成式對抗網絡的語言生成模型，從生成方式角度介紹了非自回歸語言生成的基本模型和框架；然後介紹了融合規劃的自然語言生成、融合知識的自然語言生成、常見的自然語言生成任務和數據資源，以及自然語言生成的評價方法；最後總結了本書的寫作思路及對自然語言生成領域未來發展趨勢的展望。本書可作為高等院校計算機科學與技術、人工智能、大數據等相關專業高年級本科生、研究生相關課程的教材，也適合從事自然語言處理研究、應用實踐的科研人員和工程技術人員參考。