目 錄
第1章 深度學習與自然語言處理概述1
1.1 自然語言處理簡史 2
1.1.1 自然語言處理能做什麼 2
1.1.2 自然語言處理的發展史 4
1.2 深度學習的興起 6
1.2.1 從機器學習到深度學習 6
1.2.2 深度學習框架 16
1.2.3 TensorFlow 2程序樣例 19
第2章 詞向量的前世今生 21
2.1 文本預處理的流程 22
2.2 前深度學習時代的詞向量 23
2.2.1 獨熱向量 23
2.2.2 分布式表示 24
2.3 深度學習時代的詞向量 26
2.3.1 詞向量的分類 26
2.3.2 可視化詞向量 27
2.3.3 詞向量在下遊任務中的使用 29
2.4 Word2vec數學原理 30
2.4.1 語言模型及其評價 30
2.4.2 神經網絡概率語言模型 32
2.4.3 Word2vec原理 33
2.5 用TensorFlow實現Word2vec 38
2.5.1 數據準備 38
2.5.2 模型構建及訓練 40
2.5.3 詞向量評估與Gensim實踐 41
第3章 循環神經網絡之一： 輸入和輸出 45
3.1 循環神經網絡的輸入和輸出 46
3.1.1 循環神經網絡的狀態與輸出 46
3.1.2 輸入和輸出一一對應 48
3.1.3 一對多和多對一 49
3.1.4 任意長度的輸入和輸出 50
3.2 區分RNN和RNNCell 51
3.2.1 基類Layer 52
3.2.2 RNNCell接口 53
3.2.3 RNN接口 54
3.3 簡單循環神經網絡實例 54
3.4 三種常見的RNN 56
3.4.1 SimpleRNN 57
3.4.2 LSTM 58
3.4.3 GRU 61
3.5 雙向和多層RNN 63
3.5.1 雙向RNN 63
3.5.2 單向多層RNN 65
3.5.3 雙向多層RNN 67
第 4 章 循環神經網絡之二：高級 71
4.1 在RNN中使用Dropout 71
4.1.1 全連接層中的Dropout 71
4.1.2 RNN中的Dropout 73
4.2 RNN中的梯度流動 75
4.2.1 時序反向傳播算法 75
4.2.2 LSTM的梯度流 79
4.3 RNN中的歸一化方法 83
4.3.1 批歸一化 84
4.3.2 層歸一化 87
第 5 章 循環神經網絡之三： 實戰技巧 92
5.1 序列分類 92
5.1.1 MNIST數字圖像分類 92
5.1.2 變長序列處理與情感分析 94
5.2 超長序列的處理 100
5.2.1 狀態傳遞與數據準備 101
5.2.2 字符級語言模型 104
5.3 序列標注和條件隨機場 110
5.3.1 IOB格式 110
5.3.2 CONLL2003命名實體識別 111
5.3.3 條件隨機場 115
5.4 中間層輸出的提取 119
第 6 章 序列到序列問題 127
6.1 序列到序列問題概述 127
6.1.1 序列到序列問題的兩個代表 127
6.1.2 三種序列到序列模型 128
6.2 CTC 130
6.2.1 CTC 模型結構 131
6.2.2 長短序列的轉換 132
6.2.3 計算標簽序列的概率 133
6.2.4 CTC 的推斷算法 136
6.2.5 CTC的缺陷 139
6.2.6 TensorFlow中的CTC 139
6.3 Transducer 141
6.3.1 Transducer模型結構 141
6.3.2 Transducer的對齊網格 142
6.3.3 Transducer的訓練算法 144
6.3.4 Transducer模型的推斷 145
6.3.5 Transducer的貪心解碼算法 145
6.3.6 Transducer的集束搜索解碼算法 146
6.4 編碼器-解碼器架構 148
6.4.1 編碼器-解碼器架構簡介 149
6.4.2 編碼器-解碼器架構代碼示例 151
6.4.3 編碼器-解碼器架構的其他應用 153
6.5 文本生成問題的數據處理流程 153
第 7 章 注意力機制 157
7.1 編碼器-解碼器-注意力架構概述 157
7.2 兩種注意力機制的具體實現 160
7.2.1 加性注意力 160
7.2.2 乘性注意力 161
7.2.3 對注意力機制的理解 163
7.3 TensorFlow中的注意力機制 164
7.3.1 熟悉 tfa.seq2seq164
7.3.2 注意力模塊的引入 171
7.4 注意力機制的其他應用 179
第 8 章 超越序列表示：樹和圖   181
8.1 自然語言中的樹結構   181
8.2 遞歸神經網絡：TreeLSTM   183
8.2.1 遞歸神經網絡簡介   183
8.2.2 TreeLSTM 兩例   185
8.2.樹形LSTM的TensorFlow實現  187
8.3 樹形 LSTM 的其他問題   189
8.3.1 樹形遞歸   189
8.3.2 動態批處理   191
8.3.3 結構反向傳播算法   191
8.3.4 樹形 LSTM 的必要性  192
8.4 圖與自然語言處理  193
8.4.1 LSTM 的其他拓展  193
8.4.2 圖神經網絡的應用  195
第 9 章 卷積神經網絡   199
9.1 離散卷積的定義  200
9.1.1 卷積的維度  200
9.1.2 卷積的參數  202
9.2 卷積神經網絡的兩個實例  204
9.2.1 文本分類與 TextCNN  205
9.2.2 語音合成與 WaveNet  208
第10章 Transformer   219
10.1 Transformer 模型結構介紹  220
10.1.1 注意力層  222
10.1.2 前饋神經網絡層  227
10.1.3 殘差連接與層歸一化  228
10.1.4 位置信息的引入  229
10.1.5 Transformer 整體結構  232
10.2 Transformer：實現與思考  233
10.2.1 從零實現 Transformer  233
10.2.2 訓練和推斷  244
10.2.3 關於Transformer模塊的反思  249
10.3 Transformer 模型的拓展  253
10.3.1 平方復雜度與顯存優化  253
10.3.2 圖靈完備性與歸納偏置  258
10.3.3 非自回歸模型  259
10.4 Transformer與其他模型的聯繫   261
第11章 預訓練語言模型   263
11.1 預訓練語言模型發展簡史  264
11.2 GPT  266
11.2.1 語言模型 精調解決一切問題  266
11.2.2 GPT-2 和 GPT-3：大力出奇跡  270
11.2.3 GPT繫列全回顧  276
11.3 BERT  277
11.3.1 為什麼 GPT 和 ELMo 還不夠好  277
11.3.2 無監督語料知識提取方案  278
11.3.3 在下遊任務上精調 BERT  282
11.3.4 BERT 改進方案  284
11.4 後預訓練時代  287
第12章 其他復雜模型   289
12.1 生成對抗網絡  289
12.1.1 生成對抗網絡簡介  289
12.1.2 生成對抗網絡與無監督機器翻譯  293
12.2 強化學習  300
12.2.1 強化學習基本概念  300
12.2.2 策略梯度和 REINFORCE 算法  303
12.2.3 強化學習與文本生成  305
12.3 流模型  309
12.3.1 歸一化流簡介   310
12.3.2 逆自回歸流與並行 WaveNet   312
參考文獻   316
附錄一 插圖   334
附錄二 算法   337
附錄三 術語表   338

前 言
2018年3月，出版社編輯在知乎上私信我，邀請我撰寫一部技術開發方面的書籍。我本
人確實是一個喜歡分享的人，也曾在網上寫過不少博客和文章，但還從來沒有想到過有一天我會出書。關於我所研究的領域—自然語言處理和機器學習—市面上已經有了無數經典教材，我實在想不到有什麼必要再寫一本相同題材的書籍。
然而，自然語言處理技術的發展一日千裡，BERT和GPT等模型相繼出世，自然語言處理的範式也從設計專一任務的模型逐漸轉變為使用單一的大模型解決各種下遊任務。再想到自己以前初學自然語言處理時翻遍Stack Overflow和GitHub纔最終找到答案的那些困惑，我終於找到了編寫本書的理由：
· 這是一本偏重實踐細節的書。循環神經網絡的輸入到底是什麼格式？狀態和輸出的區
別是什麼？各條樣本長度不一時怎麼處理？雙向循環神經網絡裡，前向和後向的信息
是怎麼流通和融合的？這些我在初學時花了很久纔搞明白、後來也在網絡上給無數人
解答過的問題，本書中都會講到。本書既會講解使用TensorFlow 2 實現經典模型的技
巧和最佳實踐，也會談論TensorFlow 庫代碼的設計。在讀完本書後，相信讀者能夠
得心應手地實現絕大部分自然語言處理領域的深度學習模型。
· 這是一本展現領域全貌的書。深度學習這個領域發展得太快，想在一本書裡包羅萬像
幾乎是不可能的。盡管如此，本書仍然試圖囊括絕大多數知識點，盡量拓展讀者的視
野。循環神經網絡和 Transformer 這樣的主流模型自然是重中之重，然而生成對抗網
絡這樣尚不成熟的模型，或是遞歸神經網絡這樣已經有些過氣的模型本書也有涉獵。
本書內容以自然語言處理領域的模型為主，但也包含少量其他領域或交叉領域（如語
音識別等）的模型。
本書的目錄是按照模型結構進行組織的。第1章簡要介紹自然語言處理和深度學習的歷史；第2章主要介紹Word2vec詞向量學習算法；第3~5章詳細講解循環神經網絡的方方面面；從第6章開始本書進入一些高級專題，其中第6章介紹序列到序列問題的三種解決方案，第7章引入常用的注意力機制，第8章則介紹遞歸神經網絡乃至圖神經網絡的相關拓展，第9章介紹卷積神經網絡和WaveNet，這一章相對獨立，第10章鋪墊介紹Transformer模型的基礎知識，第11章涉及當下最流行的預訓練語言模型BERT和GPT，第12章介紹一些不算特別主流但有益於拓寬讀者視野的知識，例如生成對抗網絡、強化學習和流模型等。需要提醒的是，本書不是一本讓初學者了解機器學習或者自然語言處理的書籍。本書假定讀者已經對神經網絡和自然語言處理有了一定的了解，隻不過想要進一步學習代碼實踐細節或是拓寬自己的知識面。
本書的目標讀者為自然語言處理相關專業的學生或者算法研究人員。讀者既可以按順序從前到後閱讀，也可以挑選自己感興趣的部分重點閱讀。每一章都給出了大量參考文獻，為讀者進一步學習相關知識提供了方向。
本書提供的PPT與源代碼可通過掃描下面二維碼獲取：
PPT 源代碼
如果下載有問題，請發送電子郵件至booksaga@126.com，郵件主題為“深度序列模型與自然語言處理：基於TensorFlow 2實踐”。
感謝我的妻子和其他家人一直以來對我的包容、理解和支持。感謝所有在本書寫作和出版過程中給予幫助的人們。
由於筆者水平有限，書中難免存在疏漏之處，歡迎各位讀者和同仁批評指正。筆者願積極與讀者交流、共同探討，讓真理越辯越明。
筆 者
2023年2月