"本書得到歐洲科學院外籍院士、清華大學人工智能研究院常務副院長孫茂松教授作序。創新工場首席科學家、微軟亞洲研究院原副院長、國際計算語言學會（ACL）主席周明，字節跳動人工智能實驗室總監李航，科大訊飛執行總裁胡郁老師傾力推薦。本書從基礎知識、預訓練詞向量、預訓練模型等幾大方面全面繫統地介紹了預訓練語言模型技術。書中為代表性的模型提供了規範的示例代碼及實踐案例。本書采用全彩印刷，提供良好的閱讀體驗。"

●推薦序III
推薦語IV
前言V
數學符號IX
第1章緒論1
1.1自然語言處理的概念2
1.2自然語言處理的難點2
1.2.1抽像性2
1.2.2組合性2
1.2.3歧義性3
1.2.4進化性3
1.2.5非規範性3
1.2.6主觀性3
1.2.7知識性3
1.2.8難移植性4
1.3自然語言處理任務體繫4
1.3.1任務層級4
1.3.2任務類別5
1.3.3研究對像與層次6
1.4自然語言處理技術發展歷史7
第2章自然語言處理基礎11
2.1文本的表示12
2.1.1詞的獨熱表示13
2.1.2詞的分布式表示13
2.1.3詞嵌入表示19
2.1.4文本的詞袋表示19
2.2自然語言處理任務20
2.2.1語言模型20
2.2.2自然語言處理基礎任務23
2.2.3自然語言處理應用任務31
2.3基本問題35
2.3.1文本分類問題35
2.3.2結構預測問題36
2.3.3序列到序列問題38
2.4評價指標40
2.5小結43
第3章基礎工具集與常用數據集45
3.1NLTK工具集46
3.1.1常用語料庫和詞典資源46
3.1.2常用自然語言處理工具集49
3.2LTP工具集51
3.2.1中文分詞51
3.2.2其他中文自然語言處理功能52
3.3PyTorch基礎.52
3.3.1張量的基本概念53
3.3.2張量的基本運算54
3.3.3自動微分57
3.3.4調整張量形狀58
3.3.5廣播機制59
3.3.6索引與切片60
3.3.7降維與升維60
3.4大規模預訓練數據61
3.4.1維基百科數據62
3.4.2原始數據的獲取62
3.4.3語料處理方法62
3.4.4CommonCrawl數據66
3.5更多數據集66
3.6小結68
第4章自然語言處理中的神經網絡基礎69
4.1多層感知器模型70
4.1.1感知器70
4.1.2線性回歸71
4.1.3Logistic回歸71
4.1.4Softmax回歸72
4.1.5多層感知器74
4.1.6模型實現76
4.2卷積神經網絡78
4.2.1模型結構78
4.2.2模型實現80
4.3循環神經網絡83
4.3.1模型結構83
4.3.2長短時記憶網絡85
4.3.3模型實現87
4.3.4基於循環神經網絡的序列到序列模型88
4.4注意力模型89
4.4.1注意力機制89
4.4.2自注意力模型90
4.4.3Transformer91
4.4.4基於Transformer的序列到序列模型93
4.4.5Transformer模型的優缺點94
4.4.6模型實現94
4.5神經網絡模型的訓練96
4.5.1損失函數96
4.5.2梯度下降98
4.6情感分類實戰101
4.6.1詞表映射101
4.6.2詞向量層102
4.6.3融入詞向量層的多層感知器103
4.6.4數據處理106
4.6.5多層感知器模型的訓練與測試108
4.6.6基於卷積神經網絡的情感分類109
4.6.7基於循環神經網絡的情感分類110
4.6.8基於Transformer的情感分類111
4.7詞性標注實戰113
4.7.1基於前饋神經網絡的詞性標注114
4.7.2基於循環神經網絡的詞性標注114
4.7.3基於Transformer的詞性標注116
4.8小結116
第5章靜態詞向量預訓練模型119
5.1神經網絡語言模型120
5.1.1預訓練任務120
5.1.2模型實現124
5.2Word2vec詞向量130
5.2.1概述130
5.2.2負采樣133
5.2.3模型實現134
5.3GloVe詞向量140
5.3.1概述140
5.3.2預訓練任務140
5.3.3參數估計140
5.3.4模型實現141
5.4評價與應用143
5.4.1詞義相關性144
5.4.2類比性146
5.4.3應用147
5.5小結148
第6章動態詞向量預訓練模型151
6.1詞向量――從靜態到動態152
6.2基於語言模型的動態詞向量預訓練153
6.2.1雙向語言模型153
6.2.2ELMo詞向量155
6.2.3模型實現156
6.2.4應用與評價169
6.3小結171
第7章預訓練語言模型173
7.1概述174
7.1.1大數據174
7.1.2大模型175
7.1.3大算力175
7.2GPT177
7.2.1無監督預訓練178
7.2.2有監督下遊任務精調179
7.2.3適配不同的下遊任務180
7.3BERT182
7.3.1整體結構182
7.3.2輸入表示183
7.3.3基本預訓練任務184
7.3.4更多預訓練任務190
7.3.5模型對比194
7.4預訓練語言模型的應用194
7.4.1概述194
7.4.2單句文本分類195
7.4.3句對文本分類198
7.4.4閱讀理解201
7.4.5序列標注206
7.5深入理解BERT211
7.5.1概述211
7.5.2自注意力可視化分析212
7.5.3探針實驗213
7.6小結215
第8章預訓練語言模型進階217
8.1模型優化218
8.1.1XLNet218
8.1.2RoBERTa223
8.1.3ALBERT227
8.1.4ELECTRA229
8.1.5MacBERT232
8.1.6模型對比234
8.2長文本處理234
8.2.1概述234
8.2.2Transformer-XL235
8.2.3Reformer238
8.2.4Longformer242
8.2.5BigBird243
8.2.6模型對比244
8.3模型蒸餾與壓縮244
8.3.1概述244
8.3.2DistilBERT246
8.3.3TinyBERT248
8.3.4MobileBERT250
8.3.5TextBrewer252
8.4生成模型257
8.4.1BART257
8.4.2UniLM260
8.4.3T5263
8.4.4GPT-3264
8.4.5可控文本生成265
8.5小結267
第9章多模態融合的預訓練模型269
9.1多語言融合270
9.1.1多語言BERT270
9.1.2跨語言預訓練語言模型272
9.1.3多語言預訓練語言模型的應用273
9.2多媒體融合274
9.2.1VideoBERT274
9.2.2VL-BERT275
9.2.3DALL·E275
9.2.4ALIGN276
9.3異構知識融合276
9.3.1融入知識的預訓練277
9.3.2多任務學習282
9.4更多模態的預訓練模型285
9.5小結285
參考文獻287
術語表295

自然語言處理被譽為“人工智能皇冠上的明珠”。深度學習等技術的引入為自然語言處理技術帶來了一場革命，尤其是近年來出現的基於預訓練模型的方法，已成為研究自然語言處理的新範式。本書在介紹自然語言處理、深度學習等基本概念的基礎上，重點介紹新的基於預訓練模型的自然語言處理技術。本書包括基礎知識、預訓練詞向量和預訓練模型三大部分：基礎知識部分介紹自然語言處理和深度學習的基礎知識和基本工具；預訓練詞向量部分介紹靜態詞向量和動態詞向量的預訓練方法及應用；預訓練模型部分介紹幾種典型的預訓練語言模型及應用，以及預訓練模型的近期新進展。除了理論知識，本書還有針對性地結合具體案例提供相應的PyTorch代碼實現，不僅能讓讀者對理論有更深刻的理解，還能快速地實現自然語言處理模型，達到理論和實踐的統一。本書既適合具有一定機器學習基礎的高等院校學生、研究機構的研究者，以及希望深入研究自然語言處理算法的計算機工程師閱讀，等