"√梳理預訓練語言模型的發展歷史、基本概念√剖析具有代表性的預訓練語言模型的實現細節，配代碼√預訓練語言模型的評測、應用及趨勢分析"

●第 1 章預訓練語言模型簡介11.1自然語言處理研究進展11.2預訓練語言模型：為什麼要預訓練41.2.1預訓練41.2.2自然語言表示51.2.3預訓練語言模型發展史及分類8第 2 章預訓練語言模型基礎知識132.1統計語言模型142.2神經網絡語言模型172.3詞向量：解決相似單詞的距離問題192.4RNN 和 LSTM 基礎252.5基於 RNN 的語言模型292.6ELMo：解決多義詞的表示問題32第 3 章Transformer 與 Attention373.1Transformer 的結構373.2Self-Attention：從全局中找到重點433.3位置編碼：為什麼有效543.4單向掩碼：另一種掩碼機制583.5代碼解讀：模型訓練技巧613.5.1訓練技巧 1：歸一化層前置623.5.2訓練技巧 2：梯度累積64第 4 章GPT 繫列模型694.1GPT 的結構：基於 Transformer Decoder694.2GPT 任務改寫：如何在不同任務中使用 GPT714.3GPT 核心代碼解讀744.4GPT-2：Zero-shot Learning 的潛力794.4.1N-shot Learning794.4.2核心思想804.4.3模型結構814.5GPT-3：Few-shot Learning 的優秀表現824.5.1看詞造句844.5.2語法糾錯844.5.3GPT-3 的爭議85第 5 章BERT 模型875.1BERT：公認的裡程碑875.2BERT 的結構：強大的特征提取能力885.3無監督訓練：掩碼語言模型和下句預測915.3.1MLM915.3.2NSP935.3.3輸入表示945.4微調訓練：適應下遊任務955.4.1句對分類955.4.2單句分類965.4.3文本問答975.4.4單句標注995.5核心代碼解讀：預訓練和微調1005.5.1BERT 預訓練模型1015.5.2BERT 微調模型1105.6BERT 總結117第 6 章後 BERT 時代的模型1196.1XLM：跨語言模型1196.1.1優化方向1196.1.2算法細節1206.1.3 小結1216.2MT-DNN：多任務融合1216.2.1優化方向1216.2.2算法細節1226.2.3 小結1246.3UniLM：獲得文本生成能力1246.3.1優化方向1246.3.2算法細節1256.3.3 小結1276.4SpanBERT：擴大掩碼範圍1276.4.1優化方向1276.4.2算法細節1286.4.3 小結1296.5XLNet：置換自回歸1306.5.1優化方向1306.5.2算法細節1306.5.3 小結1356.6ERNIE：知識圖譜1366.6.1優化方向1366.6.2算法細節1366.6.3 小結1396.7VideoBERT：多模態融合1396.7.1優化方向1396.7.2算法細節1406.7.3 小結1416.8ALBERT：參數共享1426.8.1優化方向1426.8.2算法細節1436.8.3 小結1456.9RoBERTa：更大的模型1456.9.1優化方向1456.9.2算法細節1466.9.3 小結1466.10BART：編解碼結構1466.10.1優化方向1466.10.2算法細節1476.10.3 小結1496.11T5：大一統模型1496.11.1優化方向1496.11.2算法細節1506.11.3 小結1536.12 總結154第 7 章評測和應用1577.1評測任務1577.1.1通用評測任務1577.1.2領域評測任務1627.1.3其他評測任務1677.2模型應用：Transformers 代碼實戰1687.2.1 安裝1687.2.2快速上手指南1707.2.3微調訓練1727.2.4BERT 應用1757.3模型壓縮：量化、剪枝和蒸餾1797.3.1BERT 模型分析1797.3.2 量化1817.3.3 剪枝1817.3.4 蒸餾1827.3.5 結構無損壓縮1877.4模型擴展：多模態預訓練1887.4.1單流模型1897.4.2雙流模型191第 8 章總結和展望1958.1預訓練語言模型的發展現狀1958.2預訓練語言模型的未來展望199參考文獻203

預訓練語言模型屬於人工智能領域中自然語言處理領域的一個細分。 本書主要介紹預訓練語言模型。預訓練語言模型是自然語言處理領域的重要突破，得到了越來越廣泛的關注，相關研究者和從業人員在實際應用的過程中，亟需一本理論翔實、代碼細節充分的參考書。本書詳細梳理了預訓練語言模型的基本概念和理論基礎，並通過實際代碼的講解， 闡述了具有代表性的預訓練語言模型的實現細節，非常適合需要快速、全面掌握預訓練語言模型的從業者閱讀。

邵浩 著