第1章緒論
1.1自然語言處理方法概述
1.2本書的內容組織
1.3本書的實踐平臺
1.3.1本地運行
1.3.2AI Studio星河社區運行
1.3.3本書使用的API
1.3.4本書使用的數據集
第2章神經網絡基礎
2.1概述
2.與感知機
2.2.
2.2.2感知機
2.2.3常見的激活函數
2.3前饋神經網絡
2.4卷積神經網絡
2.4.1卷積
2.4.2池化
2.4.3卷積神經網絡
2.5循環神經網絡
2.5.1簡單循環神經網絡
2.5.2長短時記憶網絡
2.5.3門控
2.5.4循環神經網絡拓展知識
第3章分布式表示
3.1詞的分布式表示
3.1.1靜態詞向量
3.1.2動態詞向量
3.2短語的分布式表示
3.3句子的分布式表示
3.3.1基於循環神經網絡的表示方法
3.3.2基於預訓練語言模型的表示方法
第4章序列生成模型
4.1基於循環神經網絡的Seq2Seq模型
4.1.1基於RNN的Seq2Seq模型原理
4.1.2解碼策略
4.2融合注意力機制的Seq2Seq模型
4.3基於Transformer的Seq2Seq模型
4.3.1自注意力模型
4.3.2Transformer的網絡結構
4.3.3Transformer編碼器
4.3.4Transformer解碼器
4.3.5知識延伸: 基於Transformer結構的模型
第5章基礎語言模型
5.1統計語言模型
5.1.1模型定義
5.1.2數據平滑方法
5.1.3語言模型評價
5.2神經網絡語言模型
5.2.1前饋神經網絡語言模型
5.2.2循環神經網絡語言模型
5.2.3語言模型與詞向量
第6章預訓練大模型
6.1GPT語言模型
6.1.1GPT模型預訓練
6.1.2GPT在下遊任務中的應用
6.2BERT語言模型
6.2.1BERT模型的預訓練任務
6.2.2BERT在下遊任務中的應用
6.3ERNIE 語言模型
6.4預訓練大模型
6.4.1基礎大模型
6.4.2指令微調
6.4.3基於人類反饋的強化學習
第7章詞語切分
7.1基於BERT實現中文分詞
7.1.1任務目標
7.1.2實現思路及流程
7.1.3數據處理
7.1.4模型構建
7.1.5訓練配置
7.1.6模型訓練
7.1.7模型評估
7.1.8模型預測
7.2基於BPE算法實現子詞切分
7.2.1任務目標
7.2.2實現思路及流程
7.2.3構建BPE詞表
7.2.4文本子詞切分
7.2.5語料還原
7.3實驗思考
第8章文本情感分類方法實踐
8.1基於LSTM模型的情感分類方法
8.1.1任務目標
8.1.2實現思路及流程
8.1.3數據處理
8.1.4模型構建
8.1.5訓練配置
8.1.6模型訓練
8.1.7模型評估
8.1.8模型預測
8.2基於BERT模型實現情感分類
8.2.1數據處理
8.2.2模型構建
8.2.3訓練配置
8.2.4模型訓練
8.2.5模型評估
8.2.6模型預測
8.3基於BERT的屬性級情感分類
8.3.1任務目標
8.3.2實現思路及流程
8.3.3屬性和觀點抽取
8.3.4屬性級情感分類
8.3.5全流程模型推理
8.4實驗思考
第9章信息抽取實踐
9.1基於Bi-LSTM和CRF的命名實體識別方法
9.1.1任務目標和實現流程
9.1.2數據處理
9.1.3模型構建
9.1.4訓練配置
9.1.5模型訓練
9.1.6模型評估
9.1.7模型預測
9.2基於ERNIE-UIE實現實體關繫抽取
9.2.1任務目標和實現流程
9.2.2數據處理
9.2.3模型構建
9.2.4訓練配置
9.2.5模型訓練
9.2.6模型評估
9.2.7模型預測
9.3實驗思考
第10章文本語義匹配實踐
10.1基於SimNet的文本語義匹配
10.1.1任務目標和實現流程
10.1.2數據處理
10.1.3模型構建
10.1.4訓練配置
10.1.5模型訓練
10.1.6模型評估
10.1.7模型預測
10.2基於RocketQA的文本語義匹配
10.2.1任務目標和實現流程
10.2.2數據處理
10.2.3模型構建
10.2.4訓練配置
10.2.5模型訓練
10.2.6模型評估
10.2.7模型預測
10.3實驗思考
第11章基於PEGASUS的中文文本摘要實踐
11.1任務目標和實現流程
11.2數據處理
11.2.1數據集確定
11.2.2數據加載
11.2.3將數據轉換成特征形式
11.2.4構造DataLoader
11.3模型構建
11.4訓練配置
11.4.1BLEU算法
11.4.2ROUGE算法
11.5模型訓練
11.6模型評估
11.7模型預測
11.8實驗思考
第12章基於ERNIE 3.0實現意圖識別
12.1任務目標和實現流程
12.2數據處理
12.2.1數據集確定
12.2.2數據加載
12.2.3將數據轉換成特征形式
12.2.4構造DataLoader
12.3模型構建
12.4訓練配置
12.5模型訓練
12.6模型評估
12.7模型預測
12.8實驗思考
第13章機器閱讀理解實踐
13.1任務目標
13.2實現流程
13.3數據處理
13.3.1數據集確定
13.3.2數據加載
13.3.3將數據轉換成特征形式
13.3.4構造DataLoader
13.4模型構建
13.5訓練配置
13.6模型訓練
13.7模型評估
13.8模型預測
13.9實驗思考
第14章機器翻譯實踐
14.1任務目標和實現流程
14.2數據處理
14.2.1數據集確定
14.2.2數據加載
14.2.3將數據轉換成特征形式
14.2.4構建DataLoader
14.2.5後處理
14.3模型構建
14.3.1嵌入層的代碼實現
14.3.2組裝Transformer模型
14.4訓練配置
14.5模型訓練
14.6模型評估
14.6.1數據讀取
14.6.2權重加載
14.6.3模型評估
14.7模型預測
14.8實驗思考
第15章基於大模型的自動問答實踐
15.1任務目標和設計方案
15.2通過飛槳零代碼開發工具實現
15.3通過PaddleNLP實現
15.3.1代碼實現邏輯
15.3.2配置大模型
15.3.3配置向量檢索模型
15.3.4定義document store
15.3.5構建文檔索引
15.3.6構建問答應用
15.3.7(可選)在線推理部署
15.4實驗思考
附錄 術語與縮略語
參考文獻