（1）作者背景資深：作者是資深AI技術專家，BAT高級算法工程師。（2）作者經驗豐富：作者在NLP、內容理解等領域有多年實踐經驗。（3）解決6大難題：為內容重復理解、內容通順度識別及糾正、內容質量、標簽體繫構建、文本摘要生成、文本糾錯6大內容理解難題提供基於NLP的解決方案。（4）結合業務場景：所有內容、技術、算法均從實際業務場景出發，從問題的角度拆解問題。（5）大量NLP算法：書中繫統講解了可用於內容理解的各種NLP算法的原理和使用。（6）包含大量案例：以實戰為導向，用案例貫穿全書。

●前言
第1章 文本特征表示 1
1.1 語料與語料預處理 1
1.1.1 語料和語料庫 1
1.1.2 語料預處理 2
1.2 文本特征表示方法 6
1.2.1 離散型特征表示方法 6
1.2.2 分布型特征表示方法 13
1.3 詞向量的評判標準 29
1.3.1 內部評估 29
1.3.2 外在評估 31
1.4 本章小結 34
第2章 內容重復理解 35
2.1 標題重復 35
2.1.1 標題符號規整化處理 36
2.1.2 Jieba分詞 39
2.1.3 LAC分詞 43
2.1.4 基於分詞及字符串等方式進行重復識別 45
2.2 段落重復識別實例 47
2.2.1 段落重復識別 47
2.2.2 基於N-gram算法進行內容去重 48
2.2.3 平滑處理技術 54
2.3 基於相似度計算的文章判重 57
2.3.1 文本相似度計算任務的分析 57
2.3.2 距離度量方式 58
2.3.3 基於SimHash算法進行文本重復檢測 62
2.4 本章小結 66
第3章 內容通順度識別及糾正 67
3.1 數據增強 67
3.2 基於FastText算法的句子通順度識別 73
3.2.1 CBOW模型 74
3.2.2 FastText算法原理 75
3.2.3 FastText算法實戰 81
3.3 基於TextCNN算法的分類任務實現 93
3.3.1 專有名詞簡介 93
3.3.2 算法介紹 94
3.3.3 參數調優經驗總結 96
3.3.4 基於Keras工具實現TextCNN算法 96
3.4 基於TextRNN算法的分類任務實現 98
3.4.1 LSTM和BiLSTM 98
3.4.2 TextCNN和TextRNN識別效果對比 105
3.5 基於Seq2Seq模型的糾正策略 106
3.5.1 Seq2Seq模型原理 106
3.5.2 糾正不通順句子的方法 108
3.6 本章小結 114
第4章 內容質量 116
4.1 GBDT算法 116
4.1.1 GBDT算法概述 117
4.1.2 負梯度擬合 117
4.1.3 GBDT回歸算法 118
4.1.4 GBDT分類算法 119
4.2 XGBoost算法 121
4.2.1 從GBDT到XGBoost 121
4.2.2 XGBoost損失函數 122
4.2.3 XGBoost損失函數的優化求解 124
4.2.4 XGBoost算法流程 125
4.2.5 XGBoost算法參數及調優 127
4.3 知識問答質量體繫的搭建 129
4.3.1 知識問答質量體繫建立的意義 130
4.3.2 整體的項目實施方案 130
4.3.3 知識問答質量體繫搭建流程 133
4.4 本章小結 142
第5章 標簽體繫構建 143
5.1 標簽體繫 143
5.1.1 標簽體繫的重要性 143
5.1.2 標簽體繫的分類 144
5.1.3 構建標簽體繫 146
5.2 TF-IDF算法 151
5.2.1 TF-IDF算法介紹 151
5.2.2 TF-IDF算法實現 152
5.3 PageRank算法 155
5.4 TextRank算法 163
5.4.1 TextRank算法的使用場景 164
5.4.2 TextRank算法的優缺點 168
5.5 本章小結 168
第6章  文本摘要生成 169
6.1 文本摘要相關介紹 169
6.1.1 文本摘要問題定義 169
6.1.2 文本摘要分類 170
6.1.3 文本摘要的技術和方法 170
6.2 基於無監督的抽取式文本摘要 172
6.2.1 基於經驗的文本摘要 173
6.2.2 基於主題模型的文本摘要 175
6.2.3 基於圖的文本摘要 182
6.2.4 基於特征評分的文本摘要 185
6.2.5 基於聚類的文本摘要 188
6.3 基於有監督的抽取式文本摘要 191
6.4 基於深度神經網絡的生成式文本摘要 201
6.5 文本摘要常用數據集 210
6.6 文本摘要評價方法 211
6.6.1 自動評價方法 211
6.6.2 人工評價方法 213
6.7 本章小結 213
第7章 文本糾錯 214
7.1 錯誤來源及類型 214
7.2 文本糾錯的3種傳統方法 215
7.2.1 模板匹配 215
7.2.2 編輯距離匹配 216
7.2.3 HANSpeller++框架 217
7.3 文本糾錯深度學習方法 220
7.3.1 英文文本糾錯方法 220
7.3.2 中文文本糾錯方法 224
7.4 工業界解決方法 233
7.4.1 3階段級聯的糾錯方案 234
7.4.2 符合多種場景的通用糾錯方案 236
7.4.3 保險文本的糾錯方案 237
7.5 文本糾錯工具 239
7.5.1 pycorrector 239
7.5.2 xmnlp 240
7.6 本章小結 242

這是一本講述如何用NLP技術進行文本內容理解的著作，也是一本繫統講解NLP算法的著作，是作者在NLP和內容理解領域多年經驗的總結。
本書結合內容理解的實際業務場景，繫統全面、循序漸進地講解了各種NLP算法以及如何用這些算法高效地解決內容理解方面的難題，主要包括如下幾個方面的內容：
（1）文本特征表示
文本特征表示是NLP的基石，也是內容理解的基礎環節，本書詳細講解了離散型表示方法和分布型表示方法等特征表示方法及其應用場景，還講解了詞向量的評判標準。
（2）內容重復理解
詳細講解了標題重復、段落重復、文章重復的識別方法和去重算法。
（3）內容通順度識別及糾正
詳細講解了內容通順度的識別方法以及糾正不通順內容的方法。
（4）內容質量
詳細講解了多種內容質量相關的算法，以及如何搭建高質量的等