目錄
第 1章 導論 1
1.1 自然語言處理概述 1
1.1.1 發展歷程 1
1.1.2 研究任務 3
1.1.3 自然語言處理與新聞傳媒 5
1.2 自然語言處理工具 11
1.2.1 常見的自然語言處理工具 12
1.2.2 Python與自然語言處理 14
1.3 NLP的開發環境 14
1.3.1 Anaconda安裝 14
1.3.2 Anaconda應用介紹 15
小結 22
課後習題 22
第 2章 文本數據爬取 24
2.1 HTTP通信基礎 24
2.1.1 熟悉HTTP請求方法與過程 24
2.1.2 熟悉常見HTTP狀態碼 27
2.1.3 熟悉HTTP頭部信息 28
2.1.4 熟悉Cookie 29
2.2 靜態網頁爬取 31
2.2.1 實現HTTP請求 32
2.2.2 網頁解析 35
2.2.3 數據存儲 42
2.3 動態網頁爬取 44
2.3.1 逆向分析爬取 45
2.3.2 使用Selenium庫爬取 50
小結 58
課後習題 59
第3章 文本基礎處理 61
3.1 語料庫 61
3.1.1 語料庫概述 61
3.1.2 語料庫種類與原則 63
3.1.3 NLTK庫 65
3.1.4 語料庫的獲取 68
3.1.5 語料庫的構建與應用 70
3.2 分詞與詞性標注 74
3.2.1 中文分詞簡介 74
3.2.2 基於規則的分詞 74
3.2.3 基於統計的分詞 76
3.2.4 中文分詞工具jieba庫 79
3.2.5 詞性標注簡介 80
3.2.6 詞性標注規範 81
3.2.7 jieba詞性標注 82
3.3 命名實體識別 85
3.3.1 命名實體識別簡介 86
3.3.2 CRF模型 87
3.3.3 命名實體識別流程 87
3.4 關鍵詞提取 91
3.4.1 關鍵詞提取技術簡介 91
3.4.2 關鍵詞提取算法 92
3.4.3 自動提取文本關鍵詞 93
小結 97
課後習題 97
第4章 文本進階處理 99
4.1 文本向量化 99
4.1.1 文本向量化簡介 99
4.1.2 文本離散表示 100
4.1.3 分布式表示 102
4.1.4 Word2Vec詞向量的訓練 106
4.2 文本相似度計算 108
4.2.1 文本相似度的定義 108
4.2.2 文本的表示 108
4.2.3 常用文本相似度算法 111
4.3 文本分類與聚類 117
4.3.1 文本挖掘簡介 117
4.3.2 文本分類常用算法 118
4.3.3 文本聚類常用算法 120
4.3.4 文本分類與聚類的步驟 121
4.3.5 新聞文本分類 122
4.3.6 新聞文本聚類 130
小結 135
課後習題 136
第5章 天問一號事件中的網民評論情感分析 137
5.1 業務背景與項目目標 137
5.1.1 業務背景 138
5.1.2 數據說明 138
5.1.3 分析目標 139
5.2 分析方法與過程 140
5.2.1 數據探索 140
5.2.2 文本預處理 145
5.2.3 繪制詞雲圖 149
5.2.4 使用樸素貝葉斯構建情感分析模型 154
5.2.5 模型評估 160
5.2.6 模型優化 162
小結 167
課後習題 167
第6章 新聞文本分類 172
6.1 業務背景與項目目標 172
6.1.1 業務背景 172
6.1.2 數據說明 173
6.1.3 分析目標 173
6.2 分析方法與過程 174
6.2.1 數據采集 174
6.2.2 數據探索 175
6.2.3 文本預處理 181
6.2.4 SVM模型構建 185
6.2.5 模型評價 189
小結 191
課後習題 191
第7章 基於瀏覽記錄的個性化新聞推薦 193
7.1 業務背景與項目目標 193
7.1.1 業務背景 194
7.1.2 數據說明 194
7.1.3 分析目標 195
7.2 分析方法與過程 196
7.2.1 數據探索 196
7.2.2 數據預處理 201
7.2.3 模型構建 202
7.2.4 模型評估 209
小結 210
課後習題 211
第8章 基於TipDM數據挖掘建模平臺實現新聞文本分類 212
8.1 平臺簡介 212
8.1.1 實訓庫 213
8.1.2 數據連接 214
8.1.3 實訓數據 215
8.1.4 繫統算法 217
8.1.5 個人算法 219
8.2 實現新聞文本分類 220
8.2.1 數據源配置 221
8.2.2 文本預處理 223
8.2.3 支持向量機模型 231
小結 233
課後習題 233