●第1章緒論1
本章思維導圖1
1.1自然語言處理發展2
1.1.1什麼是自然語言處理?2
1.1.2自然語言處理的發展歷史2
1.2自然語言處理的難點5
1.3自然語言處理的發展階段和流派5
1.3.1理性主義方法階段和基於規則的專家繫統5
1.3.2經驗主義方法階段和基於統計的學習方法6
1.4自然語言處理的應用7
1.4.1文本方面7
1.4.2語音方面9
1.5利用深度學習進行自然語言處理10
1.5.1NLP中的深度學習10
1.5.2NLP中深度學習的局限性11
1.6全書內容安排12
本章參考文獻12
第2章自然語言處理基礎14
本章思維導圖14
2.1語料庫與語言知識庫15
2.1.1語料庫15
2.1.2語言知識庫17
2.2文本預處理18
2.2.1數據清洗18
2.2.2分詞處理19
2.2.3特征過濾21
2.3文本向量化表示23
2.3.1獨熱表示23
2.3.2詞袋表示24
2.3.3詞頻逆文檔頻率24
2.3.4Word2Vec模型25
2.4自然語言處理開源工具庫29
2.4.1自然語言處理工具包29
2.4.2斯坦福核心自然語言處理30
2.4.3自然語言處理工具包30
2.4.4復旦自然語言處理30
2.4.5漢語語言處理包30
本章小結31
思考題31
本章參考文獻32
第3章神經網絡和深度學習33
本章思維導圖33
3.1前饋神經網絡34
3.1.1基本前饋神經網絡35
3.1.2卷積神經網絡35
3.1.3注意力網絡37
3.2基本循環神經網絡39
3.2.1循環神經網絡的提出背景39
3.2.2基本循環神經網絡結構40
3.2.3循環神經網絡的訓練41
3.2.4基本循環神經網絡存在的問題42
3.3循環神經網絡的擴展結構42
3.3.1雙向循環神經網絡42
3.3.2深度循環神經網絡43
3.3.3長短時記憶網絡44
3.3.4門控47
3.3.5循環神經網絡的應用48
3.4深度學習概覽48
3.4.1激活函數48
3.4.2監督學習和數據集50
3.4.3損失函數51
3.4.4梯度下降和反向傳播算法51
3.4.5正則化53
本章小結53
思考題54
本章參考文獻54
第4章語言模型55
本章思維導圖55
4.1語言模型任務定義56
4.2從統計語言模型到神經網絡語言模型56
4.2.1統計語言模型56
4.2.2神經網絡語言模型57
4.3語言模型的評價指標59
4.4預訓練語言模型60
4.4.1什麼是預訓練語言模型60
4.4.2ELMo模型61
4.4.3BERT模型63
4.5語言模型的前沿技術與發展趨勢67
本章小結69
思考題69
本章參考文獻69
第5章分類任務71
第6章信息抽取91
第7章知識圖譜114
第8章機器翻譯146
……
本書著眼於自然語言處理的一些經典研究和前沿應用，重點介紹了深度學習在自然語言處理中的應用。全書共分為11章。第1章概述了自然語言處理的發展過程、難點及應用等。第2~10章從自然語言處理中的基本概念和基礎知識出發，逐步介紹了語言模型、分類任務、信息抽取、知識圖譜、機器翻譯、摘要生成、語言分析這幾種典型的基礎型和應用型研究任務的發展、算法原理和模型結構以及未來趨勢。第11章前瞻性地對時下熱門的研究方向進行了分析和討論。作者對於全書結構和內容都有精心設計，既涵蓋科普類知識，避免復雜的公式堆疊，用通俗直白的語言講解算法的設計思想，又配合有大量的技術性介紹和分析，包括如何利用主流的深度學習框架進行復現，實現了算法和應用的合理結合。本書的讀者對像既包括對該領域不甚了解的普通大眾，也包括高校相關專業在校學生以及從事相關領域研究的技術人員。
