工具集基礎用例演示篇
第1章  HuggingFace簡介 3
第2章  使用編碼工具 6
2.1  編碼工具簡介 6
2.2  編碼工具工作流示意 6
2.3  使用編碼工具 8
2.4  小結 15
第3章  使用數據集工具 16
3.1  數據集工具介紹 16
3.2  使用數據集工具 17
3.2.1  數據集加載和保存 17
3.2.2  數據集基本操作 19
3.2.3  將數據集保存為其他格式 24
3.3  小結 25
第4章  使用評價指標工具 26
4.1  評價指標工具介紹 26
4.2  使用評價指標工具 26
4.3  小結 27
第5章  使用管道工具 28
5.1  管道工具介紹 28
5.2  使用管道工具 28
5.2.1  常見任務演示 28
5.2.2  替換模型執行任務 34
5.3  小結 35
第6章  使用訓練工具 36
6.1  訓練工具介紹 36
6.2  使用訓練工具 36
6.2.1  準備數據集 36
6.2.2  定義模型和訓練工具 39
6.2.3  訓練和測試 43
6.3  小結 47
中文項目實戰篇 
第7章  實戰任務1：中文情感分類 51
7.1  任務簡介 51
7.2  數據集介紹 51
7.3  模型架構 52
7.4  實現代碼 53
7.4.1  準備數據集 53
7.4.2  定義模型 58
7.4.3  訓練和測試 60
7.5  小結 64
第8章  實戰任務2：中文填空 65
8.1  任務簡介 65
8.2  數據集介紹 65
8.3  模型架構 66
8.4  實現代碼 67
8.4.1  準備數據集 67
8.4.2  定義模型 73
8.4.3  訓練和測試 76
8.5  小結 79
第9章  實戰任務3：中文句子關繫推斷 81
9.1  任務簡介 81
9.2  數據集介紹 81
9.3  模型架構 82
9.4  實現代碼 83
9.4.1  準備數據集 83
9.4.2  定義模型 88
9.4.3  訓練和測試 90
9.5  小結 92
第10章  實戰任務4：中文命名實體識別 93
10.1  任務簡介 93
10.2  數據集介紹 93
10.3  模型架構 95
10.4  實現代碼 96
10.4.1  準備數據集 96
10.4.2  定義模型 102
10.4.3  訓練和測試 105
10.5  小結 115
第11章  使用TensorFlow訓練 116
11.1  任務簡介 116
11.2  數據集介紹 116
11.3  模型架構 116
11.4  實現代碼 117
11.4.1  準備數據集 117
11.4.2  定義模型 121
11.4.3  訓練和測試 123
11.5  小結 132
第12章  使用自動模型 133
12.1  任務簡介 133
12.2  數據集介紹 134
12.3  模型架構 134
12.4  實現代碼 135
12.4.1  準備數據集 135
12.4.2  加載自動模型 137
12.4.3  訓練和測試 138
12.5  深入自動模型源代碼 141
12.6  小結 147

預訓練模型底層原理篇
第13章  手動實現Transformer 151
13.1  Transformer架構 151
13.2  注意力 152
13.2.1  為什麼需要注意力 152
13.2.2  注意力的計算過程 153
13.2.3  注意力計算的矩陣形式 155
13.2.4  多頭注意力 156
13.3  位置編碼 157
13.3.1  為什麼需要位置編碼 157
13.3.2  位置編碼計算過程 157
13.4  MASK 159
13.4.1  PAD MASK 159
13.4.2  上三角MASK 160
13.5  Transformer計算流程 161
13.5.1  編碼器 161
13.5.2  整體計算流程 162
13.5.3  解碼器解碼過程詳細講解 163
13.5.4  總體架構 164
13.6  簡單翻譯任務 165
13.6.1  任務介紹 165
13.6.2  定義數據集 166
13.6.3  定義MASK函數 169
13.6.4  定義Transformer工具子層 171
13.6.5  定義Transformer模型 176
13.6.6  訓練和測試 180
13.7  兩數相加任務 184
13.7.1  任務介紹 184
13.7.2  實現代碼 185
13.7.3  訓練和測試 186
13.8  小結 189
第14章  手動實現BERT 190
14.1  BERT架構 190
14.2  數據集處理 191
14.2.1  數據處理過程概述 191
14.2.2  數據集介紹 193
14.2.3  數據處理實現代碼 193
14.3  PyTorch提供的Transformer工具層介紹 201
14.4  手動實現BERT模型 211
14.4.1  準備數據集 211
14.4.2  定義輔助函數 215
14.4.3  定義BERT模型 217
14.4.4  訓練和測試 219
14.5  小結 226

VI

VII

自然語言處理一直作為人工智能領域內的重要難題，歷史上無數的科學家付出了巨大的心血對其進行研究。著名的圖靈測試本質上也是一個自然語言處理任務。
在深度學習成為主流後，自然語言處理確立了主要的研究方向，尤其是在谷歌提出了Transformer和BERT模型以後，基於預訓練模型的方法，已成為自然語言處理研究的主要方向。
隨著自然語言處理研究的大跨步前進，問題也隨之而來，首要的就是數據集格式缺乏統一規範，往往更換一個數據源，就要做復雜的數據適配工作，從工程角度來講，這增加了項目的實施風險，作為工程人員有時會想，要是能有一個數據中心，它能把數據都管理起來，提供統一的數據接口就好了。
與數據集相應，預訓練模型也缺乏統一的規範，它們往往由不同的實驗室提供，每個實驗室提供的下載方法都不同，下載之後的使用方法也各有區別，如果能把這些模型的下載方式和使用方式統一，就能極大地方便研究，也能降低項目實施的風險。
基於以上訴求，HuggingFace社區提供了兩套工具集datasets和transformers，分別用於數據集管理和模型管理。基於HuggingFace工具集研發能極大地簡化代碼，把研發人員從細節的海洋中拯救出來，把更多的精力集中在業務本身上。
此外，由於數據集和模型都統一了接口，所以在更換時也非常方便，避免了項目和具體的數據集、模型的強耦合，從而降低了項目實施的風險。
綜上所述，HuggingFace值得所有自然語言處理研發人員學習。本書將使用簡單淺顯的語言，快速地講解HuggingFace工具集的使用方法，並通過幾個實例來演示使用HuggingFace工具集研發自然語言處理項目的過程。
通過本書的學習，讀者能夠快速地掌握HuggingFace工具集的使用方法，並且能夠使用HuggingFace研發自己的自然語言處理項目。
本書主要內容
第1章介紹HuggingFace提出的標準研發流程和提供的工具集。
第2章介紹編碼工具，包括編碼工具的工作過程的示意，以及編碼工具的用例。
第3章介紹數據集工具，包括數據集倉庫和數據集的基本操作。
第4章介紹評價指標，包括評價指標的加載和使用方法。
第5章介紹管道工具，並演示使用管道工具完成一些常見的自然語言處理任務。
第6章介紹訓練工具，並演示使用訓練工具完成一個情感分類任務。
第7章演示第1個實戰任務，完成一個中文情感分類任務。
第8章演示第2個實戰任務，完成一個中文填空任務。
第9章演示第3個實戰任務，完成一個中文句子關繫推斷任務。
第10章演示第4個實戰任務，完成一個中文命名實體識別任務。
第11章演示使用TensorFlow框架完成中文命名實體識別任務。
第12章演示使用自動模型完成一個情感分類任務，並閱讀源代碼深入了解自動模型的工作原理。
第13章演示手動實現Transformer模型，並完成兩個實驗性質的翻譯任務。
第14章演示手動實現BERT模型，並演示BERT模型的訓練過程。
閱讀建議
本書是一本對HuggingFace工具集的綜合性講解圖書，既有基礎知識，也有實戰示例，還包括底層原理的講解。
本書盡量以簡潔的語言書寫，每個章節之間的內容盡量獨立，讀者可以跳躍閱讀而沒有障礙。
作為一本實戰性書籍，讀者要掌握本書的知識，務必結合代碼調試，本書的代碼也盡量以簡潔的形式書寫，使讀者閱讀不感喫力。每個代碼塊即是測試，讀者可以對每個程序的每個代碼塊按從上到下的順序測試，從一個個小知識點聚沙成塔，融會貫通。
HuggingFace支持使用PyTorch、TensorFlow等深度學習框架進行計算，本書會以PyTorch為主進行講解。對於使用TensorFlow的讀者也不用擔心，會有單獨的一章講解如何使用TensorFlow實現一個具體的例子。項目之間有很多的共同點，隻要學會了一個例子，其他的都可以觸類旁通。
本書源代碼
掃描下方二維碼，可獲取本書源代碼。

本書源代碼
本書源代碼在以下環境中測試通過，為避免不必要的異常調試，請盡量選擇一致的版本。
Python 3.6
transformers 4.18
datasets 2.3
PyTorch 1.10
致謝
感謝我的好友L，在我寫作的過程中始終鼓勵、鞭策我，使我有勇氣和動力完成本書的   寫作。
在本書的編寫過程中，我雖已竭盡所能為讀者呈現好的內容，但疏漏之處在所難免，敬請讀者批評指正。

李福林???
2023年1月

II

III