BERT模型是當今處理自然語言任務效果最好的模型。掌握了該模型，就相當於掌握了當今主流的NLP技術。

通過本書，讀者可以：

- 熟練地在PyTorch框架中開發並訓練神經網絡模型，

- 快速地使用BERT模型完成各種主流的自然語言處理任務，

- 獨立地設計並訓練出針對特定需求的BERT模型，

- 輕松地將BERT模型封裝成Web服務部署到雲端。

本書介紹如何在PyTorch框架中使用BERT模型完成自然語言處理（NLP）任務。

BERT模型是當今處理自然語言任務效果最好的模型。掌握了該模型，就相當於掌握了當今主流的NLP技術。

本書共3篇。

-第1篇介紹了神經網絡的基礎知識、NLP的基礎知識，以及編程環境的搭建；

-第2篇介紹了PyTorch編程基礎，以及BERT模型的原理、應用和可解釋性；

-第3篇是BERT模型實戰，幫助讀者開闊思路、增長見識，使讀者能夠真正駕馭BERT模型，活學活用，完成自然語言處理任務。

通過本書，讀者可以熟練地在PyTorch框架中開發並訓練神經網絡模型，快速地使用BERT模型完成各種主流的自然語言處理任務，獨立地設計並訓練出針對特定需求的BERT模型，輕松地將BERT模型封裝成Web服務部署到雲端。

本書結構清晰、案例豐富、通俗易懂、實用性強，適合對自然語言處理、BERT模型感興趣的讀者作為自學教程。另外，本書也適合社會培訓學校作為培訓教材，還適合計算機相關專業作為教學參考書。

李金洪

擅長神經網絡、算法、協議分析、逆向、移動互聯網安全架構等技術

先後擔任過CAD算法工程師、手機遊戲主程、架構師、項目經理、CTO、部門經理、資深產品總監等職位

目前創業中。

BERT模型在2018年一問世便引起了轟動。之後，各種改進版本的預訓練模型（Pre-Training Model，PTM）如過江之鯽，層出不窮，它們在 NLP 各個領域攻城略地，所向披靡，頻頻登榜於多種 NLP 數據集競賽榜單，個別模型的能力已超過人類。

BERT模型在刷新傳統NLP指標的同時，也給NLP領域的技術帶來革命性的變革。它使用帶有注意力模型的深度神經網絡所實現的效果，優於一大批使用傳統的NLP方法所實現的效果，這使得NLP工作人員不得不向BERT模型的技術體繫靠攏。

與此同時，近年來，圖神經網絡的崛起也為深度學習領域指明了前進的方向——BERT模型結合圖深度學習將是未來NLP的主流趨勢。

本書從零基礎開始，介紹了與BERT模型相關的一繫列知識與實現方法，包括神經網絡的原理、NLP基礎、PyTorch的使用、BERT模型的原理及實現、BERTology繫列模型的原理及實現，以及BERT模型與圖神經網絡的結合。

本書適合於即將從事NLP工作，以及正在從事NLP工作並打算向BERT模型技術體繫靠攏的讀者閱讀。

總的來說，本書具有以下特色。

1．知識繫統，逐層遞進

本書涵蓋了BERT模型的完整技術體繫：

從神經網絡的基礎知識，到NLP的基礎知識，再到BERT模型的原理及應用；

從BERTology繫列模型的原理，到BERT模型與圖神經網絡的結合，再到多種場景下BERT模型的應用。

2．內容緊跟技術趨勢

本書所介紹的知識與近年來學術領域發表的論文技術基本同步。為了拓展讀者的學習視野，本書在介紹一些知識的原理和應用的同時，還附有相關的論文索引，方便讀者對感興趣的知識擴展閱讀。

3．圖文結合，化繁為簡。

本書在介紹模型的結構和原理的同時，還穿插了大量的圖片。這些圖片有的可視化了模型中的數據流向，有的展示了模型的擬合能力，有的細化了某種技術的內部原理，有的直觀化了模型的內部結構，從而讓讀者更容易、更快捷地理解和掌握知識。

4．站在入門者的角度講解，內容更繫統、更易學

考慮到初學者知識儲備的不足，凡是書中涉及的知識點，都從零開始進行繫統介紹：從PyTorch框架的安裝、使用；到向量、矩陣、張量的基礎變換；再到神經網絡及圖神經網絡的繫統介紹；從NLP基礎，到BERT模型的原理剖析，再到BERT模型的多場景實戰。這樣可以消除讀者學習中的跳躍感。