第1章緒論

1．1人工神經網絡發展史

1．1．1人工神經網絡的提出

1．1．2人工神經網絡的隕落

1．1．3人工神經網絡的興起

1．1．4深度學習的提出

1．2人工神經網絡學習機理

1．2．1生物學機理

1．2．2淺層學習

1．2．3深度學習

1．2．4特征學習

第2章神經網絡基礎

2．1概述

2．2感知器

2．2．1感知器學習規則

2．2．2感知器原理

2．3

2．4δ學習規則

2．5BP神經網絡結構

2．5．1BP神經網絡原理

2．5．2B偏移量

2．5．3BP神經網絡非線性表達能力

2．6反向傳播算法

2．6．1誤差項推導

2．6．2誤差反向傳播算法流程

2．6．3誤差反向傳播算法計算示例

2．7梯度檢查

2．8超參數的確定

2．9模型訓練與評估

2．10向量化編程

第3章自編碼器

3．1自編碼器原理

3．2不同種類的自編碼器

3．2．1正則自編碼器

3．2．2稀疏自編碼器

3．2．3去噪自編碼器

3．3堆疊自編碼器

3．4預訓練與深度學習

3．5Softmax與交叉熵函數融合

3．6深度神經網絡權值初始化方法

3．6．1Xavier初始化方法

3．6．2Kaiming初始化方法

3．6．3LeCun初始化方法

第4章卷積神經網絡

4．1全連接神經網絡局限性

4．2卷積神經網絡原理

4．3卷積神經網絡前向計算

4．3．1新的激活函數

4．3．2卷積層

4．3．3池化層

4．3．4全連接層

4．4卷積網絡計算實例

4．5卷積神經網絡訓練

4．5．1池化層誤差傳遞

4．5．2卷積層誤差傳遞

4．5．3卷積層參數訓練

4．5．4卷積神經網絡訓練流程

4．5．5卷積神經網絡訓練計算實例

4．6深度神經網絡計算模式

4．6．1卷積計算加速

4．6．2自動微分方法

第5章卷積神經網絡結構演化

5．1典型的卷積神經網絡

5．1．1卷積網絡加深

5．1．2卷積網絡拓寬

5．1．3殘差網絡

5．2輕量化網絡

5．3卷積操作模式設計

5．4全卷積網絡

第6章深度殘差網絡

6．1概述

6．2殘差網絡結構

6．3殘差網絡討論

6．4Highway Network

6．5殘差網絡變體

6．5．1Wide Residual Network

6．5．2ResNeXt

6．5．3DenseNet

6．5．4DPN

第7章目標檢測算法

7．1傳統目標檢測方法

7．2基於深度學習的目標檢測方法

7．2．1目標檢測常用技術

7．2．2RCNN

7．2．3SPPNet

7．2．4Fast RCNN

7．2．5Faster RCNN 

7．2．6YOLO

7．2．7SSD

7．3目標檢測算法的改進

第8章循環神經網絡

8．1循環神經網絡概述

8．1．1循環神經網絡原理

8．1．2雙向循環神經網絡

8．1．3深度循環神經網絡

8．1．4典型循環神經網絡結構

8．2循環神經網絡訓練算法

8．2．1BPTT訓練算法

8．2．2實時循環學習算法

8．2．3梯度爆炸與消失問題

8．3RNN應用

第9章長短時記憶網絡

9．1LSTM原理

9．2LSTM前向計算

9．3LSTM網絡訓練

9．3．1網絡訓練算法

9．3．2誤差項沿時間傳遞

9．3．3誤差項沿網絡層次傳遞

9．4GRU

9．4．1GRU前向計算

9．4．2GRU訓練算法

第10章Transformer

10．1神經網絡注意力機制

10．1．1神經網絡注意力機制原理

10．1．2自注意力機制

10．2Transformer模型

10．2．1編碼器模塊

10．2．2解碼器模塊

10．3神經網絡語言模型

10．3．1GPT模型

10．3．2BERT模型

10．3．3GLM模型

第11章生成式模型

11．1概述

11．2生成對抗網絡

11．2．1生成模型

11．2．2判別模型

11．2．3目標函數

11．2．4典型生成對抗網絡

11．3變分自編碼器

11．3．1模型推導

11．3．2討論

11．3．3VAE實現

11．4自回歸模型

11．5擴散模型

第12章深度學習框架

12．1計算圖

12．2典型深度學習框架

12．2．1國外深度學習框架

12．2．2國內深度學習框架

參考文獻

近年來，人工智能發展迅速，不斷地改變人類的生產和生活方式，極大地推動了社會經濟的發展，已成為驅動新一輪科技革命和產業變革的重要力量。人工智能的發展得益於多方面因素： 一方面算力的不斷增長，為人工智能的發展提供了有力的硬件支撐； 另一方面大數據時代海量數據的積累，為人工智能的發展奠定了數據基礎； 更重要的是人工智能算法的進步和優化，為人工智能的發展提供了原動力。近年來，推動人工智能發展的關鍵技術之一就是深度學習。深度學習是機器學習領域一個新的研究方向，其本質是利用人工神經網絡架構，對數據進行特征學習與決策的算法。深度學習是一種復雜的機器學習算法，具有特征提取、表征及預測能力。傳統機器學習方法將特征提取與分類決策作為兩個問題進行處理，特征提取依賴人工設計的特征，提取特征後選用淺層模型進行分類預測； 深度學習方法不需要人工設計特征，而是依賴算法自動學習提取特征的方法，同時對特征進行分類，特征提取與分類預測融為一體，采用端到端的訓練模式。深度學習模仿了人類大腦的運行方式，從經驗數據中學習獲取知識。深度學習在視覺信息分析、機器翻譯、人機對話、語音識別與合成、機器人以及其他相關領域都取得了眾多豐碩的成果。

本書共12章。第1章從人工神經網絡的起源說起，闡述了隨著時代的變遷，人工神經網絡由傳統淺層算法演變為當前深度學習方法跌宕起伏的發展歷程。在第2章中，對人工神經網絡基礎進行了闡述，包括感知器、BP網絡以及反向傳播算法，這是人工神經網絡理論發展的根基。第3章對一種自監督架構——自編碼器進行了闡述，自編碼器也是深度學習初次被提出時所采用的網絡訓練機制。第4章到第7章分別對卷積網絡基礎、卷積網絡架構的發展以及卷積網絡在目標檢測算法中的應用進行了闡述，卷積網絡是深度學習早期發展最為迅速的一個分支，在視覺信息的處理中發揮了重要作用。第8章、第9章對序列信息處理模型循環神經網絡、長短時神經網絡進行了闡述，詳盡分析了循環網絡的正向計算以及誤差反向傳播原理，為學生利用相關模型進行語言建模奠定基礎。第10章對基於注意力方式的架構Transformer模型進行了介紹，分析了模型的詳細工作原理，以及基於Transformer構造的GPT、BERT等大型語言模型的工作原理。第11章對生成式模型進行了介紹，分析了對抗網絡、變分自編碼器、擴散模型等的工作原理。最後，第12章對深度學習框架進行了簡要的介紹。

本書在取材和編排上，由淺入深、循序漸進地講解典型的深度學習模型的正向計算過程、誤差反向傳播原理等內容，便於讀者學習和教學使用。

本書由許慶陽、宋勇、張承進編著，張承進編寫第1、2章，許慶陽編寫第4、5、6、7、8、9、10章，宋勇編寫第3、11、12章。感謝劉曉瀟、丁凱旋、於洋、劉志超、李國光、滕俊等研究生參與本書的文字處理工作。

本書可以作為高等學校自動化、計算機、人工智能、機器人工程、智能科學與技術等專業的深度學習理論的教學用書，也可作為相關技術人員的參考用書。

本書在編寫過程中參考和引用了許多文獻，在此對文獻作者表示真誠的感謝。由於編者水平有限，書中難免存在錯誤和不妥之處，敬請廣大讀者批評指正。

許慶陽
2023年4月