第1章緒論
1.1人腦與計算機001
1.1.1人腦與計算機信息處理能力的比較002
1.1.2人腦與計算機信息處理機制的比較003
1.1.3什麼是人工神經網絡004
1.2人工神經網絡發展簡史005
1.2.1啟蒙期005
1.2.2低潮期007
1.2.3復興期009
1.2.4高潮期010
1.2.5大數據期010
1.3神經網絡的基本特征與功能013
1.3.1神經網絡的基本特征013
1.3.2神經網絡的基本功能014
1.4神經網絡的應用領域015
1.4.1信息處理領域015
1.4.2自動化領域016
1.4.3工程領域016
1.4.4經濟領域017
1.4.5醫學領域018
1.5本章小結018
思考與練習019

第2章神經網絡基礎知識
2.1人工神經網絡的生物學基礎020
2.1.1生的結構020
2.1.2生的信息處理機理021
2.2人模型024
2.2.的建模024
2.2.的數學模型025
2.2.的轉移函數026
2.3人工神經網絡模型027
2.3.1網絡拓撲結構類型028
2.3.2網絡信息流向類型029
2.4神經網絡學習方式030
2.4.1監督學習031
2.4.2無監督學習031
2.5神經網絡學習規則031
2.5.1Hebb學習規則032
2.5.2Perceptron （感知器）學習規則034
2.5.3δ（Delta）學習規則034
2.5.4LMS（小均方）學習規則036
2.5.5Correlation（相關）學習規則036
2.5.6Winner-Take-All（勝者為王）學習規則036
2.5.7Outstar（外星）學習規則037
2.6神經網絡計算機程序實現基礎038
2.6.1神經網絡結構的程序實現基礎038
2.6.2神經網絡學習算法的程序實現基礎039
2.6.3基於Python的神經網絡實現方法039
2.7本章小結040
思考與練習041

第3章單層感知器
3.1單層感知器模型042
3.2單節點感知器的功能分析043
3.3感知器的學習算法047
3.4感知器的局限性及解決途徑048
3.4.1感知器的局限性048
3.4.2解決途徑049
3.5本章小結051
思考與練習052

第4章基於誤差反傳的多層感知器
4.1BP網絡模型與算法055
4.1.1BP網絡模型055
4.1.2BP學習算法056
4.2BP網絡的能力與局限059
4.2.1BP網絡的主要能力059
4.2.2誤差曲面與BP算法的局限性060
4.3基於Python的BP算法實現061
4.3.1BP算法流程061
4.3.2基於Python的BP算法實現063
4.4BP算法的改進070
4.4.1增加動量項070
4.4.2自適應調節學習率070
4.4.3引入陡度因子071
4.5BP網絡設計基礎071
4.5.1網絡信息容量與訓練樣本數071
4.5.2訓練樣本集的準備072
4.5.3初始權值的設計076
4.5.4BP網絡結構設計076
4.5.5網絡訓練與測試077
4.6BP網絡應用與設計實例078
4.6.1BP網絡用於催化劑配方建模078
4.6.2BP網絡用於汽車變速器擋位判定080
4.6.3BP網絡用於圖像壓縮編碼080
4.6.4BP網絡用於水庫優化調度081
4.6.5BP網絡用於證券預測082
4.6.6BP網絡用於信用評價模型及預警083
4.7本章小結084
思考與練習084

第5章徑向基函數神經網絡
5.1基於徑向基函數技術的函數逼近與內插087
5.2正則化RBF網絡089
5.2.1正則化RBF網絡的結構及特點089
5.2.2正則化RBF網絡的學習算法090
5.3廣義RBF神經網絡090
5.3.1模式的可分性090
5.3.2廣義RBF網絡091
5.3.3廣義RBF網絡的設計方法092
5.3.4廣義RBF網絡數據中心的聚類算法093
5.3.5廣義RBF網絡數據中心的監督學習算法094
5.4基於Python的RBF網絡學習算法實現095
5.4.1基於聚類的數據中心及RBF網絡程序實現095
5.4.2基於監督學習的學習算法程序實現098
5.5RBF網絡與BP網絡的比較101
5.6RBF網絡設計應用實例102
5.6.1RBF網絡在液化氣銷售量預測中的應用102
5.6.2RBF網絡在地表水質評價中的應用102
5.6.3RBF網絡在汽油干點軟測量中的應用103
5.6.4RBF網絡在地下溫度預測中的應用105
5.7本章小結107

第6章競爭學習神經網絡
6.1競爭學習的概念與原理108
6.1.1基本概念108
6.1.2競爭學習原理110
6.2自組織特征映射神經網絡113
6.2.1SOM網的生物學基礎113
6.2.2SOM網的拓撲結構與權值調整域113
6.2.3自組織特征映射網的運行原理與學習算法115
6.3基於Python的SOM網絡設計與實現119
6.3.1SOM網絡的程序設計思路119
6.3.2基於neupy擴展模塊的SOM網絡程序設計120
6.4自組織特征映射網絡的設計與應用123
6.4.1SOM網的設計基礎123
6.4.2設計與應用實例125
6.5自適應共振理論131
6.5.1ARTⅠ型網絡132
6.5.2ARTⅠ型網絡的應用136
6.5.3ARTⅡ型網絡140
6.5.4ARTⅡ型網絡的應用143
6.6本章小結146
思考與練習147

第7章組合學習神經網絡
7.1學習向量量化神經網絡149
7.1.1向量量化（LVQ）149
7.1.2LVQ網絡結構與工作原理150
7.1.3LVQ網絡的學習算法150
7.1.4基於Python的LVQ網絡學習算法實現152
7.1.5LVQ網絡的設計與應用154
7.2對向傳播神經網絡157
7.2.1網絡結構與運行原理157
7.2.2CPN的學習算法158
7.2.3基於Python的CPN學習算法實現159
7.2.4改進的CPN舉例162
7.2.5CPN的應用163
7.3本章小結165
思考與練習165

第8章反饋神經網絡
8.1離散型Hopfield神經網絡167
8.1.1網絡的結構與工作方式167
8.1.2網絡的穩定性與吸引子168
8.1.3網絡的權值設計173
8.1.4網絡的信息存儲容量175
8.2連續型Hopfield神經網絡176
8.2.1網絡的拓撲結構176
8.2.2能量函數與穩定性分析177
8.3Hopfield網絡應用與設計實例178
8.3.1應用DHNN解決聯想問題178
8.3.2應用CHNN解決優化計算問題179
8.4雙向聯想記憶（BAM）神經網絡182
8.4.1BAM網結構與原理182
8.4.2能量函數與穩定性183
8.4.3BAM網的權值設計184
8.4.4BAM網的應用185
8.5隨機神經網絡186
8.5.1模擬退火原理187
8.5.2Boltzmann機188
8.6本章小結192
思考與練習193

第9章支持向量機
9.1支持向量機的基本思想195
9.1.1超平面的概念195
9.1.2超平面的構建196
9.2支持向量機神經網絡199
9.3支持向量機的學習算法200
9.4基於Python的SVM學習算法201
9.5支持向量機處理XOR問題203
9.6本章小結204

第10章深度神經網絡
10.1深層網絡模型的提出206
10.2深度網絡的網絡類型和學習算法208
10.2.1深度網絡的典型類型208
10.2.2深度網絡學習算法及改進209
10.3卷積神經網絡212
10.3.1CNN的基本概念及原理212
10.3.2CNN的模型與參數設計215
10.3.3CNN的學習217
10.3.4基於Python的CNN實現217
10.3.5CNN應用221
10.4生成對抗網絡222
10.4.1生成模型與判別模型222
10.4.2生成對抗網絡GAN的結構與核心思想223
10.4.3GAN的學習算法224
10.4.4基於Python的GAN實現225
10.4.5GAN的改進與應用229
10.5本章小結230

附錄
附錄1例題與詳解232
附錄2神經網絡常用術語英漢對照252

參考文獻

人類具有高度發達的大腦，大腦是人類思維活動的物質基礎，而思維是人類智能的集中體現。長期以來，人們想方設法了解人腦的工作機理和思維的本質，向往能構造出具有類人智能的人工智能繫統，以模仿人腦功能，完成類似於人腦的工作。人腦的思維有邏輯思維、形像思維和靈感思維三種基本方式。邏輯思維的基礎是概念、判斷與推理，即將信息抽像為概念，再根據邏輯規則進行邏輯推理。由於概念可用符號表示，而邏輯推理宜按串行模式進行，所以這一過程可以事先寫成串行的指令由機器來完成。可以認為，20世紀40年代問世的臺電子計算機就是這樣一種用機器模擬人腦邏輯思維的人工智能繫統，也是人類實現這一追求的重要裡程碑。
眾所周知，現代計算機的速度是人腦速度的幾百萬倍，對於那些特征明確，推理或運算規則清楚的可編程問題，可以高速有效地求解，在數值運算和邏輯運算方面的精確與高速極大地拓展了人腦的能力，從而在信息處理和控制決策等各方面為人們提供了實現智能化和自動化的先進手段。但由於現有計算機是按照馮·諾依曼原理基於程序存取進行工作的，歷經半個多世紀的發展，其結構模式與運行機制仍然沒有跳出傳統的邏輯運算規則，因而在很多方面的功能還遠不能達到人的智能水平。隨著現代信息科學與技術的飛速發展，這方面的問題日趨尖銳，促使科學技術專家們尋找解決問題的新出路。當人們的思路轉向研究大自然造就的精妙的人腦結構模式和信息處理機制時，就推動了腦科學的深入發展以及人工神經網絡和腦模型的研究。隨著對生物腦的深入了解，人工神經網絡獲得長足發展。在經歷了漫長的初創期和低潮期後，人工神經網絡終於以其不容忽視的潛力與活力進入了發展高潮。六十多年來，它的結構與功能逐步改善，運行機制漸趨成熟，應用領域日益擴大，在解決各行各業的難題中顯示出巨大的潛力，取得了豐碩的成果。
本書是作者在多年為研究生和本科生講授“人工神經網絡”課程的基礎上撰寫的，版和第二版分別於2002年1月、2007年9月出版，作為人工神經網絡的入門書籍，受到了廣大讀者的歡迎和好評。為適應人工神經網絡應用不斷深化、人工智能技術日益普及的形勢，作者在第二版的基礎上進行了修訂，補充了基於Python的算法實現，增加了深度神經網絡、思考與練習等內容，刪除了“神經網絡的繫統設計與軟件實現”“神經網絡研究展望”“常用神經網絡C語言源程序”等內容。第三版全書共10章。第1章對人腦與計算機的信息處理能力與機制進行了比較，歸納了人腦生物神經網絡的基本特征與功能，介紹了人工神經網絡的發展簡史及主要應用領域。第2章介紹了人工神經網絡的基礎知識，包括生信息處理機制、人模型、人工神經網絡模型以及幾種常用學習算法。第3章介紹了單層感知器，從幾何意義上對單層感知器求解線性可分問題進行了分析，旨在使讀者建立自學習、自適應和自組織等概念。第4章論述了基於誤差反向傳播算法（BP）的多層感知器的拓撲結構、算法原理、設計方法及應用實例。第5章討論了用於非線性映射與分類的徑向基函數（RBF）網絡的原理及應用。第6章介紹了競爭學習的概念與原理，在此基礎上論述了自組織特征映射網（SOM）和自適應共振網（ART）兩種重要的自組織神經網絡的結構、原理及算法，並重點介紹了自組織特征映射網絡的設計與應用。第7章闡述了兩種將競爭學習與監督學習思想相組合的網絡，包括學習向量量化網（LVQ）和對向傳播網（CPN）。第8章給出幾種反饋神經網絡，包括用於聯想記憶的離散型Hopfield網絡與用於優化計算的連續型Hopfield網絡、雙向聯想記憶網絡，以及隨機神經網絡Boltzmann機。第9章介紹了支持向量機的基本思想及學習算法。第10章論述了深度神經網絡，介紹了卷積神經網絡和生成對抗網絡的基本概念、原理與學習算法。附錄1例題與詳解是作者在教學過程為學生上習題課的部分內容，可幫助讀者深入學習與理解；附錄2給出人工神經網絡領域常用術語的中英文對照表。
作者在寫作過程中特別注意以下幾點：①注重物理概念內涵的論述，盡量避免因煩瑣的數學推導影響讀者的學習興趣；②加強舉例與思考練習，並對選自科技論文的應用實例進行改編、分析與說明，避免將科技論文直接縮寫為應用實例；③對常用網絡及算法著重介紹其實用設計方法，以便讀者通過學習與練習獲得獨立設計人工神經網絡的能力；④在內容的選擇和編排上注意到讀者初次接觸新概念的易接受性和思維的邏輯性，力求深入淺出，自然流暢；⑤各章選擇的神經網絡均應用廣泛。
本書旨在為高等院校人工智能、智能科學與技術、自動化等相關專業學生及企業研發人員提供一本繫統介紹人工神經網絡的基本理論、設計方法及實現技術的入門教材。書中不足之處，懇請同行專家和廣大讀者指正。

韓力群
2022年8月