目 錄
第1章 緒論 1
1．1 人工智能 2
1．2 機器學習 3
1．2．1 監督學習 3
1．2．2 非監督學習 3
1．2．3 半監督學習 4
1．3 深度學習 4
1．3．1 卷積神經網絡 4
1．3．2 循環神經網絡 5
1．4 實現工具 6
1．4．1 Python 6
1．4．2 TensorFlow 6
第2章 Python基礎 9
2．1 Python簡介 10
2．1．1 概述 10
2．1．2 Python的特點 10
2．1．3 Python的版本 11
2．2 Python的安裝 11
2．2．1 Python官網下載安裝 11
2．2．2 Anaconda的安裝 14
2．3 Spyder編輯器 16
2．3．1 Spyder界面 16
2．3．2 Spyder快捷鍵 19
2．4 Python基礎知識 19
2．4．1 基本語法 20
2．4．2 基本數據類型和運算 23
2．4．3 組和字符串 25
2．4．4 字典和集合 32
2．4．5 分支和循環 35
2．4．6 函數和類 37
2．4．7 模塊 40
第3章 Python基礎庫 43
3．1 Numpy庫 44
3．1．1 創建數組 44
3．1．2 ndarray類 47
3．1．3 數組操作 48
3．1．4 形狀操作 55
3．2 Matplotlib庫 58
3．2．1 快速繪圖 58
3．2．2 繪制多軸圖 61
3．2．3 繪制3D圖 64
3．3 Scipy庫 67
3．3．1 scipy．io 67
3．3．2 scipy．linalg 68
3．3．3 scipy．fftpack 69
3．3．4 scipy．optimize 70
3．3．5 scipy．interpolate 71
3．3．6 scipy．stats 72
第4章 TensorFlow基礎 75
4．1 概述 76
4．2 TensorFlow的安裝 77
4．3 TensorFlow基本概念 79
4．3．1 Graph和Session 79
4．3．2 placeholder 82
4．3．3 tensor 82
4．3．4 Variable 85
4．3．5 fetch和feed 87
4．4 MNIST 89
4．4．1 MNIST簡介 89
4．4．2 MNIST解析 90
第5章 神經網絡基礎 95
5．1 神經網絡概述 96
5．1．1 神經網絡常用術語 97
5．1．2 神經網絡模型 99
5．1．3 神經網絡的運作 99
5．1．4 神經網絡算法的特點 100
5．2 模型 101
5．3 激活函數 103
5．4．1 sigmoid函數 104
5．4．2 tanh函數 104
5．4．3 ReLU函數 105
5．4．4 softmax函數 106
5．4 損失函數 106
5．4．1 均方差函數 106
5．4．2 交叉熵函數 107
5．5 梯度下降算法 107
5．5．1 梯度下降算法推導 108
5．5．2 梯度下降算法種類 108
5．5 BP算法 109
5．5．1 BP網絡簡介 109
5．5．2 BP算法流程 110
5．6 仿真實例 112
第6章 神經網絡基礎應用 117
6．1 感知機 118
6．1．1 感知機網絡結構 119
6．1．2 感知機學習規則 120
6．1．3 感知機網絡訓練 120
6．1．5 仿真實例 121
6．2 線性回歸 123
6．2．1 線性回歸理論 123
6．2．2 仿真實例 126
6．3 邏輯回歸 129
6．3．1 邏輯回歸理論 129
6．3．2 仿真實例 131
第7章 卷積神經網絡 137
7．1 概述 138
7．2 卷積神經網絡結構 139
7．2．1 卷積層 141
7．2．2 池化層 144
7．2．3 全連接層 147
7．2．4 Dropout 層 148
7．3 訓練過程 148
7．4 卷積神經網絡經典模型 149
7．4．1 LeNet-5模型 149
7．4．2 AlexNet模型 150
7．5 仿真實例 152
第8章 循環神經網絡 159
8．1 循環神經網絡概述 160
8．1．1 循環神經網絡結構 160
8．1．2 循環神經網絡前向傳播 162
8．1．3 循環神經網絡訓練算法 163
8．2 長短時記憶網絡（LSTM） 163
8．2．1 LSTM結構 164
8．2．2 LSTM前向計算 165
8．2．3 LSTM訓練算法 169
8．2．4 LSTM程序實現 169
8．3 循環神經網絡的變種 170
8．3．1 雙向循環神經網絡 170
8．3．2 深層循環神經網絡 171
8．4 仿真實例 172
附錄A Python主要函數 181
附錄B TensorFlow主要函數 189
參考文獻 198

前 言
繼2016年3月擊敗世界圍棋大師李世石，AlphaGo又於2017年5月橫掃中國九段棋手柯潔，從此“人工智能”成為最火熱的詞彙之一，人工智能的應用遍地開花，熱度持續高漲，IT領域甚至言必稱之。因此，眾多有志之士欲投身到人工智能的浪潮之中，但如何快速入門成為擺在他們面前的第一道障礙。
千裡之行，始於足下。下面先梳理一下人工智能、機器學習和深度學習的關繫。人工智能是寬泛概念上的高級計算智能，機器學習是研究人工智能的一個有效手段，而深度學習是機器學習的一個分支。深度學習突破了傳統機器學習算法的瓶頸，推動了人工智能領域的快速發展；而目前大多數深度學習都是通過神經網絡來實現的。
工欲善其事，必先利其器。神經網絡和深度學習的框架和程序實現語言有很多種。其中，TensorFlow由於其靈活性、高效性和可移植性，成為目前最流行的一種深度學習框架；Python語言由於其簡潔性、易讀性和可擴展性，已成為目前最受歡迎的深度學習程序設計語言。
本書基於TensorFlow框架和Python語言來實現基本神經網絡算法和深度學習算法，主要內容包括：第1章綜述人工智能、機器學習和深度學習的基本知識；第2章、第3章介紹Python及其基礎庫Numpy、Matplotlib和Scipy的使用方法；第4章介紹TensorFlow的基本知識和使用方法；第5章、第6章介紹神經網絡的基礎知識以及它的基礎應用——感知機、線性回歸與邏輯回歸的理論與實現；第7章、第8章介紹兩種熱門的深度神經網絡——?卷積神經網絡和循環神經網絡的理論與實現。
本書旨在作為一本神經網絡與深度學習的入門圖書，其主要特點有：
（1）繫統性：首先介紹Python、TensorFlow的使用方法，然後介紹基本神經網絡的理論及應用，最後介紹深度神經網絡的理論及實現，內容由淺入深、循序漸進。
（2）通用性：程序實例采用通用的數值優化和MNIST手寫字體案例，適合各學科和各領域的人員理解和學習。
（3）實用性：注重理論聯繫實際，首先進行理論介紹，然後進行程序實現，通過理論介紹來初步了解算法，通過程序實現來深入理解算法。
本書適於電子、通信、計算機、自動化、機器人和經濟學等學科以及信號處理、語音識別、圖像識別、模式識別、機器翻譯和人機交互等領域的讀者閱讀，既可作為高等院校高年級本科生和研究生的學習用書，也可供相關領域的科研人員學習參考。
為了便於讀者學習和參考，書中的實例程序可在華信教育資源網（https://www.hxedu.com.cn/）免費下載，或通過與本書責任編輯聯繫獲取。
在本書編寫過程中，得到了北京無線電測量研究所科技委、檔信中心、總體部以及航天科工二院“創客銀行”項目的支持和幫助，電子工業出版社相關編輯為本書的編輯出版付出了辛勤勞動，特此表示感謝。
最後要感謝我的愛人焦淑娟和愛子包佳銘所給予的支持和動力。由於編著者水平有限，書中定有不足之處，誠望各位專家和讀者批評指正。
編著者
2019年1月