●部分緒論 / 1 第二部分基礎理論篇 / 9 1 卷積神經網絡基礎知識 / 10 1.1 發展歷程 / 11 1.2 基本結構 / 13 1.3 前饋運算 / 16 1.4 反饋運算 / 16 1.5 小結 / 19 2 卷積神經網絡基本部件/ 21 2.1 “端到端”思想/21 2.2 網絡符號定義/ 23 2.3 卷積層/24 2.3.1 什麼是卷積/ 24 2.3.2 卷積操作的作用/27 2.4 彙合層/28 2.4.1 什麼是彙合/ 29 2.4.2 彙合操作的作用/30 2.5 激活函數/ 31 2.6 全連接層/ 33 2.7 目標函數/ 34 2.8 小結/ 34 3 卷積神經網絡經典結構/ 35 3.1 CNN 網絡結構中的重要概念/35 3.1.1 感受野/ 35 3.1.2 分布式表示/ 37 3.1.3 深度特征的層次性 /39 3.2 經典網絡案例分析/42 3.2.1 Alex-Net 網絡模型/ 42 3.2.2 VGG-Nets 網絡模型/46 3.2.3 Network-In-Network /48 3.2.4 殘差網絡模型/49 3.3 小結/ 54 4 卷積神經網絡的壓縮/ 56 4.1 低秩近似/ 58 4.2 剪枝與稀疏約束/60 4.3 參數量化/ 64 4.4 二值網絡/ 68 4.5 知識蒸餾/ 71 4.6 緊湊的網絡結構//74 4.7 小結/ 76 第三部分實踐應用篇/ 77 5 數據擴充/ 78 5.1 簡單的數據擴充方式/78 5.2 特殊的數據擴充方式/80 5.2.1 Fancy PCA /80 5.2.2 監督式數據擴充/80 5.3 小結/ 82 6 數據預處理/ 83 7 網絡參數初始化/ 85 7.1 全零初始化/86 7.2 隨機初始化/86 7.3 其他初始化方法/89 7.4 小結/ 90 8 激活函數/ 91 8.1 Sigmoid 型函數/ 92 8.2 tanh(x) 型函數/ 93 8.3 修正（ReLU） /93 8.4 Leaky ReLU /94 8.5 參數化ReLU /95 8.6 隨機化ReLU /97 8.7 指數化（ELU）/ 98 8.8 小結/ 99 9 目標函數100 9.1 分類任務的目標函數/100 9.1.1 交叉熵損失函數/101 9.1.2 合頁損失函數/101 9.1.3 坡道損失函數/101 9.1.4 大間隔交叉熵損失函數/ 103 9.1.5 中心損失函數/105 9.2 回歸任務的目標函數//107 9.2.1 ?1 損失函數/ 108 9.2.2 ?2 損失函數/ 108 9.2.3 Tukey’s biweight 損失函數/109 9.3 其他任務的目標函數//109 9.4 小結/ 111 10 網絡正則化/ 113 10.1 ?2 正則化/ 114 10.2 ?1 正則化/ 115 10.3 優選範數約束/ 115 10.4 隨機失活/ 116 10.5 驗證集的使用/ 118 10.6 小結/ 119 11 超參數設定和網絡訓練/ 120 11.1 網絡超參數設定/120 11.1.1 輸入數據像素大小/120 11.1.2 卷積層參數的設定/121 11.1.3 彙合層參數的設定/122 11.2 訓練技巧/ 123 11.2.1 訓練數據隨機打亂/123 11.2.2 學習率的設定/123 11.2.3 批規範化操作/125 11.2.4 網絡模型優化算法選擇/ 127 11.2.5 微調神經網絡/132 11.3 小結/ 133 12 不平衡樣本的處理/ 135 12.1 數據層面處理方法/136 12.1.1 數據重采樣/ 136 12.1.2 類別平衡采樣/137 12.2 算法層面處理方法/138 12.2.1 代價敏感方法/139 12.2.2 代價敏感法中權重的指定方式/140 12.3 小結 / 142 13 模型集成方法/ 143 13.1 數據層面的集成方法/143 13.1.1 測試階段數據擴充/143 13.1.2 “簡易集成”法/144 13.2 模型層面的集成方法/144 13.2.1 單模型集成/ 144 13.2.2 多模型集成/ 146 13.3 小結/ 149 14 深度學習開源工具簡介/ 151 14.1 常用框架對比/ 151 14.2 常用框架的各自特點/153 14.2.1 Caffe /153 14.2.2 Deeplearning4j /153 14.2.3 Keras /154 14.2.4 MXNet / 155 14.2.5 MatConvNet / 155 14.2.6 TensorFlow /155 14.2.7 Theano / 156 14.2.8 Torch /157 A 向量、矩陣及其基本運算/ 158 B 隨機梯度下降/ 162 C 鏈式法則/ 165 參考文獻/ 167 索引/ 181