● 章 深度學習介紹
1.1 歷史背景
1.2 相關領域的進展
1.3 先決條件
1.4 後續章節概述
1.5 安裝所需函數庫
第2章 機器學習基礎
2.1 直覺
2.分類
2.3 回歸
2.4 泛化
2.5 正規化
2.6 總結
第3章 前饋神經網絡
3.
3.1.1 神經網絡的整體結構
3.1.2 用向量形式表示神經網絡
3.1.3 評估神經網絡的輸出
3.1.4 神經網絡訓練
3.2 使用極大似然估計成本函數
3.2.交叉熵
3.2.2 交叉熵
3.2.3 平方差
3.2.4 損失函數總結
3./激活函數/層的類型
3.3.1
3.3.2 Sigmo
3.3.3 Softmax層
3.3.4 線性整流函數
3.3.5 雙曲正切
3.4 用AutoGrad手寫神經網絡
3.5 總結
第4章 Theano介紹
4.1 什麼是Theano
4.2 上手Theano
4.3 總結
第5章 卷積神經網絡
5.1 卷積操作
5.2 池化操作
5.3 卷積-探測-池化
5.4 其他卷積
5.5 CNN背後的直覺
5.6 總結
第6章 遞歸神經網絡
6.1 RNN基礎
6.2 訓練RNN
6.3 雙向RNN
6.4 梯度爆炸和梯度消失
6.5 梯度削減
6.6 長短期記憶
6.7 總結
第7章 Keras介紹
7.1 單層神經網絡
7.2 兩層神經網絡
7.2.1 分類的兩層神經網絡
7.2.2 兩層神經網絡的回歸
7.3 Keras快速迭代
7.3.1 使用Keras構建卷積神經網絡（CNN）
7.3.2 使用Keras構建LSTM
7.4 總結
第8章 隨機梯度下降
8.1 優化問題
8.2 最速下降的方法
8.3 批量，隨機（單例和迷你批）下降
8.3.1 批量
8.3.2 隨機單例
8.3.3 隨機迷你批
8.3.4 批量VS隨機
8.4 SGD的挑戰
8.4.1 局部最小值
8.4.2 鞍點
8.4.3 選擇學習速率
8.4.4 窄谷中進展緩慢
8.5 SGD的算法變體
8.5.1 動量
8.5.2 Nesterov加速梯度（NAS）
8.5.3 退火和學習速率計劃
8.5.4 Adagrad
8.5.5 RMSProp
8.5.6 Adadelta
8.5.7 Adam
8.5.8 彈性反向傳播
8.5.9 平衡SGD
8.6 使用SGD的技巧和提示
8.6.1 輸入數據預處理
8.6.2 激活函數的選擇
8.6.3 預處理目標值
8.6.4 參數初始化
8.6.5 打散數據
8.6.6 批標準化
8.6.7 提前停止
8.6.8 梯度噪聲
8.7 並行和分布式SGD
8.7.1 Hogwild
8.7.2 Downpour
8.8 用Downhill動手實踐SGD
8.9 總結
第9章 自動求導
9.1 數值求導
9.2 符號求導
9.3 自動求導基礎
9.3.1 正向/正切線性模型
9.3.2 反向/餘切/伴隨線性模式
9.3.3 自動求導實現
9.4 源代碼轉換
9.5 運算符重載
9.6 用Autograd實現自動求導
9.7 總結
0章 GPU介紹
10.1 基於GPU計算的關鍵要素
10.2 OpenCL繫統物理視圖
10.3 OpenCL繫統的邏輯視圖
10.4 OpenCL設備上的邏輯內存空間
10.5 OpenCL設備的編程模型
10.6 索引的符號
10.7 總結