●1 緒論11.1 人工智能、機器學習與深度學習的關繫21.1.1 人工智能――機器推理31.1.2 機器學習――數據驅動的科學41.1.3 深度學習――大腦的仿真71.2 深度學習的發展歷程71.3 深度學習技術概述91.3.1 從低層到高層的特征抽像101.3.2 讓網絡變得更深121.3.3 自動特征提取131.4 深度學習框架142 Theano基礎182.1 符號變量192.2 符號計算的抽像――符號計算圖模型222.3 函數252.3.1 函數的定義252.3.2 Logistic回歸262.3.3 函數的復制282.4 條件表達式302.5 循環312.6 共享變量382.7 配置382.7.1 通過THEANO_FLAGS配置392.7.2 通過.theanorc文件配置402.8 常用的Debug技巧412.9 小結423 線性代數基礎433.1 標量、向量、矩陣和張量433.2 矩陣初等變換443.3 線性相關與向量空間453.4 範數463.4.1 向量範數463.4.2 矩陣範數493.5 特殊的矩陣與向量523.6 特征值分解533.7 奇異值分解553.8 跡運算563.9 樣例：主成分分析574 概率統計基礎614.1 樣本空間與隨機變量624.2 概率分布與分布函數624.3 一維隨機變量634.3.1 離散隨機變量和分布律634.3.2 連續隨機變量和概率密度函數644.4 多維隨機變量654.4.1 離散型二維隨機變量和聯合分布律664.4.2 連續型二維隨機變量和聯合密度函數664.5 邊緣分布674.6 條件分布與鏈式法則684.6.1 條件概率684.6.2 鏈式法則704.7 多維隨機變量的獨立性分析704.7.1 邊緣獨立714.7.2 條件獨立714.8 數學期望、方差、協方差724.8.1 數學期望724.8.2 方差734.8.3 協方差734.8.4 協方差矩陣754.9 信息論基礎784.9.1 信息熵784.9.2 條件熵804.9.3 互信息814.9.4 交叉熵與相對熵815 概率圖模型845.1 生成模型與判別模型865.2 圖論基礎875.2.1 圖的結構875.2.2 子圖885.2.3 路徑、跡、環與拓撲排序895.3 貝葉斯網絡935.3.1 因子分解935.3.2 局部馬爾科夫獨立性斷言965.3.3 I-Map與因子分解975.3.4 有效跡1015.3.5 D-分離與全局馬爾科夫獨立性1055.4 馬爾科夫網絡1065.4.1 勢函數因子與參數化表示1065.4.2 馬爾科夫獨立性1085.5 變量消除1125.6 信念傳播1135.6.1 聚類圖1135.6.2 團樹1175.6.3 由變量消除構建團樹1215.7 MCMC采樣1245.7.1 隨機采樣1245.7.2 隨機過程與馬爾科夫鏈1265.7.3 MCMC采樣1295.7.4 Gibbs采樣1315.8 參數學習1345.8.1 優選似然估計1345.8.2 期望優選化算法1355.9 小結1376 機器學習基礎1406.1 線性模型1416.1.1 線性回歸1416.1.2 Logistic回歸1466.1.3 廣義的線性模型1486.2 支持向量機1496.2.1 很優間隔分類器1506.2.2 對偶問題1536.2.3 核函數1546.3 樸素貝葉斯1586.4 樹模型1606.4.1 特征選擇1616.4.2 剪枝策略1636.5 聚類1646.5.1 距離度量1656.5.2 層次聚類1666.5.3 K-means聚類1696.5.4 譜聚類1707 數值計算與很優化1767.1 無約束極小值的很優化條件1767.2 梯度下降1787.2.1 傳統更新策略1807.2.2 動量更新策略1827.2.3 改進的動量更新策略1837.2.4 自適應梯度策略1867.3 共軛梯度1877.4 牛頓法1917.5 擬牛頓法1937.5.1 擬牛頓條件1937.5.2 DFP算法1947.5.3 BFGS1957.5.4 L-BFGS1967.6 約束很優化條件1998 前饋神經網絡2048.1 生結構2058.2 人結構2068.3 單層感知機2078.4 多層感知機2108.5 激活函數2148.5.1 激活函數的作用2158.5.2 常用的激活函數2179 反向傳播與梯度消失2249.1 經驗風險最小化2259.2 梯度計算2279.2.1 輸出層梯度2279.2.2 隱藏層梯度2299.2.3 參數梯度2339.3 反向傳播2349.4 深度學習訓練的難點2359.4.1 欠擬合――梯度消失2369.4.2 過擬合23910 自編碼器24210.1 自編碼器24210.2 降噪自編碼器24410.3 棧式自編碼器24610.4 稀疏編碼器24911 玻爾茲曼機25511.1 玻爾茲曼機25511.2 能量模型25811.2.1 能量函數25811.2.2 從能量函數到勢函數25911.2.3 從勢函數到概率分布26011.3 推斷26111.3.1 邊緣分布26211.3.2 條件分布26411.4 學習26711.4.1 優選似然估計26811.4.2 對比散度27111.5 應用：個性化推薦27311.5.1 個性化推薦概述27311.5.2 個性化推薦架構與算法27611.5.3 RBM與協同過濾28212 遞歸神經網絡28812.1 Elman遞歸神經網絡28912.2 時間反向傳播29212.3 長短時記憶網絡29612.4 結構遞歸神經網絡29912.5 應用：語言模型30412.5.1統計模型30512.5.2 基於遞歸網絡的語言模型309參考文獻：31213 卷積神經網絡31413.1 卷積運算31513.2 網絡結構31813.3 卷積層32013.4 池化層32513.5 應用：文本分類329
本書介紹了深度學習相關的原理與應用，全書共分為三大部分，第一部分主要回顧了深度學習的發展歷史，以及Theano的使用；第二部分詳細講解了與深度學習相關的基礎知識，包括線性代數、概率論、概率圖模型、機器學習和很優化算法；在第三部分中，針對若干核心的深度學習模型，如自編碼器、受限玻爾茲曼機、遞歸神經網絡和卷積神經網絡等進行詳細的原理分析與講解，並針對不同的模型給出相應的具體應用。本書適合有一定高等數學、機器學習和Python編程基礎的在校學生、高校研究者或在企業中從事深度學習的工程師使用，書中對模型的原理與難點進行了深入分析，在每一章的最後都提供了詳細的參考文獻，讀者可以對相關的細節進行更深入的研究。最後，理論與實踐相結合，本書針對常用的模型分別給出了相應的應用，讀者也可以在Github中下載和查看本書的代碼（https://github.com/innovation-cat/DeepLear等
