近年來，深度學習的浪潮席卷了學術界和產業界，它強有力的能力給人們留下了深刻的印像。但是人們會發現，機器學習有著艱深的理論背景，不能透徹理解原理，就難以在實踐中自由地運用。因此，本書應運而生。本書以神經網絡為線索，沿著從線性模型到深度學習的路線講解神經網絡的原理和實現，並具有以下幾個特點：1. 深入理解深度學習的原理，去除枝蔓，直奔主干，但同時深度上不打。2. 由淺入深，環環相扣；對數學的介紹經過精心設計，不偏離主干又不失深度。3. 各章節組成有機連續的整體，順暢地引領讀者理解神經等

●第 一部分  線性模型第 1章  邏輯回歸21.1  作為一的邏輯回歸21.2  基礎向量幾何41.2.1  向量41.2.2  向量的和、數乘與零向量61.2.3  向量的內積、模與投影81.2.4  線性空間、基與線性函數111.2.5  直線、超平面與仿射函數141.3  從幾何角度理解邏輯回歸的能力 和局限171.4  實例：根據鳥類骨骼判斷生態類群201.5  小結24第 2章  模型評價與損失函數252.1  訓練集與測試集252.2  分類模型的評價262.2.1  混淆矩陣262.2.2  正確率272.2.3  查準率272.2.4  查全率272.2.5  ROC曲線282.3  損失函數292.3.1  K-L散度與交叉熵292.3.2  優選似然估計312.3.3  從幾何角度理解交叉熵損失332.4  小結35第3章  梯度下降法363.1 &nbs函數的微分363.1.1  梯度373.1.2  方向導數403.1.3  偏導數433.1.4  駐點433.1.5  局部極小點443.2  梯度下降法463.2.1  反梯度場473.2.2  梯度下降法493.2.3  梯度下降法的問題503.3  梯度下降法的改進523.3.1  學習率調度523.3.2  衝量法543.3.3  AdaGrad553.3.4  RMSProp563.3.5  Adam573.4  運用梯度下降法訓練邏輯回歸593.5  梯度下降法訓練邏輯回歸的Python 實現613.6  小結67第4章  超越梯度下降684.1  矩陣684.1.1  矩陣基礎684.1.2  矩陣的逆714.1.3  特征值與特征向量734.1.4  對稱矩陣的譜分解744.1.5  奇異值分解764.1.6  二次型774.2 &nbs函數的局部二階特性794.2.1  赫森矩陣794.2.2  二階泰勒展開794.2.3  駐點的類型824.2.4  赫森矩陣的條件數844.3  基於二階特性的優化874.3.1  牛頓法874.3.2  共軛方向法924.4  運用牛頓法訓練邏輯回歸954.5  牛頓法訓練邏輯回歸的Python實現984.6  小結100第5章  正則化1025.1  概率論回顧1025.1.1  隨機變量1025.1.2 &nbs隨機變量1055.1.3 &nbs隨機變量的期望和協方差 矩陣1065.1.4  樣本均值和樣本協方差矩陣1065.1.5  主成分1085.1.6  正態分布1115.2  模型自由度與偏置 方差權衡1155.2.1  最小二乘線性回歸1165.2.2  模型自由度1185.2.3  偏置 方差權衡1195.3  正則化1225.3.1  嶺回歸與L2正則化1225.3.2  L2正則化的貝葉斯視角1255.3.3  L1正則化1265.4  過擬合與欠擬合1275.5  運用L2正則化訓練邏輯回歸1305.6  運用L2正則化訓練邏輯回歸的 Python實現1325.7  小結135第二部分  神經網絡第6章  神經網絡1386.1  合作1386.2  多層全連接神經網絡1426.3  激活函數1456.3.1  Linear1456.3.2  Logistic1466.3.3  Tanh1486.3.4  ReLU1506.3.5  Leaky ReLU以及PReLU1516.3.6  SoftPlus1536.4  多分類與SoftMax1546.5  小結157第7章  反向傳播1587.1  映射1587.1.1  仿射映射1587.1.2  雅可比矩陣1597.1.3  鏈式法則1607.2  反向傳播1627.2.1  網絡的符號表示1627.2.2  原理1637.2.3  實現1667.3  相關問題1697.3.1  計算量1697.3.2  梯度消失1707.3.3  正則化1707.3.4  權值初始化1717.3.5  提前停止1717.4  多層全連接神經網絡的Python實現1737.5  小結182第8章  計算圖1838.1  計算圖模型1838.1.1  簡介1838.1.2  多層全連接神經網絡的計算 圖1878.1.3  其他神經網絡結構的計算圖1888.2  自動求導1908.3  自動求導的實現1928.4  計算圖的Python實現1958.5  小結214第9章  卷積神經網絡2159.1  卷積2159.1.1 &nbs函數的卷積2159.1.2 &nbs函數的卷積2199.1.3  濾波器2239.2  卷積神經網絡的組件2289.2.1  卷積層2289.2.2  激活層2309.2.3  池化層2319.2.4  全連接層2339.2.5  跳躍連接2349.3  深度學習的正則化方法2369.3.1  權值衰減2369.3.2  Dropout2379.3.3  權值初始化2379.3.4  批標準化2389.3.5  數據增強2399.4  小結239第 10章  經典CNN24110.1  LeNet-524110.2  AlexNet24510.3  VGGNet24810.4  GoogLeNet25110.5  ResNet25510.6  小結257第 11章  TensorFlow實例25811.1  多分類邏輯回歸25811.2  多層全連接神經網絡26611.3  LeNet-526911.4  AlexNet27311.5  VGG1627711.4  小結280附錄A  C胞自動機281參考文獻311

本書以神經網絡為線索，沿著從線性模型到深度學習的路線講解神經網絡的原理和實現。本書將數學基礎知識與機器學習和神經網絡緊密結合，包含線性模型的結構與局限、損失函數、基於一階和二階信息的優化算法、模型自由度與正則化、神經網絡的表達能力、反向傳播與計算圖自動求導、卷積神經網絡等主題，幫助讀者建立基於數學原理的較深刻的洞見和認知。本書還提供了邏輯回歸、多層全連接神經網絡和多種訓練算法的Python實現，以及運用TensorFlow搭建和訓練多種卷積神經網絡的代碼實例。

張覺非 著