·上海交通大學特別研究員、阿裡巴巴、百度算法專家、優酷首席科學家、谷歌機器學習開發者專家力薦教材·透徹地理解機器學習算法，從數學層面搞懂這些核心算法原理的邏輯，具備推導和證明算法的能力·在解決人工智能工程實踐的問題中，能夠用數學知識進行分析和建模·精準覆蓋人工智能領域中機器學習、深度學習、強化學習相關的數學知識·從機器學習應用的角度講授數學，讓數學在機器學習中的應用無縫銜接·涵蓋概率論、信息論、很優化方法等機器學習中的目標函數構造、模型優化以及各種機器學習算法的核心知識·囊括了微積分等

●第函數微積分1
1．1極限與連續
1．1．1可數集與不可數集
1．1．2數列的極限
1．1．3函數的極限
1．1．4函數的連續性與間斷點
1．1．5上確界與下確界
1．1．6李普希茨連續性
1．1．7無窮小量
1．2導數與微分
1．2．1一階導數
1．2．2機器學習中的常用函數
1．2．3高階導數
1．2．4微分
1．2．5導數與函數的單調性
1．2．6極值判別法則
1．2．7導數與函數的凹凸性
1．3微分中值定理
1．3．1羅爾中值定理
1．3．2拉格朗日中值定理
1．3．3柯西中值定理
1．4泰勒公式
1．5不定積分
1．5．1不定積分的定義與性質
1．5積分法
1．5．3分部積分法
1．6定積分
1．6．1定積分的定義與性質
1．6．2牛頓-萊布尼茨公式
1．6．3定積分的計算
1．6．4變上限積分
1．6．5定積分的應用
1．6．6廣義積分
1．7常微分方程
1．7．1基本概念
1．7．2一階線性微分方程
第2章線性代數與矩陣論
2．1向量及其運算
2．1．1基本概念
2．1．2基本運算
2．1．3向量的範數
2．1．4解析幾何
2．1．5線性相關性
2．1．6向量空間
2．1．7應用——線性回歸
2．1．8應用——線性分類器與支持向量機
2．2矩陣及其運算
2．2．1基本概念
2．2．2基本運算
2．2．3逆矩陣
2．2．4矩陣的範數
2．2．5應用——人工神經網絡
2．2．6線性變換
2．3行列式
2．3．1行列式的定義與性質
2．3．2計算方法
2．4線性方程組
2．4．1法
2．4．2齊次方程組
2．4．3非齊次方程組
2．5特征值與特征向量
2．5．1特征值與特征向量
2．5．2相似變換
2．5．3正交變換
2．5．4QR算法
2．5．5廣義特征值
2．5．6瑞利商
2．5．7譜範數與特征值的關繫
2．5．8條件數
2．5．9應用——譜歸一化與譜正則化
2．6二次型
2．6．1基本概念
2．6．2正定二次型與正定矩陣
2．6．3標準型
2．7矩陣分解
2．7．1楚列斯基分解
2．7．2QR分解
2．7．3特征值分解
2．7．4奇異值分解
第函數微積分
3．1偏導數
3．1．1一階偏導數
3．1．2高階偏導數
3．1．3全微分
3．1．4鏈式法則
3．2梯度與方向導數
3．2．1梯度
3．2．2方向導數
3．2．3應用——邊緣檢測與HOG特征
3．3黑塞矩陣
3．3．1黑塞矩陣的定義與性質
3．3．2凹凸性
3．3．3極值判別法則
3．3．4應用——最小二乘法
3．4雅可比矩陣
3．4．1雅可比矩陣的定義和性質
3．4．2鏈式法則的矩陣形式
3．5向量與矩陣求導
3．5．1常用求導公式
3．5．2應用——反向傳播算法
3．6微分算法
3．6．1符號微分
3．6．2數值微分
3．6．3自動微分
3．7泰勒公式
3．8多重積分
3．8．1二重積分
3．8．2三重積分
3．8．3n重積分
3．9無窮級數
3．9．1常數項級數
3．9．2函數項級數
第4章很優化方法
4．1基本概念
4．1．1問題定義
4．1．2迭代法的基本思想
4．2一階優化算法
4．2．1梯度下降法
4．2．2最速下降法
4．2．3梯度下降法的改進
4．2．4隨機梯度下降法
4．2．5應用——人工神經網絡
4．3二階優化算法
4．3．1牛頓法
4．3．2擬牛頓法
4．4分治法
4．4．1坐標下降法
4．4．2SMO算法
4．4．3分階段優化
4．4．4應用——logistic回歸
4．5凸優化問題
4．5．1數值優化算法面臨的問題
4．5．2凸集
4．5．3凸優化問題及其性質
4．5．4機器學習中的凸優化問題
4．6帶約束的優化問題
4．6．1拉格朗日乘數法
4．6．2應用——線性判別分析
4．6．3拉格朗日對偶
4．6．4KKT條件
4．6．5應用——支持向量機
4．7多目標優化問題
4．7．1基本概念
4．7．2求解算法
4．7．3應用——多目標神經結構搜索
4．8泛函極值與變分法
4．8．1泛函與變分
4．8．2歐拉—拉格朗日方程
4．8．3應用——證明兩點之間直線最短
4．9目標函數的構造
4．9．1有監督學習
4．9．2無監督學習
4．9．3強化學習
第5章概率論
5．1隨機事件與概率
5．1．1隨機事件概率
5．1．2條件概率
5．1．3全概率公式
5．1．4貝葉斯公式
5．1．5條件獨立
5．2隨機變量
5．2．1離散型隨機變量
5．2．2連續型隨機變量
5．2．3數學期望
5．2．4方差與標準差
5．2．5Jensen不等式
5．3常用概率分布
5．3．1均勻分布
5．3．2伯努利分布
5．3．3二項分布
5．3．4多項分布
5．3．5幾何分布
5．3．6正態分布
5．3．7t分布
5．3．8應用——顏色直方圖
5．3．9應用——貝葉斯分類器
5．4分布變換
5．4．1隨機變量函數
5．4．2逆變換采樣算法
5．5隨機向量
5．5．1離散型隨機向量
5．5．2連續型隨機向量
5．5．3數學期望
5．5．4協方差
5．5．5常用概率分布
5．5．6分布變換
5．5．7應用——高斯混合模型
5．6極限定理
5．6．1切比雪夫不等式
5．6．2大數定律
5．6．3中心極限定理
5．7參數估計
5．7．1優選似然估計
5．7．2優選後驗概率估計
5．7．3貝葉斯估計
5．7．4核密度估計
5．7．5應用——logistic回歸
5．7．6應用——EM算法
5．7．7應用——MeanShift算法
5．8隨機算法
5．8．1基本隨機數生成算法
5．8．2遺傳算法
5．8．3蒙特卡洛算法
5．9采樣算法
5．9．1拒絕采樣
5．9．2重要性采樣
第6章信息論
6．1熵與聯合熵
6．1．1信息量與熵
6．1．2熵的性質
6．1．3應用——決策樹
6．1．4聯合熵
6．2交叉熵
6．2．1交叉熵的定義
6．2．2交叉熵的性質
6．2．3應用——softmax回歸
6．3Kullback-Leibler散度
6．3．1KL散度的定義
6．3．2KL散度的性質
6．3．3與交叉熵的關繫
6．3．4應用——流形降維
6．3．5應用——變分推斷
6．4Jensen-Shannon散度
6．4．1JS散度的定義
6．4．2JS散度的性質
6．4．3應用——生成對抗網絡
6．5互信息
6．5．1互信息的定義
6．5．2互信息的性質
6．5．3與熵的關繫
6．5．4應用——特征選擇
6．6條件熵
6．6．1條件熵定義
6．6．2條件熵的性質
6．6．3與熵以及互信息的關繫
6．7總結
第7章隨機過程
7．1馬爾可夫過程
7．1．1馬爾可夫性
7．1．2馬爾可夫鏈的基本概念
7．1．3狀態的性質與分類
7．1．4平穩分布與極限分布
7．1．5細致平衡條件
7．1．6應用——隱馬爾可夫模型
7．1．7應用——強化學習
7．2馬爾可夫鏈采樣算法
7．2．1基本馬爾可夫鏈采樣
7．2．2MCMC采樣算法
7．2．3Metropolis-Hastings算法
7．2．4Gibbs算法
7．3高斯過程
7．3．1高斯過程性質
7．3．2高斯過程回歸
7．3．3應用——貝葉斯優化
第8章圖論
8．1圖的基本概念
8．1．1基本概念
8．1．2應用——計算圖與自動微分
8．1．3應用——概率圖模型
8．1．4鄰接矩陣與加權度矩陣
8．1．5應用——樣本集的相似度圖
8．2若干特殊的圖
8．2．1聯通圖
8．2．2二部圖
8．2．3應用——受限玻爾茲曼機
8．2．4有向無環圖
8．2．5應用——神經結構搜索
8．3重要的算法
8．3．1遍歷算法
8．3．2最短路徑算法
8．3．3拓撲排序算法
8．4譜圖理論
8．4．1拉普拉斯矩陣
8．4．2歸一化拉普拉斯矩陣
8．4．3應用——流形降維

本書的目標是幫助讀者全面、繫統地學習機器學習所必須的數學知識。全書由8章組成，力求精準、最小地覆蓋機器學習的數學知識。包括微積分，線性代數與矩陣論，**化方法，概率論，信息論，隨機過程，以及圖論。本書從機器學習的角度講授這些數學知識，對它們在該領域的應用舉例說明，使讀者對某些抽像的數學知識和理論的實際應用有直觀、具體的認識。 本書內容緊湊，結構清晰，深入淺出，講解詳細。可用作計算機、人工智能、電子工程、自動化、數學等相關專業的教材與教學參考書。對人工智能領域的工程技術人員與產品研發人員，本書也有很強的參考價值。對於廣大數學與應用的數學愛好者，本書亦為適合自學的讀本。

雷明 著