●章概率論基礎
1.1基本概念
1.2隨機變量數字特征
1.2.1期望
1.2.2方差
1.2.3矩與矩母函數
1.2.4協方差與協方差矩陣
1.3基本概率分布模型
1.3.1離散概率分布
1.3.2連續概率分布
1.3.3在R中使用內嵌分布
1.4概率論中的重要定理
1.4.1大數定理
1.4.2中央極限定理
1.5經驗分布函數
第2章統計推斷
2.1參數估計
2.1.1參數估計的基本原理
2.1.2單總體參數區間估計
2.1.3雙總體均值差的估計
2.1.4雙總體比例差的估計
2.2假設檢驗
2.2.1基本概念
2.2.2兩類錯誤
2.2.3均值檢驗
2.3極大似然估計
2.3.1極大似然法的基本原理
2.3.2求極大似然估計的方法
2.3.3極大似然估計應用舉例
第3章采樣方法
3.1蒙特卡洛法求定積分
3.1.1無意識統計學家法則
3.1.2投點法
3.1.3期望法
3.2蒙特卡洛采樣
3.2.1逆采樣
3.2.2博克斯-穆勒變換
3.2.3拒絕采樣與自適應拒絕采樣
3.3矩陣的極限與馬爾科夫鏈
3.4查普曼-柯爾莫哥洛夫等式
3.5馬爾科夫鏈蒙特卡洛
3.5.1重要性采樣
3.5.2馬爾科夫鏈蒙特卡洛的基本概念
3.5.3Metropolis-Hastings算法
3.5.4Gibbs采樣
第4章非參數檢驗方法
4.1列聯分析
4.1.1類別數據與列聯表
4.1.2皮爾遜(Pearson)的卡方檢驗
4.1.3列聯分析應用條件
4.1.4費希爾(Fisher)的確切檢驗
4.2符號檢驗
4.3威爾科克森符號秩檢驗
4.4威爾科克森的秩和檢驗
4.5克魯斯卡爾-沃利斯檢驗
第線性回歸
5.1回歸分析的性質
5.2回歸的基本概念
5.2.1總體的回歸函數
5.2.2隨機干擾的意義
5.2.3樣本的回歸函數
5.3回歸模型的估計
5.3.1普通最小二乘法原理
5.3線性回歸的應用
5.3.3經典模型的基本假定
5.3.4總體方差的無偏估計
5.3.5估計參數的概率分布
5.4正態條件下的模型檢驗
5.4.1擬合優度的檢驗
5.4.2整體性假定檢驗
5.4.3單個參數的檢驗
5線性回歸模型預測
5.5.1點預測
5.5.2區間預測
第線性回歸
6線性回歸模型
6回歸模型估計
6.2.1最小二乘估計量
6.2回歸的實例
6.2.3總體參數估計量
6.3從線性代數角度理解最小二乘
6.3.1最小二乘問題的通解
6.3.2最小二乘問題的計算
6回歸模型檢驗
6.4.1線性回歸的顯著性
6.4.2回歸繫數的顯著性
6線性回歸模型預測
6.6格蘭傑因果關繫檢驗
第7章線性回歸進階
7.1更多回歸模型函數形式
7.1.1雙對數模型以及生產函數
7.1.2倒數模型與斯曲線
7.1.3多項式回歸模型及其分析
7.2回歸模型的評估與選擇
7.2.1嵌套模型選擇
7.2.2赤池信息準則
7.2.3逐步回歸方法
7.3現代回歸方法的新進展
7.3.1多重共線性
7.3.2嶺回歸
7.3.3從嶺回歸到LASSO
7.3.4正則化
第8章方差分析方法
8.1方差分析的基本概念
8.2單因素方差分析方法
8.2.1基本原理
8.2.2分析步驟
8.2.3強度測量
8.3雙因素方差分析方法
8.3.1無交互作用的分析
8.3.2有交互作用的分析
8.4多重比較
8.4.1多重t檢驗
8.4.2Dunnett檢驗
8.4.3Tukey的HSD檢驗
8.4.4Newman-Keuls檢驗
8.5方差齊性的檢驗方法
8.5.1Bartlett檢驗法
8.5.2Levene檢驗法
第9章邏輯回歸與優選熵模型
9.1邏輯回歸
9.2牛頓法解Logistic回歸
9邏輯回歸
9.4優選熵模型
9.4.1優選熵原理
9.4.2約束條件
9.4.3模型推導
9.4.4極大似然估計
0章聚類分析
10.1聚類的概念
10.2K均值算法
10.2.1距離度量
10.2.2算法描述
10.2.3數據分析實例
10.2.4圖像處理應用舉例
10.3優選期望算法
10.3.1算法原理
10.3.2收斂探討
10.4高斯混合模型
10.4.1模型推導
10.4.2應用實例
10.5密度聚類與DBSCAN算法
1章支持向量機
11.1線性可分的支持向量機
11.1.1函數距離與幾何距離
11.1.2優選間隔分類器
11.1.3拉格朗日乘數法
11.1.4對偶問題的求解
11.2松弛因子與軟間隔模型
11.3非線性支持向量機方法
11.3.1從更高維度上分類
11.3.2非線性核函數方法
11.3.3機器學習中的核方法
11.3.4默瑟定理
11.4對數據進行分類的實踐
11.4.1基本建模函數
11.4.2分析建模結果
2章貝葉斯推斷
12.1貝葉斯公式與邊緣分布
12.2貝葉斯推斷中的重要概念
12.2.1先驗概率與後驗概率
12.2.2共軛分布
12.3樸素貝葉斯分類器
12.4貝葉斯網絡
12.4.1基本
12.4.2模型推理
12.5貝葉斯推斷的應用舉例
3章降維與流形學習
13.1主成分分析(PCA)
13.2奇異值分解(SVD)
13.2.1一個基本的認識
13.2.2為什麼可以做SVD
13.2.3SVD與PCA的關繫
13.2.4應用舉例與矩陣的偽逆
13.3多維標度法(MDS)
4章決策樹
14.1決策樹基礎
14.1.1Hunt算法
14.1.2基尼測度與劃分
14.1.3信息熵與信息增益
14.1.4分類誤差
14.2決策樹進階
14.2.1ID3算法
14.2.2C4.5算法
14.3分類回歸樹
14.4決策樹剪枝
14.4.1沒有免費午餐原理
14.4.2剪枝方法
14.5分類器的評估
5章人工神經網絡
15.1從感知機開始
15.1.1感知機模型
15.1.2感知機學習
15.1.3多層感知機
15.2基本神經網絡
15.2.1神經網絡結構
15.2.2符號標記說明
15.2.3後向傳播算法
15.3神經網絡實踐
15.3.1核心函數介紹
15.3.2應用分析實踐
附錄A必不可少的數學基礎
A.1泰勒公式
A.2海塞矩陣
A.3凸函數與詹森不等式
A.3.1凸函數的概念
A.3.2詹森不等式及其證明
A.3.3詹森不等式的應用
A.4泛函與抽像空間
A.4.1線性空間
A.4.2距離空間
A.4.3賦範空間
A.4.4巴拿赫空間
A.4.5內積空間
A.4.6希爾伯特空間
A.5從泛函到變分法
A.5.1理解泛函的概念
A.5.2關於變分的概念
A.5.3變分法的基本方程
A.5.4哈密爾頓原理
A.5.5等式約束下的變分
參考文獻
內容簡介
本書從統計學觀點出發，以數理統計為基礎，全面繫統地介紹了統計機器學習的主要方法。內容涉及回歸（線性回歸、多項式回歸、非線性回歸、嶺回歸，以及LASSO等）、分類（感知機、邏輯回歸、樸素貝葉斯、決策樹、支持向量機、人工神經網絡等）、聚類（K均值、EM算法、密度聚類等）、蒙特卡洛采樣（拒絕采樣、自適應拒絕采樣、重要性采樣、吉布斯采樣和馬爾科夫鏈蒙特卡洛等）、降維與流形學習（SVD、PCA和MDS等），以及概率圖模型基礎等話題。此外，為方便讀者自學，本書還扼要地介紹了機器學習中所推薦的數學知識（包括概率論與數理統計、凸優化及泛函分析基礎等）。本書是統計機器學習及相關課程的教學參考書，適用於高等院校人工智能、機器學習或數據挖掘等相關專業的師生研習之用，也可供從事計算機應用，特別是數據科學相關專業的研發人員參考。
