●章 統計學習方法概論
1.1 統計學習
1.2 監督學習
1.2.1 基本概念
1.2.2 問題的形式化
1.3 統計學習三要素
1.3.1 模型
1.3.2 策略
1.3.3 算法
1.4 模型評估與模型選擇
1.4.1 訓練誤差與測試誤差
1.4.2 過擬合與模型選擇
1.5 正則化與交叉驗證
1.5.1 正則化
1.5.2 交叉驗證
1.6 泛化能力
1.6.1 泛化誤差
1.6.2 泛化誤差上界
1.7 生成模型與判別模型
1.8 分類問題
1.9 標注問題
1.10 回歸問題
本章概要
繼續閱讀
習題
參考文獻
第2章 感知機
2.1 感知機模型
2.2 感知機學習策略
2.2.1 數據集的線性可分性
2.2.2 感知機學習策略
2.3 感知機學習算法
2.3.1 感知機學習算法的原始形式
2.3.2 算法的收斂性
2.3.3 感知機學習算法的對偶形式
本章概要
繼續閱讀
習題
參考文獻
第3章 眾近鄰法
3.1 k近鄰算法
3.2 k近鄰模型
3.2.1 模型
3.2.2 距離度量
3.2.3 k值的選擇
3.2.4 分類決策規則
3.3 k近鄰法的實現:kd樹
3.3.1 構造af樹
3.3.2 搜索af樹
本章概要
繼續閱讀
習題
參考文獻
第4章 樸素貝葉斯法
4.1 樸素貝葉斯法的學習與分類
4.1.1 基本方法
4.1.2 後驗概率優選化的含義
4.2 樸素貝葉斯法的參數估計
4.2.1 極大似然估計
4.2.2 學習與分類算法
4.2.3 貝葉斯估計
本章概要
繼續閱讀
習題
參考文獻
第5章 決策樹
5.1 決策樹模型與學習
5.1.1 決策樹模型
5.1.2 決策樹與isthen規則
5.1.3 決策樹與條件概率分布
5.1.4 決策樹學習
5.2 特征選擇
5.2.1 特征選擇問題
5.2.2 信息增益
5.2.3 信息增益比
5.3 決策樹的生成
5.3.1 1d3算法
5.3.2 c4.5 的生成算法
5.4 決策樹的剪枝
5.5 cart算法
5.5.1 cart生成
5.5.2 cart剪枝
本章概要
繼續閱讀
習題
參考文獻
第6章 邏輯斯諦回歸與優選熵模型
6.1 邏輯斯諦回歸模型
6.1.1 邏輯斯諦分布
6.1.2 項邏輯斯諦回歸模型
6.1.3 模型參數估計
6.1.4 多項邏輯斯諦回歸
6.2 優選熵模型
6.2.1 優選熵原理
6.2.2 優選熵模型的定義
6.2.3 優選熵模型的學習
6.2.4 極大似然估計
6.3 模型學習的最優化算法
6.3.1 改進的迭代尺度法
6.3.2 擬牛頓法
本章概要
繼續閱讀
習題
參考文獻
第7章 支持向量機
7.1 線性可分支持向量機與硬間隔優選化
7.1.1 線性可分支持向量機
7.1.2 函數間隔和幾何間隔
7.1.3 間隔優選化
7.1.4 學習的對偶算法
7.2 線性支持向量機與軟間隔優選化
7.2.1 線性支持向量機
7.2.2 學習的對偶算法
7.2.3 支持向量
7.2.4 合頁損失函數
7.3 非線性支持向量機與核函數
7.3.1 核技巧
7.3.2 定核
7.3.3 常用核函數
7.3.4 非線性支持向量分類機
7.4 序列最小最優化算法
7.4.1 兩個變量二次規劃的求解方法
7.4.2 變量的選擇方法
7.4.3 smo算法
本章概要
繼續閱讀
習題
參考文獻
第8章 提升方法
8.1 提升方法adaboost算法
8.1.1 提升方法的基本思路
8.1.2 adaboost算法
8.1.3 adaboost的例子
8.2 adaboost算法的訓練誤差分析
8.3 adaboost算法的解釋
8.3.1 前向分步算法
8.3.2 前向分步算法與ad9boost
8.4 提升樹
8.4.1 提升樹模型
8.4.2 提升樹算法
8.4.3 梯度提升
本章概要
繼續閱讀
習題
參考文獻
第9章 em算法及其推廣
9.1 em算法的引入
9.1.1 em算法
9.1.2 em算法的導出
9.1.3 em算法在非監督學習中的應用
9.2 em算法的收斂性
9.3 em算法在高斯混合模型學習中的應用
9.3.1 高斯混合模型
9.3.2 高斯混合模型參數估計的em算法
9.4 em算法的推廣
9.4.1 f函數的極大極大算法
9.4.2 gem算法
本章概要
繼續閱讀
習題
參考文獻
0章 隱馬爾可夫模型
10.1 隱馬爾可夫模型的基本概念
10.1.1 隱馬爾可夫模型的定義
10.1.2 觀測序列的生成過程
10.1.3 隱馬爾可夫模型的3個基本問題
10.2 概率計算算法
10.2.1 直接計算法
10.2.2 前向算法
10.2.3 後向算法
10.2.4 一些概率與期望值的計算
10.3 學習算法
10.3.1 監督學習方法
10.3.2 baum-welch算法
10.3.3 baum-welch模型參數估計公式
10.4 預測算法
10.4.1 近似算法
10.4.2 維特比算法
本章概要
繼續閱讀
習題
參考文獻
1章 條件隨機場
11.1 概率無向圖模型
11.1.1 模型定義
11.1.2 概率無向圖模型的因子分解
11.2 條件隨機場的定義與形式
11.2.1 條件隨機場的定義
11.2.2 條件隨機場的參數化形式
11.2.3 條件隨機場的簡化形式
11.2.4 條件隨機場的矩陣形式
11.3 條件隨機場的概率計算問題
11.3.1 前向後向算法
11.3.2 概率計算
11.3.3 期望值的計算
11.4 條件隨機場的學習算法
11.4.1 改進的迭代尺度法
11.4.2 擬牛頓法
11.5 條件隨機場的預測算法
本章概要
繼續閱讀
習題
參考文獻
2章 統計學習方法總結
附錄a 梯度下降法
附錄b 牛頓法和擬牛頓法
附錄c 拉格朗日對偶性
索引
內容簡介
《統計學習方法》是計算機及其應用領域的一門重要的學科。《統計學習方法》全面繫統地介紹了統計學習的主要方法,特別是監督學習方法,包括感知機、k近鄰法、樸素貝葉斯法、決策樹、邏輯斯諦回歸與熵模型、支持向量機、提升方法、EM算法、隱馬爾可夫模型和條件隨機場等。除章概論和很後一章總結外,每章介紹一種方法。敘述從具體問題或實例入手,由淺入深,闡明思路,給出必要的數學推導,便於讀者掌握統計學習方法的實質,學會運用。為滿足讀者進一步學習的需要,書中還介紹了一些相關研究,給出了少量習題,列出了主要參考文獻。《統計學習方法》是統計學習及相關課程的教學參考書,適用於高等院校文本數據挖掘、信息檢索及自然語言處理等專業的大學生、研究生,也可供從事計算機應用相關專業的研發人員參考。