了得網研究生_稀疏統計學習及其應用

內容簡介

稀疏統計模型隻具有少數非零參數或權重，經典地體現了化繁為簡的理念，因而廣泛應用於諸多領域。本書就稀疏性統計學習做出總結，以 lasso方法為中心，層層推進，逐漸囊括其他方法，深入探討諸多稀疏性問題的求解和應用；不僅包含大量的例子和清晰的圖表，還附有文獻注釋和課後練習，是深入學習統計學知識的參考。
本書適合算法、統計學和機器學習專業人士。

作者簡介

Trevor Hastie 美國統計學家和計算機科學家，斯坦福大學統計學教授，英國皇家統計學會、國際數理統計協會和美國統計學會會士。Hastie參與開發了R中的大部分統計建模軟件和環境，發明了主曲線和主曲面。

Robert Tibshirani 斯坦福大學統計學教授，國際數理統計協會、美國統計學會和加拿大皇家學會會士，1996年COPSS總統獎得主，提出lasso方法。Hastie和Tibshirani都是統計學習領域的泰山北鬥，兩人合著了The Elements of Statistical Learning，還合作講授斯坦福大學的公開課“統計學習”。

Martin Wainwright 畢業於MIT，加州大學伯克利分校教授，以對統計與計算交叉學的理論和方法研究而聞名於學界，主要關注高維統計、機器學習、圖模型和信息理論。2014年COPSS總統獎得主。
Trevor Hastie 美國統計學家和計算機科學家，斯坦福大學統計學教授，英國皇家統計學會、國際數理統計協會和美國統計學會會士。Hastie參與開發了R中的大部分統計建模軟件和環境，發明了主曲線和主曲面。

Robert Tibshirani 斯坦福大學統計學教授，國際數理統計協會、美國統計學會和加拿大皇家學會會士，1996年COPSS總統獎得主，提出lasso方法。Hastie和Tibshirani都是統計學習領域的泰山北鬥，兩人合著了The Elements of Statistical Learning，還合作講授斯坦福大學的公開課“統計學習”。

Martin Wainwright 畢業於MIT，加州大學伯克利分校教授，以對統計與計算交叉學的理論和方法研究而聞名於學界，主要關注高維統計、機器學習、圖模型和信息理論。2014年COPSS總統獎得主。

劉波（譯者）博士，重慶工商大學計算機科學與信息工程學院教師，主要從事機器學習理論、計算機視覺和*化技術研究，同時愛好Hadoop和Spark平臺上的大數分析，也對Linux平臺的編程和Oracle數據庫感興趣。

景鵬傑（譯者）碩士，畢業於上海交通大學。碩士階段主要從事模式識別與數據挖掘基礎理論、生物醫學大數據挖掘與建模等工作，在國際期刊及會議Bioinformatics，CCPR等上面發表數篇論文。目前從事期貨交易繫統開發工作。

第 1章引言 1

第 2章 lasso線性模型 6

2.1引言 6

2.2 lasso估計 7

2.3交叉驗證和推斷 10

2.4 lasso解的計算 12

2.4.1基於單變量的軟閾值法 12
第 1章引言 1

第 2章 lasso線性模型 6

2.1引言 6

2.2 lasso估計 7

2.3交叉驗證和推斷 10

2.4 lasso解的計算 12

2.4.1基於單變量的軟閾值法 12

2.4.2基於多變量的循環坐標下降法 13

2.4.3軟閾值與正交基 15

2.5自由度 15

2.6 lasso解 16

2.7理論概述 17

2.8非負 garrote 17

2.9烏q懲罰和貝葉斯估計 19

2.10一些觀點 20

習題 21

第 3章廣義線性模型 24

3.1引言 24

3.2邏輯斯蒂回歸模型 26

3.2.1示例：文本分類 27

3.2.2算法 29

3.3多分類邏輯斯蒂回歸 30

3.3.1示例：手寫數字 31

3.3.2算法 32

3.3.3組 lasso多分類 33

3.4對數線性模型及泊松廣義線性模型 33

3.5 Cox比例風險模型 35

3.5.1交叉驗證 37

3.5.2預驗證 38

3.6支持向量機 39

3.7計算細節及 glmnet 43

參考文獻注釋 44

習題 45

第 4章廣義 lasso懲罰 47

4.1引言 47

4.2彈性網懲罰 47

4.3組 lasso 50

4.3.1組 lasso計算 53

4.3.2稀疏組 lasso 54

4.3.3重疊組 lasso 56

4.4稀疏加法模型和組 lasso 59

4.4.1加法模型和 back.tting 59

4.4.2稀疏加法模型和 back.tting 60

4.4.3優化方法與組 lasso 61

4.4.4稀疏加法模型的多重懲罰 64

4.5融合 lasso 65

4.5.1擬合融合 lasso 66

4.5.2趨勢濾波 69

4.5.3近保序回歸 70

4.6非凸懲罰 72

參考文獻注釋 74

習題 75

第 5章優化方法 80

5.1引言 80

5.2凸優化條件 80

5.2.1優化可微問題 80

5.2.2非可微函數和次梯度 83

5.3梯度下降 84

5.3.1無約束的梯度下降 84

5.3.2投影梯度法 86

5.3.3近點梯度法 87

5.3.4加速梯度方法 90

5.4坐標下降 92

5.4.1可分性和坐標下降 93

5.4.2線性回歸和 lasso 94

5.4.3邏輯斯蒂回歸和廣義線性模型 97

5.5仿真研究 99

5.6z小角回歸 100

5.7交替方向乘子法 103

5.8優化?Czui小化算法 104

5.9雙凸問題和交替zui小化 105

5.10篩選規則 108

參考文獻注釋 111

附錄 A lasso的對偶 112

附錄 B DPP規則的推導 113

習題 114

第 6章統計推斷 118

6.1貝葉斯 lasso 118

6.2自助法 121

6.3 lasso法的後選擇推斷 125

6.3.1協方差檢驗 125

6.3.2選擇後推斷的更廣方案 128

6.3.3檢驗何種假設 133

6.3.4回到向前逐步回歸 134

6.4通過去偏 lasso推斷 134

6.5後選擇推斷的其他建議 136

參考文獻注釋 137

習題 138

第 7章矩陣的分解、近似及填充 141

7.1引言 141

7.2奇異值分解 142

7.3缺失數據和矩陣填充 143

7.3.1 Net.x電影挑戰賽 144

7.3.2基於原子範數的矩陣填充 146

7.3.3矩陣填充的理論結果 149

7.3.4間隔分解及相關方法 153

7.4減秩回歸 154

7.5通用矩陣回歸框架 156

7.6懲罰矩陣分解 157

7.7矩陣分解的相加形式 160

參考文獻注釋 164

習題 165

第 8章方法 169

8.1引言 169

8.2稀疏組成分分析 169

8.2.1背景 169

8.2.2稀疏主成分 171

8.2.3秩大於 1的解 174

8.2.4基於 Fantope投影的稀疏 PCA 176

8.2.5稀疏自編碼和深度學習 176

8.2.6稀疏 PCA的一些理論 178

8.3稀疏典型相關分析 179

8.4稀疏線性判別分析 182

8.4.1標準理論和貝葉斯規則 182

8.4.2近收縮中心 183

8.4.3 Fisher線性判別分析 184

8.4.4評分 188

8.5稀疏聚類 190

8.5.1聚類的一些背景知識 191

8.5.2稀疏層次聚類 191

8.5.3稀疏 K均值聚類 192

8.5.4凸聚類 193

參考文獻注釋 195

習題 196

第 9章圖和模型選擇 202

9.1引言 202

9.2圖模型基礎 202

9.2.1分解和馬爾可夫特性 202

9.2.2幾個例子 204

9.3基於懲罰似然的圖選擇 206

9.3.1高斯模型的全局似然性 207

9.3.2圖 lasso算法 208

9.3.3利用塊對角化結構 210

9.3.4圖 lasso的理論保證 211

9.3.5離散模型的全局似然性 212

9.4基於條件推斷的圖選擇 213

9.4.1高斯分布下基於近鄰的似然概率 214

9.4.2離散模型下基於近鄰的似然概率 214

9.4.3混合模型下的偽似然概率 217

9.5帶隱變量的圖模型 218

參考文獻注釋 219

習題 221

第 10章信號近似與壓縮感知 225

10.1引言 225

10.2信號與稀疏表示 225

10.2.1正交基 225

10.2.2用正交基逼近 228

10.2.3用過完備基來重構 229

10.3隨機投影與近似 231

10.3.1 Johnson?CLindenstrauss近似 231

10.3.2壓縮感知 232

10.4烏0恢復與烏1恢復之間的等價性 234

10.4.1受限零空間性質 235

10.4.2受限零空間的充分條件 235

10.4.3證明 237

參考文獻注釋 238

習題 239

第 11章 lasso的理論結果 242

11.1引言 242

11.1.1損失函數類型 242

11.1.2稀疏模型類型 243

11.2 lasso烏2誤差的界限 244

11.2.1經典情形中的強凸性 244

11.2.2回歸受限特征值 245

11.2.3基本一致性結果 246

11.3預測誤差的界 250

11.4線性回歸中的支持恢復 252

11.4.1 lasso的變量選擇一致性 252

11.4.2定理 11.3的證明 256

11.5超越基礎 lasso 259

參考文獻注釋 260

習題 261

參考文獻 264

媒體評論

“作者們在書中研究分析了用一些統計模型中的稀疏特性來處理大數據的方法，主要關注lasso模型的求解算法和近年研究成果。” ——《數學文摘》

“本書涵蓋了統計學的所有重要分支，每個主題都有基本問題的詳盡介紹和求解算法，給出了基於稀疏性的分析方案。可以說，此書就是稀疏統計學習的標準教材。” ——Anand Panangadan，加州大學富勒頓分校

“毋庸置疑，這本書是大數據技術領域重要著作。作為研究大數據的重要手段，lasso模型一直備受關注，但尚未有繫統介紹其的相關資料，本書填補了這一空白，而且由領域內的三位大咖執筆，值得期待。” ——Norm Matloff，加州大學戴維斯分校

商品搜索

商品分类

【醫學】

【各大出版社】