●前言
第1章引言
1.1相關關繫
1.2回歸模型的一般形式
1.3回歸模型的建模過程
第2章預備知識
2線性回歸
2.1.1散點圖，回歸模型，矩陣表達
2.1.2模型的建立——參數估計
2.1.3最小二乘估計的性質
2.1線性回歸模型的顯著性檢驗
2.2線性模型的最小二乘估計
2.2.1最小二乘估計
2.2.2最小二乘估計的統計性質
2.2.3最小二乘估計的很優性
2.2.4帶約束的最小二乘估計
2.3假設檢驗
2.3.1一般線性檢驗
2.3.2回歸方程的顯著性檢驗
2.3.3回歸繫數的顯著性檢驗
2.4有偏估計||嶺回歸和主成分回歸
2.4.1復共線性
2.4.2嶺回歸
2.4.3主成分回歸
第3章變量選擇和貝葉斯線性模型
3.1全模型和選模型
3.1.1減少自變量對模型參數估計的影響
3.1.2減少自變量對預測的影響
3.2變量選擇
3.2.1很優子集回歸
3.2.2逐步回歸
3.2.3前向分段回歸
3.3壓縮方法
3.3.1嶺回歸
3.3.2lasso
3.3.3正交設計下lasso的解
3.3.4嶺回歸、lasso和很優子集
3.4貝葉斯線性模型
3.4.1最小二乘估計與極大似然估計
3.4.2貝葉斯線性模型與嶺回歸
3.4.3貝葉斯線性模型學習過程
3.4.4預測分布
第4章e1正則化邏輯回歸的隨機坐標下降算法
4.1引言
4.2RCSUM算法及其在e1正則化邏輯回歸上的應用
4.2.1問題描述及假設
4.2.2RCSUM算法
4.2.3收斂性分析
4.2.4RCSUM求解e1範數正則化邏輯回歸
4.3加速隨機算法APCG求解e1範數邏輯回歸
4.4數值實驗
4.4.1模擬數據
4.4.2實驗結果及分析
4.4.3乳腺癌數據
4.5總結
第5章並行坐標下降
5.1引言
5.1.1相關工作
5.1.2動機
5.1.3貢獻
5.2PSUM以及RPSUM算法
5.2.1預備知識
5.2.2主要假設
5.2.3PSUM算法
5.2.4RPSUM算法
5.3PSUM以及RPSUM的收斂性分析
5.3.1PSUM的收斂性分析
5.3.2RPSUM的收斂性分析
5.4應用
5.4.1RPSUM解e1範數正則化邏輯回歸
5.4.2實驗
5.4.3討論
5.4.4結論
第6章隨機優化
6.1隨機優化問題
6.2在線算法
6.2.1隨機梯度法
6.2.2對偶平均方法
6.3帶正則化項的隨機優化問題
6.3.1向前向後分裂算法簡介
6.3.2向前向後分裂算法的收斂性
6.4向前向後分裂算法求解e1正則化邏輯回歸
6.5實驗
6.6結論
參考文獻
附錄A凸優化
附錄B常用分布表

本書主要介紹統計學中的回歸分析方法基礎以及在機器學習方向上的應用,介紹回歸分析的數學基礎的同時,以統計學和機器學習相結合的手段介紹回歸分析領域在近年來取得的各種重要結果和突破特別是在大數據背景下,回歸分析的正則化問題的快速求解算法.本書在介紹基礎知識的同時,也強調回歸分析在實際中的應用,書中配有大量的案例及其R語言的實現本書可作為數學、統計學及相關專業高年級本科生或研究生的教材使用,也可作為相關專業科研工作者的參考資料。