前言

*一部分工程基礎篇

*1章機器學習軟件工程方法  2

1.1機器學習簡述  2

1.1.1機器學習與人工智能、深度學習等的關繫  2

1.1.2機器學習類別與範式  4

1.2軟件工程方法  13

1.2.1機器學習中的軟件工程  15

1.2.2編碼和測試  18

1.3樸素貝葉斯測試驅動開發案例  21

1.3.1開發準備  22

1.3.2開發郵件分類器  24

1.4本章小結  29

*2章工程環境準備  30

2.1Anaconda  31

2.1.1安裝Anaconda  31

2.1.2使用conda管理環境  32

2.1.3Jupyter Notebook 基礎使用和示例  34

2.2使用Pipenv定制Python環境  37

2.2.1Pipenv簡介  38

2.2.2Pipenv基礎使用和示例  39

2.3Docker打包環境  41

2.3.1Docker簡述  42

2.3.2Docker架構  43

2.3.3Docker基礎使用和示例  45

2.3.4打包示例  46

2.4標準化在數據科學項目中的意義  48

2.5數據科學項目工程環境  49

2.5.1開發鏡像  50

2.5.2項目工程模板  51

2.5.3操作演示  54

2.6本章小結  55

第3章實驗數據準備  56

3.1常用數據分布  56

3.1.1伯努利分布  58

3.1.2二項分布  58

3.1.3泊松分布  58

3.1.4均勻分布  59

3.1.5正態分布  59

3.1.6指數分布  60

3.2開源數據集  62

3.2.1開源數據集介紹  62

3.2.2scikit-learn中的數據集  63

3.3scikit-learn數據集生成接口  66

3.3.1常用接口  66

3.3.2分類模型隨機數據生成  67

3.3.3回歸模型隨機數據生成  68

3.3.4聚類模型隨機數據生成  69

3.4隨機數生成簡介  70

3.4.1隨機數生成的原理和概念  71

3.4.2隨機數生成示例  72

3.4.3隨機數應用場景介紹  72

3.5本章小結  73

*二部分機器學習基礎篇

第4章機器學習項目流程與核心概念  76

4.1機器學習項目流程  76

4.1.1如何定義Y  78

4.1.2如何取樣X  81

4.1.3如何劃分數據集  83

4.1.4如何選擇學習算法  84

4.1.5數據分析和處理  85

4.1.6特征工程  87

4.1.7模型訓練與調參  88

4.1.8模型評估與報告  89

4.1.9模型部署  91

4.1.10模型監控  91

4.1.11模型重訓或重建  92

4.2機器學習算法8個核心概念  92

4.2.1損失函數和正則化  92

4.2.2欠擬合與過擬合、偏差與方差  98

4.2.3交叉驗證  101

4.2.4數據洩露  104

4.3本章小結  106

第5章數據分析與處理  107

5.1變量的類型  107

5.2常用分析方法  108

5.2.1整體數據概覽  109

5.2.2單變量可視化分析  110

5.2.3雙變量可視化分析  113

5.2.4多變量可視化分析  118

5.3缺失值分析與處理  120

5.3.1數據缺失的類型  120

5.3.2查看缺失情況  120

5.3.3缺失值處理方式  122

5.4異常值分析與處理  126

5.4.1查看異常情況  126

5.4.2異常值處理  129

5.5數據分析工具包開發實戰  129

5.5.1核心功能  129

5.5.2使用示例  130

5.5.3核心代碼  131

5.6本章小結  139

第三部分特征篇

第6章特征工程  142

6.1特征工程簡介  142

6.2特征處理基礎方法和實現  144

6.2.1定量特征  146

6.2.2序數特征  148

6.2.3類別特征  149

6.2.4WOE編碼  153

6.2.5日期特征  155

6.3特征離散化方法和實現  156

6.3.1等寬和等頻離散法  158

6.3.2信息熵分箱原理與實現  161

6.3.3Best-KS分箱原理與實現  167

6.3.4卡方分箱原理與實現  172

6.3.5分箱效果  178

6.4本章小結  178

第7章基於Featuretools的自動特征衍生  180

7.1特征衍生  180

7.2Featuretools簡介  181

7.2.1安裝  182

7.2.2核心概念和接口介紹  182

7.3Featuretools原理  186

7.3.1特征綜合抽像  187

7.3.2深度特征綜合算法  187

7.4Featuretools實踐案例  189

7.4.1流程  189

7.4.2捷信數據  189

7.4.3構建實體和實體集  191

7.4.4構建關繫  193

7.4.5  196

7.4.6深度特征合成  197

7.5本章小結  198

第8章特征選擇  199

8.1特征選擇概述  199

8.1.1特征選擇及其意義  200

8.1.2業務層特征選擇  200

8.1.3技術層特征選擇  201

8.2特征選擇流程與模式  204

8.2.1數據質量和特征質量  204

8.2.2串聯和並聯流程  205

8.2.3特征選擇結果評價  206

8.3特征預測力指標  206

8.3.1相關性指標  207

8.3.2關聯性指標  208

8.4過濾法與實現  211

8.4.1常用單指標過濾法  211

8.4.2相關性與IV雙指標過濾法  213

8.4.3*小冗餘*大相關  214

8.5包裹法與實現  215

8.5.1前向選擇實現  217

8.5.2後向選擇實現  218

8.5.3Stepwise實現  219

8.6嵌入法與實現  222

8.6.1基於隨機森林的特征選擇  222

8.6.2基於正則的特征選擇  223

8.7特征選擇工具包開發實戰  224

8.8本章小結  230

第四部分模型篇

第9章線性模型  232

9.1普通線性回歸模型  232

9.1.1線性回歸  233

9.1.2線性回歸的假設  236

9.1.3線性模型如何解決非線性問題  236

9.2廣義線性模型  238

9.2.1建模方法論  238

9.2.2示例  240

9.3正則化的回歸  240

9.3.1正則化原理  240

9.3.2Lasso和Ridge回歸  241

9.3.3正則化效果演示  241

9.4邏輯回歸  247

9.4.1模型原理  247

9.4.2*大似然估計  249

9.4.3LogisticRegression解析與示例  249

9.5金融評分卡  252

9.5.1評分卡簡介  252

9.5.2加性原理  253

9.5.3評分刻度與實現  254

9.6解決共線性  257

9.7本章小結  257

*10章樹模型  259

10.1樹結構  259

10.2決策樹  260

10.3決策樹算法  261

10.3.1熵和基尼指數  261

10.3.2ID3算法  263

10.3.3C4.5算法  266

10.3.4CART  267

10.4樹的剪枝  269

10.4.1預剪枝  269

10.4.2後剪枝  269

10.5特征處理  270

10.5.1連續值處理  271

10.5.2缺失值處理  271

10.6決策樹實現示例  272

10.7本章小結  275

*11章集成模型  276

11.1模型的可變組件  276

11.1.1數據集之行列采樣  277

11.1.2算法之同質和異質  277

11.2層次化的集成方法  278

11.2.1投票組合法  278

11.2.2前向逐步疊加法  280

11.3Bagging方法  281

11.3.1Bootstrap和Aggregating  281

11.3.2Bagging模型性能分析實驗  282

11.3.3Bagging偏差和方差解析  286

11.3.4隨機森林  289

11.4Boosting方法  291

11.4.1Boosting的原理與實現示例  291

11.4.2Boosting建模解析示例  299

11.4.3Boosting的集大成者：XGBoost  300

11.5Stacking概述與實現示例  301

11.6Super Learner與ML-Ensemble  304

11.6.1Super Learner實現示例  305

11.6.2ML-Ensemble集成庫  307

11.7本章小結  312

*12章模型調參  313

12.1模型調參概述  313

12.1.1調參問題定義  313

12.1.2超參數和作弊的隨機種子  314

12.1.3調參三要素  315

12.2調參流程和方法  316

12.2.1調參流程  316

12.2.2超參選取策略和特定模型超參推薦  317

12.2.3自動學習和代理模型  318

12.3Model-Free方法  321

12.3.1網格搜索  321

12.3.2隨機搜索  323

12.4XGBoost自動調參工具開發實戰  324

12.4.1功能和易用性設計  324

12.4.2使用示例  325

12.4.3代碼清單  326

12.5貝葉斯方法  333

12.5.1貝葉斯優化介紹  333

12.5.2BayesianOptimization優化實例  334

12.6部分開源調參項目簡介  337

12.6.1Ray-Tune  337

12.6.2optuna  339

12.7本章小結  341

*13章模型性能評估  342

13.1訓練誤差vs測試誤差  342

13.2模型評估常見的數據切割方法  343

13.2.1留出法  343

13.2.2交叉驗證法  345

13.2.3留一法  346

13.2.4自助取樣法  347

13.3性能度量  348

13.3.1分類任務  348

13.3.2回歸任務  357

13.4本章小結  360

*14章模型解釋  361

14.1模型解釋概述  361

14.1.1模型解釋的意義  362

14.1.2局部和全局解釋  363

14.2模型解釋可視化方法  364

14.2.1PDP  364

14.2.2ICE  370

14.3解釋線性模型  371

14.4解釋樹模型  372

14.4.1樹模型特征的重要性  373

14.4.2決策路徑  374

14.4.3Treeinterpreter  375

14.5模型無關解釋方法  378

14.5.1特征重要性方法  378

14.5.2代理模型：LIME  380

14.5.3基於博弈論的SHAP  383

14.6本章小結  390

*15章模型上線之模型即服務  391

15.1模型上線方案  391

15.1.1是否提供獨立服務  392

15.1.2是否提取模型細節  392

15.2提取繫數上線：回歸模型和評分卡  393

15.3自動規則提取上線：決策樹示例  393

15.3.1規則轉化為Python代碼  395

15.3.2規則轉化為C/Java等代碼  396

15.3.3規則轉化為SQL代碼  396

15.4PMML和ONNX  398

15.4.1PMML  398

15.4.2ONNX  400

15.5編譯為共享庫加速預測  401

15.5.1Treelite原理  401

15.5.2使用示例  402

15.5.3部署方法  403

15.6原生模型持久化  404

15.6.1寫接口  405

15.6.2讀接口  406

15.7RESTful Web Services構建  406

15.7.1快速構建API服務  407

15.7.2自動化模型上線框架設計與實現  409

15.8基於Docker大規模微服務上線架構  417

15.8.1架構設計  417

15.8.2定制鏡像  418

15.8.3編排可擴展服務示例  419

15.9本章小結  420

*16章模型穩定性監控  421

16.1背景和監控方法  421

16.1.1背景  421

16.1.2監控方法  422

16.2PSI和CSI  423

16.2.1PSI  423

16.2.2CSI  425

16.3工程實現  425

16.3.1功能簡介  426

16.3.2代碼清單和示例  426

16.4其他監控角度  429

16.5監控異常處理方案  430

16.6本章小結  430