全書圍繞Alink（阿裡在Flink基礎上做的開源版本）的展開，以實例為主闡述Alink的使用。 ?以機器學習的知識架構將各個章節串聯起來，每個章節配合實例，用戶更容易理解和入手嘗試。 ?數據會采用讀者能免費下載的數據集，在加上Alink本身是開源的、免費的。用戶試用起來沒有成本。 ?實例實現的源代碼，準備放在Alink開源git上，大家容易看到，可以直接下載，代碼旁邊會有實體書的介紹 ?以機器學習的知識架構將各個章節串聯起來，每個章節配合實例，用戶更容易理解和入手嘗試。 ?數據會采用讀者能免費下載的數據集，在加上Alink本身是開源的、免費的。用戶試用起來沒有成本。 ?實例實現的源代碼，準備放在Alink開源git上，大家容易看到，可以直接下載，代碼旁邊會有實體書的介紹

2004年獲南開大學數學博士學位；隨後在南開大學信息學院從事博士後研究工作；2006年加入微軟亞洲研究院，進行符號計算、大規模矩陣計算及機器學習算法研究；2010年加入阿裡巴巴，從事大數據相關的統計和機器學習算法研發。著有《重構大數據統計》《機器學習在線》等。

目錄



第1章Alink快速上手\t1
1．1Alink是什麼\t1
1．2免費下載、安裝\t1
1．3Alink的功能\t2
1．3．1豐富的算法庫\t2
1．3．2多樣的使用體驗\t3
1．3．3與SparkML的對比\t3
1．4關於數據和代碼\t4
1．5簡單示例\t5
1．5．1數據的讀/寫與顯示\t5
1．5．2批式訓練和批式預測\t7
1．5．3流式處理和流式預測\t9
1．5．4定義Pipeline，簡化操作\t10
1．5．5嵌入預測服務繫統\t12
第2章繫統概況與核心概念\t14
2．1基本概念\t14
2．2批式任務與流式任務\t15
2．3Alink=A+link\t18
2．3．1BatchOperator和StreamOperator\t19
2．3．2link方式是批式算法/流式算法的通用使用方式\t20
2．3．3link的簡化\t23
2．3．4組件的主輸出與側輸出\t23
2．4Pipeline與PipelineModel\t24
2．4．1概念和定義\t24
2．4．2深入介紹\t25
2．5觸發Alink任務的執行\t28
2．6模型信息顯示\t29
2．7文件繫統與數據庫\t34
2．8Schema String\t36
第3章文件繫統與數據文件\t38
3．1文件繫統簡介\t38
3．1．1本地文件繫統\t39
3．1．2Hadoop文件繫統\t41
3．1．3阿裡雲OSS文件繫統\t43
3．2數據文件的讀入與導出\t45
3．2．1CSV格式\t47
3．2．2TSV、LibSVM、Text格式\t53
3．2．3AK格式\t56
第4章數據庫與數據表\t60
4．1簡介\t60
4．1．1Catalog的基本操作\t60
4．1．2Source和Sink組件\t61
4．2Hive示例\t62
4．3Derby示例\t65
4．4MySQL示例\t67
第5章支持Flink SQL\t70
5．1基本操作\t70
5．1．1注冊\t70
5．1．2運行\t71
5．1．3內置函數\t74
5．1．4用戶定義函數\t74
5．2簡化操作\t75
5．2．1單表操作\t76
5．2．2兩表的連接（JOIN）操作\t80
5．2．3兩表的集合操作\t82
5．3深入介紹Table Environment\t86
5．3．1注冊數據表名\t87
5．3．2撤銷數據表名\t88
5．3．3掃描已注冊的表\t89
第6章用戶定義函數（UDF/UDTF）\t90
6．1用戶定義標量函數（UDF）\t90
6．1．1示例數據及問題\t91
6．1．2UDF的定義\t91
6．1．3使用UDF處理批式數據\t92
6．1．4使用UDF處理流式數據\t93
6．2用戶定義表值函數（UDTF）\t95
6．2．1示例數據及問題\t95
6．2．2UDTF的定義\t96
6．2．3使用UDTF處理批式數據\t96
6．2．4使用UDTF處理流式數據\t99
第7章基本數據處理\t101
7．1采樣\t101
7．1．1取“前”N個數據\t102
7．1．2隨機采樣\t102
7．1．3加權采樣\t104
7．1．4分層采樣\t105
7．2數據劃分\t106
7．3數值尺度變換\t108
7．3．1標準化\t109
7．3．2MinMaxScale\t111
7．3．3MaxAbsScale\t112
7．4向量的尺度變換\t113
7．4．1StandardScale、MinMaxScale、MaxAbsScale\t113
7．4．2正則化\t115
7．5缺失值填充\t116
第8章線性二分類模型\t119
8．1線性模型的基礎知識\t119
8．1．1損失函數\t119
8．1．2經驗風險與結構風險\t121
8．1．3線性模型與損失函數\t122
8．1．4邏輯回歸與線性支持向量機（Linear SVM）\t123
8．2二分類評估方法\t125
8．2．1基本指標\t126
8．2．2綜合指標\t128
8．2．3評估曲線\t131
8．3數據探索\t136
8．3．1基本統計\t138
8．3．2相關性\t140
8．4訓練集和測試集\t144
8．5邏輯回歸模型\t145
8．6線性SVM模型\t147
8．7模型評估\t149
8．8特征的多項式擴展\t153
8．9因子分解機\t157
第9章樸素貝葉斯模型與決策樹模型\t160
9．1樸素貝葉斯模型\t160
9．2決策樹模型\t162
9．2．1決策樹的分裂指標定義\t165
9．2．2常用的決策樹算法\t167
9．2．3指標計算示例\t169
9．2．4分類樹與回歸樹\t172
9．2．5經典的決策樹示例\t173
9．3數據探索\t176
9．4使用樸素貝葉斯方法\t179
9．5蘑菇分類的決策樹\t185
第10章特征的轉化\t191
10．1整體流程\t195
10．1．1化\t197
10．1．2特征的重要性\t198
10．2減少模型特征的個數\t200
10．3離散特征轉化\t202
10．3．1獨熱編碼\t202
10．3．2特征哈希\t204
第11章構造新特征\t207
11．1數據探索\t208
11．2思路\t210
11．2．1用戶和品牌的各種特征\t211
11．2．2二分類模型訓練\t212
11．3計算訓練集\t213
11．3．1原始數據劃分\t213
11．3．2計算特征\t214
11．3．3計算標簽\t222
11．4正負樣本配比\t224
11．5決策樹\t226
11．6集成學習\t227
11．6．1Bootstrap aggregating\t228
11．6．2Boosting\t229
11．6．3隨機森林與GBDT\t232
11．7使用隨機森林算法\t233
11．8使用GBDT算法\t234
第12章從二分類到多分類\t235
12．1多分類模型評估方法\t235
12．1．1綜合指標\t237
12．1．2關於每個標簽值的二分類指標\t238
12．1．3Micro、Macro、Weighted計算的指標\t239
12．2數據探索\t241
12．3使用樸素貝葉斯進行多分類\t244
12．4二分類器組合\t246
12．5Softmax算法\t249
12．6多層感知器分類器\t253
第13章常用多分類算法\t256
13．1數據準備\t256
13．1．1讀取MNIST數據文件\t257
13．1．2稠密向量與稀疏向量\t258
13．1．3標簽值的統計信息\t261
13．2Softmax算法\t262
13．3二分類器組合\t264
13．4多層感知器分類器\t265
13．5決策樹與隨機森林\t267
13．6K最近鄰算法\t270
第14章在線學習\t273
14．1整體流程\t273
14．2數據準備\t275
14．3特征工程\t277
14．4特征工程處理數據\t279
14．5在線訓練\t280
14．6模型過濾\t283
第15章回歸的由來\t286
15．1平均數\t287
15．2向平均數方向的回歸\t288
15．3線性回歸\t289
第16章常用回歸算法\t292
16．1回歸模型的評估指標\t292
16．2數據探索\t294
16．3線性回歸\t297
16．4決策樹與隨機森林\t300
16．5GBDT回歸\t301
第17章常用聚類算法\t303
17．1聚類評估指標\t304
17．1．1基本評估指標\t304
17．1．2基於標簽值的評估指標\t306
17．2K-Means聚類\t308
17．2．1算法簡介\t308
17．2．2K-Means實例\t309
17．3高斯混合模型\t314
17．3．1算法介紹\t314
17．3．2GMM實例\t316
17．4二分K-Means聚類\t317
17．5基於經緯度的聚類\t320
第18章批式與流式聚類\t324
18．1稠密向量與稀疏向量\t324
18．2使用聚類模型預測流式數據\t326
18．3流式聚類\t329
第19章主成分分析\t331
19．1主成分的含義\t333
19．2兩種計算方式\t337
19．3在聚類方面的應用\t339
19．4在分類方面的應用\t343
第20章超參數搜索\t347
20．1示例一：嘗試正則繫數\t348
20．2示例二：搜索GBDT超參數\t349
20．3示例三：最佳聚類個數\t350
第21章文本分析\t353
21．1數據探索\t353
21．2分詞\t355
21．2．1中文分詞\t356
21．2．2Tokenizer和RegexTokenizer\t359
21．3詞頻統計\t363
21．4單詞的區分度\t365
21．5抽取關鍵詞\t367
21．5．1原理簡介\t367
21．5．2示例\t369
21．6文本相似度\t371
21．6．1文本成對比較\t372
21．6．2最相似的TopN\t375
21．7主題模型\t387
21．7．1LDA模型\t388
21．7．2新聞的主題模型\t390
21．7．3主題與原始分類的對比\t392
21．8組件使用小結\t396
第22章單詞向量化\t398
22．1單詞向量預訓練模型\t399
22．1．1加載模型\t399
22．1．2查找相似的單詞\t400
22．1．3單詞向量\t402
22．2單詞映射為向量\t406
第23章情感分析\t412
23．1使用提供的特征\t413
23．1．1使用樸素貝葉斯方法\t416
23．1．2使用邏輯回歸算法\t419
23．2如何提取特征\t423
23．3構造更多特征\t426
23．4模型保存與預測\t430
23．4．1批式/流式預測任務\t430
23．4．2嵌入式預測\t431
第24章構建推薦繫統\t433
24．1與推薦相關的組件介紹\t434
24．2常用推薦算法\t437
24．2．1協同過濾\t437
24．2．2交替最小二乘法\t438
24．3數據探索\t439
24．4評分預測\t444
24．5根據用戶推薦影片\t446
24．6計算相似影片\t452
24．7根據影片推薦用戶\t454
24．8計算相似用戶\t457