Kettle易用性好，編碼工作量小，功能完備，基於Java，允許多線程與並發執行以提高效率。本書以CDH作為Hadoop平臺，結合銷售訂單示例，詳細介紹並演示如何使用Kettle完成Hadoop數據倉庫的ETL過程。本書適合大數據分析繫統開發、數據倉庫繫統設計與開發、DBA、架構師等相關技術人員閱讀。

●第1章ETL與Kettle1
1.1ETL基礎1
1.1.1數據倉庫架構中的ETL1
1.1.2數據抽取3
1.1.3數據轉換5
1.1.4數據裝載6
1.1.5開發ETL繫統的方法6
1.2ETL工具7
1.2.1ETL工具的產生7
1.2.2ETL工具的功能7
1.3Kettle基本概念10
1.3.1Kettle設計原則11
1.3.2轉換12
1.3.3作業15
1.3.4數據庫連接18
1.3.5連接與事務21
1.數據與資源庫21
1.3.7工具22
1.3.8虛擬文件繫統26
1.4為什麼選擇Kettle27
1.4.1主要特性27
1.4.2與SQL的比較27
1.5小結30
第2章Kettle安裝與配置31
2.1安裝31
2.1.1確定安裝環境31
2.1.2安裝前準備33
2.1.3安裝運行Kettle41
2.2配置43
2.2.1配置文件和.kettle目錄44
2.2.2用於啟動Kettle程序的shell腳本48
2.2.3管理JDBC驅動49
2.3使用資源庫50
2.3.1Kettle資源庫簡介50
2.3.2創建數據庫資源庫50
2.3.3資源庫的管理與使用51
2.4小結55
第3章Kettle對Hadoop的支持56
3.1Hadoop相關的步驟與作業項56
3.2連接Hadoop57
3.2.1連接Hadoop集群57
3.2.2連接Hive63
3.2.3連接Impala64
3.2.4建立MySQL數據庫連接66
3.3導入導出Hadoop集群數據67
3.3.1向HDFS導入數據67
3.3.2向Hive導入數據67
3.3.3從HDFS抽取數據到MySQL68
3.3.4從Hive抽取數據到MySQL70
3.4執行HiveQL語句72
3.5執行MapReduce72
3.5.1生成聚合數據集72
3.5.2格式化原始Web日志77
3.6執行Spark作業81
3.6.1在Kettle主機上安裝Spark客戶端81
3.6.2為Kettle配置Spark81
3.6.3提交Spark作業82
3.7小結83
第4章建立ETL示例模型84
4.1業務場景84
4.1.1操作型數據源84
4.1.2銷售訂單數據倉庫模型設計85
4.2Hive相關配置86
4.2.1選擇文件格式86
4.2.2選擇表類型88
4.2.3支持行級更新92
4.2.4Hive事務支持的94
4.3建立數據庫表94
4.3.1源數據庫表94
4.3.2RDS庫表97
4.3.3TDS庫表98
4.4裝載日期維度數據100
4.5小結103
第5章數據抽取104
5.1Kettle數據抽取概覽104
5.1.1文件抽取105
5.1.2數據庫抽取116
5.2變化數據捕獲119
5.2.1基於源數據的CDC119
5.2.2基於觸發器的CDC125
5.2.3基於快照的CDC126
5.2.4基於日志的CDC130
5.3使用Sqoop抽取數據132
5.3.1Sqoop簡介132
5.3.2使用Sqoop抽取數據134
5.3.3Sqoop優化137
5.4小結138
第6章數據轉換與裝載139
6.1數據清洗139
6.1.1處理“髒數據”139
6.1.2數據清洗原則140
6.1.3數據清洗實例140
6.2Hive簡介146
6.2.1Hive體繫結構147
6.2.2Hive工作流程148
6.2.3Hive服務器149
6.2.4Hive優化152
6.3初始裝載160
6.3.1繫統初始化162
6.3.2裝載過渡區164
6.3.3裝載維度表165
6.3.4裝載事實表167
6.3.5設置後裝載日期168
6.4定期裝載168
6.4.1設置繫統日期169
6.4.2裝載過渡區169
6.4.3裝載維度表169
6.4.4裝載事實表174
6.4.5設置後裝載日期176
6.5小結178
第7章定期自動執行ETL作業179
7.1使用crontab179
7.1.1crontab權限180
7.1.2crontab命令180
7.1.3crontab文件181
7.1.4crontab示例181
7.1.5crontab環境182
7.1.6重定向輸出183
7.2使用Oozie183
7.2.1Oozie體繫結構184
7.2.2CDH6.3.1中的Oozie185
7.2.3建立定期裝載工作流185
7.2.4建立協調器作業定期自動執行工作流197
7.2.5在Kettle中執行Oozie作業200
7.2.6Oozie優化201
7.3使用start作業項202
7.4小結203
第8章維度表技術205
8.1增加列205
8.1.1修改數據庫模式206
8.1.2修改Sqoop作業項206
8.1.3修改定期裝載維度表的轉換207
8.1.4修改定期裝載事實表的轉換210
8.1.5測試210
8.2維度子集211
8.2.1建立包含屬性子集的子維度212
8.2.2建立包含行子集的子維度214
8.2.3使用視圖實現維度子集216
8.3角色扮演維度217
8.3.1修改數據庫模式217
8.3.2修改Kettle定期裝載作業218
8.3.3測試220
8.3.4一種有問題的設計223
8.4層次維度224
8.4.1固定深度的層次224
8.4.2多路徑層次228
8.4.3參差不齊的層次229
8.4.4遞歸230
8.5退化維度238
8.5.1退化訂單維度239
8.5.2修改定期裝載腳本241
8.5.3測試修改後的定期裝載241
8.6雜項維度242
8.6.1新增銷售訂單屬性雜項維度245
8.6.2修改定期裝載Kettle作業246
8.6.3測試修改後的定期裝載247
8.7維度合並248
8.7.1修改數據倉庫模式249
8.7.2初始裝載事實表251
8.7.3修改定期裝載Kettle作業253
8.7.4測試修改後的定期裝載254
8.8分段維度255
8.8.1年度銷售訂單星型模式256
8.8.2初始裝載258
8.8.3定期裝載260
8.9小結261
第9章事實表技術262
9.1事實表概述262
9.2周期快照263
9.2.1修改數據倉庫模式263
9.2.2創建快照表數據裝載Kettle轉換265
9.3累積快照267
9.3.1修改數據庫模式268
9.3.2修改增量抽取銷售訂單表的Kettle轉換270
9.3.3修改定期裝載銷售訂單事實表的Kettle轉換270
9.3.4修改定期裝載Kettle作業271
9.3.5測試274
9.4無事實的事實表276
9.4.1建立新產品發布的無事實的事實表277
9.4.2初始裝載無事實的事實表278
9.4.3修改定期裝載Kettle作業280
9.4.4測試定期裝載作業281
9.5遲到的事實281
9.5.1修改數據倉庫模式282
9.5.2修改定期裝載Kettle轉換282
9.5.3修改裝載月銷售周期快照事實表的作業283
9.5.4測試286
9.6累積度量289
9.6.1修改模式289
9.6.2初始裝載290
9.6.3定期裝載291
9.6.4測試定期裝載292
9.6.5查詢294
9.7小結295
第10章並行、集群與分區296
10.1數據分發方式與多線程296
10.1.1數據行分發297
10.1.2記錄行合並298
10.1.3記錄行再分發299
10.1.4數據流水線301
10.1.5多線程的問題301
10.1.6作業中的並行執行302
10.2Carte子服務器303
10.2.1創建Carte子服務器303
10.2.2定義子服務器304
10.2.3遠程執行304
10.2.4監視子服務器306
10.2.5Carte安全306
10.2.6服務307
10.3集群轉換308
10.3.1定義一個靜態集群308
10.3.2設計集群轉換310
10.3.3執行和監控310
10.數據轉換312
10.3.5配置動態集群313
10.4數據庫分區315
10.4.1在數據庫連接中使用集群315
10.4.2創建數據庫分區schemas317
10.4.3啟用數據庫分區318
10.4.4數據庫分區示例319
10.4.5集群轉換中的分區321
10.5小結322

Kettle是一款國外開源的ETL工具，純Java編寫，無須安裝，功能完備，數據抽取高效穩定。
本書介紹並演示如何用Kettle完成Hadoop數據倉庫上的ETL過程，所有的描繪場景與實驗環境都是基於Linux操作繫統的虛擬機。全書共分10章，主要內容包括ETL與Kettle的基本概念、Kettle安裝與配置、Kettle對Hadoop的支持、建立ETL示例模型、數據轉換與裝載、定期自動執行ETL作業、維度表技術、事實表技術，以及Kettle並行、集群與分區技術。
本書既適合大數據分析繫統開發、數據倉庫繫統設計與開發、DBA、架構師等相關技術人員閱讀，也適合高等院校和培訓機構人工智能與大數據相關專業的師生參考。

王雪迎 著