第1章從大數據到ETL1
1.1大數據概述1
1.1.1大數據的定義2
1.1.2大數據的基本性質2
1.1.3大數據的影響4
1.1.4大數據帶來的挑戰7
1.2科學處理數據9
1.3ETL簡介10
1.3.1ETL的基本定義10
1.3.2ETL的基本過程11
1.3.3ETL的架構體繫11
1.3.4ETL的必要性13
1.3.5ETL的分類14
1.3.6基本ETL過程與數據清理的區別14
1.3.7ETL現狀與發展15
1.4數據抽取16
1.4.1數據抽取的概念16
1.4.2分類抽取16
1.4.3數據抽取的原則和方法17
1.5數據轉換17
1.5.1數據轉換的概念17
1.5.2類型轉換17
1.6數據加載18
1.6.1數據加載的概念18
1.6.2數據加載方式18
1.7實驗任務——處理論文的年份19
1.8小結23
1.9習題23第2章數據抽取25
2.1數據源25
2.1.1關繫數據庫25
2.1.2非關繫數據庫27
2.1.3通用程序庫28
2.2數據抽取方式29
2.2.1全量抽取29
2.2.2增量抽取29
2.2.3增量抽取的比較分析30
2.3Hadoop的數據抽取32
2.3.1Hadoop簡介32
2.3.2Hadoop研究現狀32
2.3.3環境搭建34
2.3.4數據采集34
2.4Web文件的數據抽取35
2.4.1Web文件簡介35
2.4.2主要工作35
2.4.3主要工具——Connotate35
2.4.4應用分析——基於頁面標簽的Web結構化數據抽取37
2.5數據庫的數據抽取41
2.5.1數據庫簡介41
2.5.2主要應用——基於ETL工具軟件的數據抽取43
2.6文本文件的數據抽取44
2.6.1文本文件數據抽取及應用領域44
2.6.2網絡爬蟲44
2.7實驗任務——MySQL環境搭建及數據抽取46
2.7.1MySQL在Windows下的搭建46
2.7.2MySQL在Linux下的搭建47
2.7.3案例分析50
2.8小結54
2.9習題54第3章數據轉換56
3.1數據轉換56
3.1.1數據轉換的概念56
3.1.2數據轉換的標準57
3.1.3數據轉換的方法57
3.1.4數據之間的關聯58
3.2數據清洗59
3.2.1數據清洗的主要內容59
3.2.2數據清洗研究現狀60
3.2.3數據清洗的必要性61
3.2.4數據清洗的問題61
3.2.5數據清洗對工具的要求62
3.2.6數據清洗的流程62
3.2.7數據清洗的原理63
3.2.8數據清洗的方法63
3.3Python下的數據清洗65
3.3.1Python概述65
3.3.2Python的特點66
3.3.3Python Pandas——數據清洗67
3.4數據轉換工具75
3.4.1Data Stage75
3.4.2Kettle78
3.4.3Informatica PowerCenter81
3.4.4ETL Automation82
3.4.5SSIS82
3.4.6幾種工具之間的比較83
3.5實驗任務——Kettle的分類安裝及案例分析84
3.5.1Kettle的分類安裝84
3.5.2案例分析——利用Kettle處理錯誤代碼行84
3.6小結87
3.7習題87第4章數據加載89
4.1數據加載89
4.1.1數據加載的概念89
4.1.2數據加載機制89
4.2數據加載技術90
4.2.1加載技術90
4.2.2全量數據加載流程91
4.3數據倉庫93
4.3.1數據倉庫基本內容94
4.3.2數據倉庫架構97
4.3.3數據倉庫設計98
4.3.4數據倉庫的規劃和需求分析99
4.3.5數據倉庫的建模100
4.3.6數據倉庫的物理模型分析107
4.3.7數據倉庫的物理模型設計109
4.4加載SQL123
4.4.1SQL的基本內容123
4.4.2MySQL集群體125
4.5加載MyCat128
4.5.1MyCat簡介128
4.5.2MyCat的關鍵特性128
4.5.3拓撲結構129
4.5.4MyCat的功能描述129
4.5.5MyCat下載安裝132
4.6加載數據流134
4.6.1流概述134
4.6.2數據流的基本性質135
4.6.3數據流的基本操作136
4.6.4數據流的描述方法137
4.7小結138
4.8習題138第5章大數據ETL實現139
5.1Spark的分布式ETL實現139
5.1.1Spark概述140
5.1.2Spark數據模型——RDD140
5.1.3Spark的安裝配置141
5.1.4分布式ETL總體架構143
5.1.5分布式轉換引擎的實現144
5.1.6SparkStreaming的實時同步實現147
5.2Spark完成在ETL時的相關技術148
5.2.1SparkApplication提交邏輯分析149
5.2.2Spark交互模式150
5.2.3使用Spark實現ETL151
5.2.4小結151
5.3Hive的ETL實現152
5.3.1Hive簡介152
5.3.2Hadoop偽分布式集群搭建152
5.3.3Hive的安裝配置156
5.3.4Hive的基本操作158
5.4Sqoop的ETL實現169
5.4.1Sqoop簡介169
5.4.2Sqoop的安裝部署169
5.4.3Sqoop的常用命令170
5.4.4案例分析——利用Sqoop進行ETL操作173
5.5小結176
5.6習題176第6章案例分析177
6.1校園大數據建設177
6.1.1校園大數據建設背景177
6.1.2校園大數據檢索需求178
6.1.3總體目標178
6.1.4建設內容179
6.1.5數據抽取180
6.1.6數據轉換180
6.1.7數據倉庫的建設182
6.1.8項目效益184
6.2反洗錢繫統中的ETL應用185
6.2.1反洗錢簡介185
6.2.2反洗錢繫統中ETL的重要性185
6.2.3反洗錢繫統中的ETL設計186
6.3電信行業中的ETL應用190
6.3.1背景知識190
6.3.2設計目的191
6.3.3ETL架構設計191
6.3.4ETL接口設計193
6.3.5控制實現195
6.4雲計算下的ETL設計198
6.4.1雲計算簡介198
6.4.2傳統數據倉庫ETL面臨的困境198
6.4.3ETL繫統設計199
6.4.4ETL工作流199
6.5BI項目中的ETL應用201
6.5.1BI概述201
6.5.2ETL功能架構202
6.5.3ETL數據流202
6.5.4ETL作業調度205
6.5.5ETL監控和日志207
6.5.6數據質量檢測209
6.5.7BI項目中的ETL實現210
6.6小結215
6.7習題215參考文獻216

在信息技術高速發展的今天，大數據的發展尤為顯著，並影響著社會生產和人類生活的方方面面。隨著信息數據量的急劇增長，大數據作為一門新興的學科出現在人們的眼前。大數據又稱巨量數據，是指涉及的資料量規模巨大到無法利用目前的主流軟件工具在合理時間內整理成為有用資訊的數據。
對一個國家而言，能否緊緊抓住大數據的發展機遇，形成大數據體繫，參與新一輪的全球競爭，將影響未來的發展方向，甚至若干年內世界範圍內的科技力量主導。在大數據競爭的博弈中，大數據專業人纔的培養更是新一輪科學技術較量的基礎和重點，各大高校和研究機構承擔著大數據人纔培養的重任，要為國家的發展輸入源源不斷的動力。為此，大數據課程的開設和大數據知識的學習也就顯得尤為重要，受到了各大高校和科研機構的高度重視。
ETL技術作為大數據背景下不可或缺的一環貫穿著數據的始終，是數據技術人員的技能，也逐漸成為大數據專業的一門重要的專業基礎課程。
本書以幫助讀者掌握大數據技術為目標，詳細介紹大數據的基本情形和未來發展方向，ETL技術貫穿全書，使讀者在學習ETL技術的過程中感受大數據的魅力。
本書分為6章，采用理論知識與項目教學的方式組織內容，每個項目都來自典型案例，具有說服力，各章節由理論介紹入手，結合實際項目練習擴展知識面，每章後提供自測題。
第1章為緒論，由大數據切入，介紹大數據的基本概況，進而引入ETL，且對這3個過程做了整體說明，接著引入本書的個入門案例，利用ETL技術對論文中的年份進行處理。
第2章引入ETL的個過程（數據抽取），詳細介紹數據抽取的方式，緊接著對各種形式下的數據源抽取進行分類介紹，後在Windows和Linux環境下搭建MySQL，且對此進行數據抽取操作。
第3章為數據轉換，介紹數據轉換的基本知識點，並對數據轉換工具進行詳細說明，後將Kettle安裝及其部署作為本章的一個案例，並利用Kettle工具對某一文件的錯誤行進行統計並生成日志。
第4章為數據加載，介紹數據加載的基本理論知識，然後搭建數據倉庫，後對幾種環境下的數據進行加載分析。
第5章為ETL在大數據下的實現，講解ETL在Spark、Hive、Sqoop這3種環境下的實現，並搭建Hadoop偽分布式集群，後利用Sqoop實現ETL過程。
第6章為案例分析，講解ETL在高校大數據建設、反洗錢繫統、商業智能（BI）和電信領域內的應用及其實現。
本書的讀者對像為想學習和了解大數據的科研工作者、高校師生以及對大數據、ETL技術有極大興趣的人士。通過本書的學習，初學者可以達到中等水平，能對大數據和ETL技術有很好的了解和認知，熟練掌握MySQL數據庫、虛擬機命令、Hadoop平臺、數據倉庫技術等。已在大數據領域造詣極深的學者也可以參考本書，對科研、學習也有一定的幫助。
本書的參考學時為32學時，建議采用理論實踐一體化的教學模式，各章的參考學時詳見如下學時分配表。學時分配表項目及章節課 程 內 容學時第1章從大數據到ETL2案例1處理論文的年份1第2章數據抽取2案例2MySQL環境搭建及數據抽取1第3章數據轉換2案例3Kettle的分類安裝及案例分析2第4章數據加載4案例4數據倉庫的搭建2第5章大數據ETL實現4案例5Hadoop偽分布式集群和Sqoop案例4第6章案例分析4案例6校園大數據建設4本書由馮廣主編，龔旭輝編寫第1章，周瀚章編寫第2章，李嘉編寫第3章，馮廣編寫第4章，曾虎編寫第5章，徐啟東編寫第6章，孔立斌、石鳴鳴負責修改全書，後由馮廣統稿。
由於編者水平和經驗有限，書中難免有欠妥和錯誤之處，懇請讀者批評指正。

編者2022年3月