第 1章  大數據項目概述 1
學習目標1
1.1企業大數據項目簡介1
1.1.1數據處理流程1
1.1.2架構分析2
1.1.3人員安排5
1.2大數據項目實戰基礎5
1.2.1實戰環境5
1.2.2涉及的技術及需掌握的能力11
小結20
第2章 Hadoop生態組件基礎21
學習目標21
2.1Hadoop基礎21
2.1.1Hadoop概述21
2.1.2Hadoop集群安裝與配置25
2.1.3Hadoop框架組成36
2.1.4Hadoop應用實踐42
2.2Hive基礎45
2.2.1Hive概述45
2.2.2Hive安裝與配置46
2.2.3Hive體繫架構50
2.2.4Hive應用實踐54
2.3Spark基礎58
2.3.1Spark概述59
2.3.2Spark集群安裝與配置63
2.3.3Spark集群架構66
2.3.4Spark應用實踐67
小結69
第3章廣電大數據用戶畫像——需求分析70
學習目標70
3.1項目需求70
3.1.1項目背景70
3.1.2項目目標71
3.2需求探索71
3.2.1數據說明71
3.2.2基礎探索76
3.2.3業務需求探索84
3.3技術方案96
3.3.1技術選型96
3.3.2繫統架構98
小結99
第4章廣電大數據用戶畫像——數據采集與預處理101
學習目標101
4.1業務數據101
4.1.1生產數據來源101
4.1.2模擬產生業務數據102
4.2數據存儲與傳輸119
4.2.1Elasticsearch數據傳輸到Hive119
4.2.2用戶畫像標簽結果保存到MySQL133
4.3基礎數據預處理135
小結141
第5章廣電大數據用戶畫像——實時統計訂單信息142
學習目標142
5.1實時統計目標142
5.2Kafka安裝和配置142
5.3實時統計訂單信息144
5.3.1模擬產生訂單實時數據流144
5.3.2Spark Streaming實時統計訂單信息146
小結151
第6章廣電大數據用戶畫像——用戶標簽計算與可視化152
學習目標152
6.1SVM預測用戶是否值得挽留152
6.1.1SVM算法152
6.1.2構建特征列和標簽列數據153
6.1.3建立SVM模型159
6.1.4模型評估160
6.1.5模型預測161
6.1.6整體實現及參數封裝163
6.2用戶畫像168
6.2.1用戶畫像概述169
6.2.2標簽計算170
6.2.3用戶畫像工程實現179
6.3用戶畫像可視化188
6.3.1用戶畫像可視化簡介188
6.3.2可視化工程實現188
6.3.3結果展示192
小結195
第7章廣電大數據用戶畫像——任務調度實現196
學習目標196
7.1調度策略196
7.2調度實現199
小結227
第8章基於TipDM大數據挖掘建模平臺實現廣電大數據用戶畫像229
學習目標229
8.1平臺簡介229
8.1.1模板230
8.1.2數據空間231
8.1.3我的項目232
8.1.4繫統組件232
8.1.5個人組件234
8.1.6訪問TipDM大數據挖掘建模平臺的方式234
8.2廣電大數據用戶畫像開發234
8.2.1數據源配置236
8.2.2數據探索238
8.2.3數據處理239
8.2.4用戶畫像241
小結249