（1）騰訊官方出品！騰訊大數據構建之道首次對外披露！騰訊大數據平臺十年磨一劍，踐行“科技向善”落地方案。（2）本書由騰訊數據平臺部組織，騰訊公司副總裁蔣傑領銜撰寫，首次對外詳細闡述了騰訊大數據平臺繫統架構，以及多年來平臺建設的思考與沉澱。

●前言
第1章打造騰訊大數據平臺1
1.1騰訊大數據的緣起3
1.2騰訊大數據的構建理念5
1.3騰訊大數據的總體架構7
第2章數據實時采集平臺11
2.1接入層挑戰12
2.2接入管理層TDManager14
2.3數據采集17
2.4數據總線23
2.5消息中間件30
2.6數據分揀40
2.7接入層展望44
第3章分布式存儲平臺46
3.1文件存儲HDFS47
3.2統一存儲Ceph62
3.3下一代大數據存儲Ozone77
3.4KV存儲HBase88
第4章分布式計算平臺99
4.1批處理MapReduce100
4.2批處理Spark107
4.3批處理漂移計算SuperSQL123
4.4流處理Flink146
4.5SQL數據倉庫Hive165
4.6任務調度175
第5章數據分析引擎184
5.1關繫型OLAP：騰訊實時多維分析平臺185
5.2關繫型OLAP：ClickHouse200
5.3多維OLAP：Kylin211
5.4多維OLAP：Druid222
第6章資源調度平臺234
6.1Yarn項目背景235
6.2調度器性能優化241
6.3集群的高可用性244
6.4多資源維度彈性管理254
第7章數據治理體繫261
數據262
7.2數據資產管理271
7.3大數據安全283
第8章機器學習平臺298
8.1圖智能平臺299
8.2Angel310
8.3聯邦學習333
第9章數據內容挖掘350
9.1概覽351
9.2廣告內容挖掘352
9.3用戶畫像數據體繫365
9.4用戶畫像構建方法366
9.5數據內容挖掘與推薦379
9.6數據內容挖掘與AI創作380
第10章大數據平臺運營384
10.1大數據服務規劃385
10.2大數據平臺治理393
10.3自動化運維體繫構建397
10.4平臺運營成本優化404
10.5大數據運營分析與應用體繫408
第11章大數據平臺產品設計410
11.1TBDS大數據處理套件411
11.2Oceanus實時流式數據處理平臺419
11.3ideX數據分析與探索挖掘工具425
11.4智能鈦TI機器學習平臺429
第12章企業級容器雲平臺GaiaStack438
12.1GaiaStack產品背景和目標439
12.2GaiaStack架構和技術特點446
12.3GaiaStack核心技術454
第13章大數據應用服務503
13.1智能客服機器人504
13.2移動推送526
13.3數據可視化產品小馬BI535
參考文獻549

本書詳細闡述了騰訊大數據平臺繫統架構，以及多年來平臺建設的思考與沉澱，涵蓋騰訊大數據的起源、技術理念及發展歷程、開源路線選擇的思考以及三代大數據平臺架構的技術演進，涉及數據實時采集平臺、下一代分布式存儲平臺、分布式計算平臺、資源調度平臺、機器學習平臺、數據內容挖掘、大數據平臺的運營、大數據套件TBDS、一站式機器學習平臺智能鈦TI等核心技術內容。大數據生態發展與演進需要各界數據人的共同努力，相信本書中詳盡的大數據平臺案例與建設思路可以給各位同行朋友帶來很大的啟發並提供借鋻。本書適合大數據從業人員、大數據技術愛好者、相關專業院校學生閱讀。

蔣傑 等 著