第 一部分 導言—熟悉實時分析



第 1章 實時分析簡介2

1.1大數據的定義2

1.2大數據的基礎設施3

1.3實時分析—神話與現實6

1.4近實時解決方案—可用的架構9

1.4.1NRT的Storm解決方案9

1.4.2NRT的Spark解決方案10

1.5Lambda架構—分析可能性11

1.6物聯網—想法與可能性13

1.7雲—考慮NRT和物聯網17

1.8小結18

第 2章 實時應用的基本組件19

2.1NRT繫統及其構建模塊19

2.1.1數據采集21

2.1.2流處理22

2.1.3分析層—服務終端用戶23

2.2NRT的高級繫統視圖25

2.3NRT的技術視圖26

2.3.1事件生產者27

2.3.2數據收集27

2.3.3代理29

2.3.4轉換和處理31

2.3.5存儲32

2.4小結32



第二部分搭建基礎設施



第3章了解和跟蹤數據流34

3.1了解數據流34

3.2為數據提取安裝基礎設施35

3.2.1Apache Kafka35

3.2.2Apache NiFi36

3.2.3Logstash41

3.2.4Fluentd43

3.2.5Flume46

3.3將數據從源填到處理器—期望和注意事項48

3.4比較與選擇適合用例的實踐49

3.5小試牛刀49

3.6小結51

第4章安裝和配置Storm52

4.1Storm概述52

4.2Storm架構和組件53

4.2.1特征54

4.2.2組件54

4.2.3流分組56

4.3安裝和配置Storm57

4.3.1安裝Zookeeper57

4.3.2配置Apache Storm59

4.4在Storm上實時處理任務61

4.5小結67

第5章配置Apache Spark和Flink68

5.1安裝並快速運行Spark68

5.1.1源碼構建69

5.1.2下載Spark安裝包69

5.1.3運行示例70

5.2安裝並快速運行Flink73

5.2.1使用源碼構建Flink73

5.2.2下載Flink74

5.2.3運行示例75

5.3安裝並快速運行Apache Beam79

5.3.1Beam模型79

5.3.2運行示例80

5.3.3MinimalWordCount示例82

5.4Apache Beam中的平衡85

5.5小結88



第三部分Storm實時計算



第6章集成Storm與數據源90

6.1RabbitMQ有效的消息傳遞90

6.2RabbitMQ交換器91

6.2.1直接交換器91

6.2.2RabbitMQ安裝配置93

6.2.3RabbitMQ的發布和訂閱95

6.3RabbitMQ與Storm集成99

6.4PubNub數據流發布者107

6.5將Storm和RMQ_PubNub傳感器數據拓撲串在一起111

6.6小結114

第7章從Storm到Sink115

7.1安裝並配置Cassandra115

7.1.1安裝Cassandra116

7.1.2配置Cassandra117

7.2Storm和Cassandra拓撲118

7.3Storm和IMDB集成處理維度數據120

7.4集成表示層與Storm122

7.5小試牛刀134

7.6小結143

第8章Storm Trident144

8.1狀態保持和Trident144

8.1.1事務性spout145

8.1.2不透明事務性spout145

8.2基本Storm Trident拓撲146

8.3Trident內部實現148

8.4Trident操作149

8.4.1函數149

8.4.2Map函數and FlatMap函數150

8.4.3peek函數151

8.4.4過濾器151

8.4.5窗口操作152

8.4.6聚合操作155

8.4.7分組操作158

8.4.8合並和組合操作159

8.5DRPC160

8.6小試牛刀161

8.7小結164



第四部分使用Spark實現實時計算



第9章運用Spark引擎166

9.1Spark概述166

9.2Spark的獨特優勢169

9.3Spark用例172

9.4Spark架構—引擎內部的運行模式174

9.5Spark的語用概念176

9.6Spark 2.x—數據框和數據集的出現178

9.7小結179

第10章 運用Spark操作180

10.1Spark—封裝和API180

10.2RDD語用探索182

10.2.1轉換185

10.2.2動作190

10.3共享變量—廣播變量和累加器192

10.3.1廣播變量192

10.3.2累加器195

10.4小結196

第11章 Spark Streaming197

11.1Spark Streaming的概念197

11.2Spark Streaming的簡介和體繫結構198

11.3Spark Streaming的封裝結構203

11.3.1Spark Streaming API203

11.3.2Spark Streaming操作204

11.4連接Kafka和Spark Streaming206

11.5小結208



第五部分使用Flink實現實時分析



第12章 運用Apache Flink210

12.1Flink體繫結構和執行引擎210

12.2Flink的基本組件和進程213

12.3將源流集成到Flink215

12.3.1和Apache Kafka集成215

12.3.2和RabbitMQ集成218

12.4Flink處理和計算221

12.4.1Datastream API221

12.4.2DataSet API223

12.5Flink持久化224

12.6FlinkCEP226

12.7Pattern API227

12.7.1檢測模式227

12.7.2模式選擇228

12.7.3示例228

12.8Gelly229

12.9小試牛刀231

12.10小結242



第六部分綜合應用



第13章 用例研究244

13.1概述244

13.2數據建模245

13.3工具和框架246

13.4建立基礎設施247

13.5實現用例252

13.5.1構建數據模擬器252

13.5.2Hazelcast加載器259

13.5.3構建Storm拓撲261

13.6運行用例272

13.7小結279