作 者:徐葳 著
定 價:59
出 版 社:人民郵電出版社
出版日期:2019年10月01日
頁 數:226
裝 幀:簡裝
ISBN:9787115516787
Flink是大數據處理領域最近冉冉升起的一顆新星,它可以基於Hadoop進行開發和使用,與Hadoop緊密結合。本書旨在幫助讀者從零開始快速掌握Flink的基本原理與核心功能,並具有以下特點:1.這是一本Flink入門級圖書,力求詳細而完整地描述Flink基礎理論與實際操作。2.采用Flink 1.6版本寫作,案例豐富實用,做到學以致用。3.細節與案例兼顧,深入淺出展現Flink技術精髓。4.51CTO熱門網課配套教材,可與網課結合學習,快速提升大數據開發技能。
●第 1章 Flink概述 11.1 Flink原理分析 11.2 Flink架構分析 21.3 Flink基本組件 31.4 Flink流處理(Streaming)與批處理(Batch) 41.5 Flink典型應用場景分析 51.6 流式計算框架對比 61.7 工作中如何選擇實時計算框架 8第 2章 Flink快速入門 92.1 Flink開發環境分析 92.1.1 開發工具推薦 92.1.2 Flink程序依賴配置 102.2 Flink程序開發步驟 112.3 Flink流處理(Streaming)案例開發 112.3.1 Java代碼開發 122.3.2 Scala代碼開發 142.3.3 執行程序 162.4 Flink批處理(Batch)案例開發 162.4.1 Java代碼開發 162.4.2 Scala代碼開發 182.4.3 執行程序 19第3章 Flink的安裝和部署 203.1 Flink本地模式 203.2 Flink集群模式 223.2.1 Standalone模式 233.2.2 Flink on Yarn模式 263.2.3 yarn-session.sh命令分析 303.2.4 Flink run命令分析 303.3 Flink代碼生成JAR包 313.4 Flink HA的介紹和使用 353.4.1 Flink HA 353.4.2 Flink Standalone集群的HA安裝和配置 353.4.3 Flink on Yarn集群HA的安裝和配置 503.5 Flink Scala Shell 53第4章 Flink常用API詳解 564.1 Flink API的抽像級別分析 564.2 Flink DataStream的常用API 574.2.1 DataSource 574.2.2 Transformation 664.2.3 Sink 704.3 Flink DataSet的常用API分析 804.3.1 DataSource 804.3.2 Transformation 814.3.3 Sink 824.4 Flink Table API和SQL的分析及使用 824.4.1 Table API和SQL的基本使用 834.4.2 DataStream、DataSet和Table之間的轉換 874.4.3 Table API和SQL的案例 914.5 Flink支持的DataType分析 974.6 Flink序列化分析 97第5章 Flink高級功能的使用 995.1 Flink Broadcast 995.2 Flink Accumulator 1045.3 Flink Broadcast和Accumulator的區別 1085.4 Flink Distributed Cache 108第6章 Flink State管理與恢復 1126.1 State 1126.1.1 Keyed State 1136.1.2 Operator State 1156.2 State的容錯 1166.3 CheckPoint 1186.4 StateBackend 1196.5 Restart Strategy 1216.6 SavePoint 123第7章 Flink窗口詳解 1257.1 Window 1257.2 Window的使用 1267.2.1 Time Window 1277.2.2 Count Window 1287.2.3 自定義Window 1297.3 Window聚合分類 1307.3.1 增量聚合 1307.3.2 全量聚合 132第8章 Flink Time詳解 1348.1 Time 1348.2 Flink如何處理亂序數據 1358.2.1 Watermark 1368.2.2 Watermark的生成方式 1378.3 EventTime+Watermark解決亂序數據的案例詳解 1388.3.1 實現Watermark的相關代碼 1388.3.2 通過數據跟蹤Watermark的時間 1428.3.3 利用Watermark+Window處理亂序數據 1498.3.4 Late Element的處理方式 1538.3.5 在多並行度下的Watermark應用 1638.3.6 With Periodic Watermarks案例總結 165第9章 Flink並行度詳解 1669.1 Flink並行度 1669.2 TaskManager和Slot 1669.3 並行度的設置 1679.3.1 並行度設置之Operator Level 1689.3.2 並行度設置之Execution Environment Level 1689.3.3 並行度設置之Client Level 1699.3.4 並行度設置之System Level 1699.4 並行度案例分析 169第 10章 Flink Kafka Connector詳解 17210.1 Kafka Connector 17210.2 Kafka Consumer 17310.2.1 Kafka Consumer消費策略設置 17310.2.2 Kafka Consumer的容錯 17510.2.3 動態加載Topic 17610.2.4 Kafka Consumer Offset自動提交 17710.3 Kafka Producer 17710.3.1 Kafka Producer的使用 17710.3.2 Kafka Producer的容錯 179第 11章 Flink實戰項目開發 18411.1 實時數據清洗(實時ETL) 18411.1.1 需求分析 18411.1.2 項目架構設計 18411.1.3 項目代碼實現 18611.2 實時數據報表 20511.2.1 需求分析 20511.2.2 項目架構設計 20611.2.3 項目代碼實現 207
本書旨在幫助讀者從零開始快速掌握Flink的基本原理與核心功能。本書首先介紹了Flink的基本原理和安裝部署,並對Flink中的一些核心API進行了詳細分析。然後配套對應的案例分析,分別使用Java代碼和Scala代碼實現案例。最後通過兩個項目演示了Flink在實際工作中的一些應用場景,幫助讀者快速掌握Flink開發。學習本書需要大家具備一些大數據的基礎知識,比如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安裝和使用。本書也適合對大數據實時計算感興趣的讀者閱讀。學習本書需要大家具備一些大數據的基礎知識,例如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安裝和使用。本書也適合對大數據實時計算感興趣的愛好者閱讀。
徐葳 著
徐葳,擁有多年一線互聯網公司軟件的研發經驗,曾擔任獵豹移動大數據技術專家、中科院大數據研究院大數據技術專家、某大學外聘大數據講師。他主導開發海外輿情監控繫統、海量數據采集平臺、OLAP數據分析平臺、三度關繫推薦繫統和PB級數據檢索繫統等,並進行大數據相關的內容培訓。此外,他對Hadoop、Storm和Spark等大數據技術框架有深入的理解。