作為新一代的開源流處理器，Flink是眾多大數據處理框架中一顆冉冉升起的新星。它以同一種技術支持流處理和批處理，並能同時滿足高吞吐、低延遲和容錯的需求。本書由Flink項目核心成員執筆，繫統闡釋Flink的適用場景、設計理念、功能、用途和性能優勢。

- Flink的適用場景
- 流處理架構相較於批處理架構的優勢
- Flink中的時間概念
- Flink的檢查點機制
- Flink的性能優勢

近年來，流處理變得越來越流行。作為高度創新的開源流處理器，Flink擁有諸多優勢，包括容錯性、高吞吐、低延遲，以及同時支持流處理和批處理的能力。本書分為6章，側重於介紹Flink的核心設計理念、功能和用途，內容涉及事件時間和處理時間、窗口和水印機制、檢查點機制、性能測評，以及Flink如何實現批處理。
本書面向有興趣學習如何分析大規模流數據的讀者。

作者介紹

埃倫·弗裡德曼（Ellen Friedman）
解決方案咨詢師，知名大數據相關技術布道師，在流處理架構和大數據處理框架等方面有多部著作。

科斯塔斯·宙馬斯（Kostas Tzoumas）
Flink項目核心成員，data Artisans公司聯合創始人兼首席執行官，在流處理和數據科學領域經驗豐富。

譯者介紹

王紹翾
阿裡巴巴資 深技術專家，Apache Flink Committer，淘寶花名“大沙”。畢業於北京大學信息科學技術學院，後取得加州大學聖地亞哥分校計算機工程博士學位。目前就職於阿裡巴巴計算平臺事業部，負責Flink SQL引擎及機器學習的相關開發。加入阿裡巴巴之前，在Facebook開發分布式圖存儲繫統TAO。曾多次拜訪由Flink創始團隊創辦的公司data Artisans，並與其首 席執行官科斯塔斯·宙馬斯（本書作者之一）以及首 席技術官斯蒂芬·尤恩有著廣泛的合作。

前言 ix
第 1章為何選擇Flink 1
1．1流處理欠佳的後果 2
1．1．1零售業和市場營銷 2
1．1．2物聯網 3
1．1．3電信業 5
1．1．4銀行和金融業 5
1．2連續事件處理的目標 6
1．3流處理技術的演變 6
1．4初探Flink 9
1．5生產環境中的Flink 12
1．5．1布衣格電信 13
1．5．2其他案例 14
1．6Flink的適用場景 15
第 2章流處理架構 17
2．1傳統架構與流處理架構 17
2．2消息傳輸層和流處理層 18
2．3消息傳輸層的理想功能 19
2．3．1兼具高性能和持久性 20
2．3．2將生產者和消費者解耦 20
2．4支持微服務架構的流數據 21
2．4．1數據流作為中心數據源 22
2．4．2欺詐檢測：流處理架構用例 22
2．4．3給開發人員帶來的靈活性 24
2．5不限於實時應用程序 24
2．6流的跨地域復制 26
第3章Flink 的用途 29
3．1不同類型的正確性 29
3．1．1符合產生數據的自然規律 29
3．1．2事件時間 31
3．1．3發生故障後仍保持準確 32
3．1．4及時給出所需結果 33
3．1．5使開發和運維更輕松 33
3．2分階段采用Flink 34
第4章對時間的處理 35
4．1采用批處理架構和Lambda 架構計數 35
4．2采用流處理架構計數 38
4．3時間概念 40
4．4窗口 41
4．4．1時間窗口 41
4．4．2計數窗口 43
4．4．3會話窗口 43
4．4．4觸發器 44
4．4．5窗口的實現 44
4．5時空穿梭 44
4．6水印 45
4．7真實案例：愛立信公司的Kappa 架構 47
第5章有狀態的計算 49
5．1一致性 50
5．2檢查點：保證exactly-once 51
5．3保存點：狀態版本控制 59
5．4端到端的一致性和作為數據庫的流處理器 62
5．5Flink 的性能 65
5．5．1Yahoo! Streaming Benchmark 65
5．5．2變化1：使用Flink 狀態 66
5．5．3變化2：改進數據生成器並增加吞吐量 67
5．5．4變化3：消除網絡瓶頸 68
5．5．5變化4：使用MapR Streams 69
5．5．6變化5：增加key 基數 69
5．6結論 71
第6章批處理：一種特殊的流處理 73
6．1批處理技術 75
6．2案例研究：Flink 作為批處理器 76
附錄其他資源 79
關於作者 84