第1章Kafka入門 1
1．1Kafka流式數據平臺 1
1．2Kafka的基本概念 3
1．2．1分區模型 3
1．2．2消費模型 4
1．2．3分布式模型 5
1．3Kafka的設計與實現 6
1．3．1文件繫統的持久化與數據傳輸效率 6
1．3．2生產者與消費者 8
1．3．3副本機制和容錯處理 10
1．4快速開始 11
1．4．1單機模式 12
1．4．2分布式模式 14
1．4．3消費組示例 16
1．5環境準備 18
第2章生產者 22
2．1新生產者客戶端 22
2．1．1同步和異步發送消息 23
2．1．2客戶端消息發送線程 29
2．1．3客戶端網絡連接對像 31
2．1．4選擇器處理網絡請求 35
2．2舊生產者客戶端 43
2．2．1事件處理器處理客戶端發送的消息 44
2．2．2對消息集按照節點和分區進行整理 46
2．2．3生產者使用阻塞通道發送請求 48
2．3服務端網絡連接 49
2．3．1服務端使用接收器接受客戶端的連接 50
2．3．2處理器使用選擇器的輪詢處理網絡請求 53
2．3．3請求通道的請求隊列和響應隊列 56
2．3．4Kafka請求處理線程 58
2．3．5服務端的請求處理入口 58
2．4小結 60
第3章消費者：高級API和低級API 61
3．1消費者啟動和初始化 67
3．1．1創建並初始化消費者連接器 69
3．1．2消費者客戶端的線程模型 70
3．1．3重新初始化消費者 72
3．2消費者再平衡操作 73
3．2．1分區的所有權 74
3．2．2為消費者分配分區 75
3．2．3創建分區信息對像 78
3．2．4關閉和更新拉取線程管理器 80
3．2．5分區信息對像的偏移量 80
3．3消費者拉取數據 82
3．3．1拉取線程管理器 82
3．3．2抽像拉取線程 87
3．3．3消費者拉取線程 90
3．4消費者消費消息 94
3．4．1Kafka消息流 94
3．4．2消費者迭代消費消息 95
3．5消費者提交分區偏移量 97
3．5．1提交偏移量到ZK 98
3．5．2提交偏移量到內部主題 99
3．5．3連接偏移量管理器 101
3．5．4服務端處理提交偏移量的請求 103
3．5．5緩存分區的偏移量 106
3．6消費者低級API示例 108
3．6．1消息消費主流程 109
3．6．2找出分區的主副本 112
3．6．3獲取分區的讀取偏移量 113
3．6．4發送拉取請求並消費消息 116
3．7小結 117
3．7．1消費者線程模型 117
3．7．2再平衡和分區分配 119
第4章新消費者 121
4．1新消費者客戶端 125
4．1．1消費者的訂閱狀態 125
4．1．2消費者輪詢的準備工作 134
4．1．3消費者輪詢的流程 138
4．1．4消費者拉取消息 146
4．1．5消費者獲取記錄 149
4．1．6消費消息 160
4．2消費者的網絡客戶端輪詢 161
4．2．1異步請求 162
4．2．2異步請求高級模式 169
4．2．3網絡客戶端輪詢 184
4．3心跳任務 188
4．3．1發送心跳請求 188
4．3．2心跳狀態 189
4．3．3運行心跳任務 191
4．3．4處理心跳結果的示例 192
4．3．5心跳和協調者的關繫 193
4．4消費者提交偏移量 195
4．4．1自動提交任務 195
4．4．2將拉取偏移量作為提交偏移量 197
4．4．3同步提交偏移量 201
4．4．4消費者的消息處理語義 202
4．5小結 206
第5章協調者 210
5．1消費者加入消費組 211
5．1數據與分區分配器 212
5．1．2消費者的加入組和同步組 213
5．1．3主消費者執行分配任務 220
5．1．4加入組的準備、完成和監聽器 224
5．2協調者處理請求 229
5．2．1服務端定義發送響應結果的回調方法 229
5．2．2消費者和數據 232
5．2．3協調者處理請求前的條件檢查 236
5．2．4協調者調用回調方法發送響應給客戶端 237
5．3延遲的加入組操作 242
5．3．1 “準備再平衡” 242
5．3．2延遲操作和延遲緩存 244
5．3．3嘗試完成延遲的加入操作 246
5．3．4消費組穩定後，原有消費者重新加入消費組 250
5．3．5消費組未穩定，原有消費者重新加入消費組 251
5．4消費組狀態機 254
5．4．1再平衡操作與監聽器 254
5．4．2消費組的狀態轉換 262
5．4．3協調者處理“加入組請求” 264
5．4．4協調者處理“同步組請求” 274
5．4．5協調者處理“離開組請求” 276
5．4．6再平衡超時與會話超時 278
5．4．7延遲的心跳 282
5．5小結 290
第6章存儲層 293
6．1日志的讀寫 293
6．1．1分區、副本、日志、日志
分段 294
6．1．2寫入日志 297
6．1．3日志分段 305
6．1．4讀取日志 315
6．1．5日志管理 329
6．1．6日志壓縮 336
6．2服務端處理讀寫請求 348
6．2．1副本管理器 351
6．2．2分區與副本 362
6．3延遲操作 373
6．3．1延遲操作接口 374
6．3．2延遲操作與延遲緩存 383
6．3．3延遲緩存 391
6．4小結 400
第7章控制器 402
7．1Kafka控制器 402
7．1．1控制器選舉 403
7．1．2控制器上下文 406
7．1．3ZK監聽器 408
7．1．4分區狀態機和副本狀態機 410
7．1．5刪除主題 430
7．1．6重新分配分區 436
7．1．7控制器的網絡通道管理器 445
7．2服務端處理LeaderAndIsr請求 448
7．2．1創建分區 449
7．2．2創建主副本、備份副本 451
7．2．3數據遷移 463
7數據緩存 468
7．3．1服數據緩存 472
7．3．2客戶數據 473
7．4Kafka服務關閉 483
7．5小結 487
第8章基於Kafka構建數據流管道 490
8．1Kafka集群同步工具：MirrorMaker 490
8．1．1單機模擬數據同步 491
8．1．2數據同步的流程 493
8．2Uber集群同步工具：uReplicator 498
8．2．1Apache Helix介紹 498
8．2．2Helix控制器 501
8．2．3Helix工作節點 504
8．3Kafka連接器 505
8．3．1連接器的使用示例 507
8．3．2開發一個簡單的連接器 510
8．3．3連接器的架構模型 515
8．3．4Herder的實現 520
8．3．5Worker的實現 524
8．3．6配置存儲與狀態存儲 530
8．3．7連接器與任務的實現 550
8．4小結 565
第9章Kafka流處理 569
9．1低級Processor API 569
9．1．1流處理應用程序示例 569
9．1．2流處理的拓撲 575
9．1．3流處理的線程模型 580
9．1．4狀態存儲 613
9．2高級流式DSL 636
9．2．1DSL應用程序示例 636
9．2．2KStream和KTable 638
9．2．3連接操作 665
9．2．4窗口操作 672
9．3小結 684
第10章高級特性介紹 686
10．1客戶端配額 686
10．2消息與時間戳 692
10．3事務處理 699
10．4小結 703
