目錄


第1章認識Pulsar 1
1.1Pulsar的背景 1
1.2Pulsar總體介紹 5
1.3個Pulsar程序 7
1.3.1環境的準備 7
1.3.2下載Pulsar 7
1.3.3Pulsar的目錄結構 9
1.3.4部署Pulsar 12
1.4小結 18
第2章客戶端 19
2.1名詞介紹 19
2.2Topic 20
2.2.1Topic簡介 20
2.2.2Topic的創建與刪除 23
2.2.3Topic的歸屬 26
2.2.4Topic的遷移 29
2.2.5可壓縮Topic 33
2.3Pulsar客戶端 36
2.3.1不同的客戶端 37
2.3.2創建管理流客戶端的流程 38
2.3.3創建數據流客戶端的流程 41
2.4生產者客戶端 43
2.4.1生產者客戶端簡介 43
2.4.2生產者原理解析 48
2.5消費者客戶端 56
2.5.1消費者客戶端簡介 56
2.5.2創建ConsumerImpl 64
2.5.3接收消息 65
2.5.4確認消息 67
2.5.5MultiTopicsConsumerImpl 75
2.5.6ZeroQueueConsumerImpl 77
2.5.7PatternMultiTopicsConsumerImpl 77
2.5.8Consumer的其他接口 78
2.6Reader 79
2.6.1創建ReaderImpl 80
2.6.2Reader的實現原理 81
2.7客戶端其他能力 82
2.7.1連接管理與線程池管理 82
2.7.2LookupService 88
2.7.3MemoryLimitController 90
2.8小結 91
第3章Broker 92
3.1Broker簡介 92
3.1.1Broker的啟動流程 93
3.1.2Broker的生產消費流程 96
3.2Schema 99
3.2.1Schema簡介 99
3.2.2Schema的類型 101
3.2.3Schema的管理 105
3.2.4Schema的版本與兼容性 108
3.2.5Schema的實現 110
3.3安全機制 112
3.3.1認證授權簡介 113
3.3.2認證授權框架 114
3.3.3默認的認證插件 117
3.3.4端到端加密 131
3.4配置與策略 134
3.4.1配置的加載 135
3.4.2動態配置的實現 135
3.4.3Namespace策略 137
3.4.4Topic策略 139
3.4.5策略的實現 144
3數據管理 145
3.5數據簡介 145
3.5數據的緩存 148
3.5數據的線程安全 150
3.5.4Session檢測 151
3.6存儲管理 153
3.6.1存儲模型 153
3.6.2存儲流程 156
3.6.3遊標 160
3.6.4消息回溯的實現 171
3.6.5數據的清理 172
3.6.6BacklogSize與StorageSize 176
3.7分層存儲 177
3.7.1分層存儲的使用 178
3.7.2數據的卸載與加載 179
3.8擴展點 181
3.8.1擴展點簡介 181
3.8.2ProtocolHandler擴展點 183
3.8.3BrokerInterceptor 184
3.8.4其他擴展點 186
3.9負載管理 188
3.9.1負載管理簡介 188
3.9.2負載的上報 190
3.9.3負載策略 194
3.9.4Bundle的自動分裂 196
3.9.5Leader選舉與Broker分配 197
3.10管理流服務 198
3.10.1管理流服務簡介 199
3.10.2REST接口的重定向 201
3.10.3WebSocket 202
3.11消息去重 203
3.12事務消息 205
3.12.1事務簡介 206
3.12.2事務流程 208
3.12.3事務的實現 210
3.13Dispatcher 214
3.13.1Dispatcher流程 215
3.13.2Dispatcher的實現原理 217
3.14小結 219
第4章Function與Pulsar IO 221
4.1Function簡介 222
4.2Function的使用 224
4.3Function的架構 230
4.4Function的實現原理 233
4.4.1服務的啟動 233
4.4.2LeaderService的實現 234
4.4.3MembershipManager與SchedulerManager的實現 235
4.4.4FunctionAssignmentTailer的實現 236
4.4.5FunctionMetaDataManager的實現 236
4.4.6FunctionRuntimeManager的實現 237
4.5Runtime的實現 240
4.5.1ThreadRuntime的實現 240
4.5.2ProcessRuntime的實現 242
4.5.3KubernetesRuntime的實現 243
4.6Pulsar IO簡介 244
4.7部署Connector 245
4.8開發Connector 247
4.9Pulsar IO的實現 249
4.10小結 249
第5章BookKeeper存儲 251
5.1項目結構 251
5.2存儲簡介 252
5.3數據寫入的實現 255
5.4數據讀取的實現 259
5.5自愈能力 260
5.6小結 263
第6章實戰Pulsar 264
6.1高可用 264
6.1.1跨區域感知 266
6.1.2跨地域復制 271
6.1.3跨地域復制的使用 277
6.1.4跨地域復制的實現 280
6.2擴/縮容 284
6.3資源隔離 287
6.3.1資源隔離的使用 287
6.3.2資源隔離的實現 290
6.4小結 291