基本信息

書名:ClickHouse原理解析與應用實踐

定價

作者:朱凱 著

出版社：機械工業出版社

出版日期：2020-06-01

ISBN：9787111654902

字數：

頁碼：270

版次：1

裝幀：精裝

開本：16開

商品重量：

編輯推薦

（1）ClickHouse被稱為 快的數據庫，受到眾多企業的追捧，尤其是在OLAP領域，ClickHouse將成為性能的保障。

（2）ClickHouse的中文資料非常少，本書作為全面介紹ClickHouse的中文圖書，不僅會為讀者帶來學習上的便利，對全球範圍內的發展也會產生積極作用。

（3）本書內容全面，從基礎到原理、從理念到實踐都有深度介紹，初中級讀者通過這一本書就能充分掌握ClickHouse。

內容提要

這是一本可幫助讀者深度理解並全面掌握ClickHouse運行原理並進行實踐開發的工具書，涵蓋了ClickHouse的時代背景、發展歷程、核心概念、基礎功能、運行原理、實踐指導等多個維度的內容，尤其是在ClickHouse 核心的部分——MergeTree表引擎與分布式方面，書中對其實現原理和應用技巧進行了詳細解讀。

本書采用淺顯易懂的語言+大量演示案例+大量示意圖例的形式呈現，以求讓讀者在 短的時間內，以 舒服的方式，獲得 核心的知識。本書的理論觀點來自作者在OLAP領域10餘年的工作思考與總結；功能與實操的素材來自作者在工作中對ClickHouse的深度應用與實踐；原理解析部分的素材來自對大量專業文獻的鑽研與源碼級的調試與解讀。

本書在邏輯上分為三大部分：

~2章從宏觀的角度出發，描述了時代背景、ClickHouse的發展歷程及其核心特點。其中，對MOLAP、ROLAP和HOLAP三種架構形態的優缺點進行了詳細解讀，對ClickHouse的發展歷程和架構形態進行了深度剖析，目的是幫助讀者從根本上了解ClickHouse為什麼具有這麼高的性能。

第3~5章從實踐應用的角度出發，詳細介紹了ClickHouse基礎功能的使用方法和技巧，其中包括對數據庫、數據表、視圖、數據字典等重點功能的剖析和演示。

第6~11章從原理的角度出發，解析了ClickHouse核心功能的運行機理。重點介紹了六大類數十種表引擎的主要特點與使用方法。其中對MergeTree的原理進行了深度解析，對它的基礎數據結構、分區索引、一級索引、二級索引、壓縮數據塊、數據標記等重要概念進行了解讀；對副本與分片的運行原理也進行了詳細剖析；對它的基礎數據結構、分布式DDL、分布式協同的核心操作過程等進行了解讀。

目錄

目錄 Contents

推薦序一

推薦序二

推薦序三

推薦序四

推薦序五

贊譽

前言

章ClickHouse的前世今生1

1.1傳統BI繫統之殤2

1.2現代BI繫統的新思潮2

1.3OLAP常見架構分類4

1.4OLAP實現技術的演進6

1.5一匹橫空出世的黑馬7

1.5.1天下武功唯快不破8

1.5.2社區活躍8

1.6ClickHouse的發展歷程8

1.6.1順理成章的MySQL時期9

1.6.2另闢蹊徑的Metrage時期10

1.6.3自我突破的OLAPServer時期10

1.6.4水到渠成的ClickHouse時代11

1.7ClickHouse的名稱含義12

1.8ClickHouse適用的場景12

1.9ClickHouse不適用的場景13

1.10有誰在使用ClickHouse13

1.11本章小結13

第2章ClickHouse架構概述14

2.1ClickHouse的核心特性14

2.1.1完備的DBMS功能15

2.1.2列式存儲與數據壓縮15

2.1.3向量化執行引擎16

2.1.4關繫模型與SQL查詢17

2.1.5多樣化的表引擎18

2.1.6多線程與分布式18

2.1.7多主架構19

2.1.8在線查詢19

2.1.9數據分片與分布式查詢 19

2.2ClickHouse的架構設計20

2.2.1Column與Field20

2.2.2DataType20

2.2.3Block與Block流21

2.2.4Table22

2.2.5Parser與Interpreter22

2.2.6Functions 與Aggregate Functions22

2.2.7Cluster與Replication23

2.3ClickHouse為何如此之快24

2.3.1著眼硬件，先想後做24

2.3.2算法在前，抽像在後24

2.3.3勇於嘗鮮，不行就換25

2.3.4特定場景，特殊優化25

2.3.5持續測試，持續改進25

2.4本章小結26

第3章安裝與部署27

3.1ClickHouse的安裝過程27

3.1.1環境準備27

3.1.2安裝ClickHouse28

3.2客戶端的訪問接口31

3.2.1CLI31

3.2.2BC33

3.3內置的實用工具35

3.3.1clickhouse-local35

3.3.2clickhouse-benchmark36

3.4本章小結38

第4章數據定義39

4.1ClickHouse的數據類型39

4.1.1基礎類型40

4.1.2復合類型45

4.1.3特殊類型48

4.2如何定義數據表49

4.2.1數據庫49

4.2.2數據表50

4.2.3默認值表達式52

4.2.4臨時表53

4.2.5分區表54

4.2.6視圖55

4.3數據表的基本操作56

4.3.1追加新字段56

4.3.2修改數據類型56

4.3.3修改備注56

4.3.4刪除已有字段57

4.3.5移動數據表57

4.3.6清空數據表58

4.4數據分區的基本操作58

4.4.1查詢分區信息58

4.4.2刪除指定分區58

4.4.3復制分區數據59

4.4.4重置分區數據60

4.4.5卸載與裝載分區60

4.4.6備份與還原分區61

4.5分布式DDL執行61

4.6數據的寫入61

4.7數據的刪除與修改63

4.8本章小結64

第5章數據字典65

5.1內置字典65

5.1.1內置字典配置說明65

5.1.2使用內置字典67

5.2外部擴展字典67

5.2.1準備字典數據67

5.2.2擴展字典配置素組成68

5.2.3擴展字典的數據結構69

5.2.4擴展字典的類型71

5.2.5擴展字典的數據源79

5.2.6擴展字典的數據更新策略84

5.2.7擴展字典的基本操作85

5.3本章小結87

第6章MergeTree原理解析88

6.1MergeTree的創建方式與存儲結構89

6.1.1MergeTree的創建方式89

6.1.2MergeTree的存儲結構91

6.2數據分區93

6.2.1數據的分區規則93

6.2.2分區目錄的命名規則94

6.2.3分區目錄的合並過程95

6.3一級索引98

6.3.1稀疏索引98

6.3.2索引粒度99

6.3.3索引數據的生成規則99

6.3.4索引的查詢過程101

6.4二級索引102

6.4.1granularity與index_granularity的關繫104

6.4.2跳數索引的類型105

6.5數據存儲106

6.5.1各列獨立存儲106

6.5.2壓縮數據塊106

6.6數據標記109

6.6.1數據標記的生成規則109

6.6.2數據標記的工作方式110

6.7對於分區、索引、標記和壓縮數據的協同總結113

6.7.1寫入過程113

6.7.2查詢過程114

6.7.3數據標記與壓縮數據塊的對應關繫114

6.8本章小結116

第7章MergeTree繫列表引擎117

7.1MergeTree117

7.1.1數據TTL117

7.1.2多路徑存儲策略121

7.2ReplacingMergeTree128

7.3SummingMergeTree130

7.4AggregatingMergeTree134

7.5CollapsingMergeTree137

7.6VersionedCollapsingMergeTree140

7.7各種MergeTree之間的關繫總結141

7.7.1繼承關繫141

7.7.2組合關繫143

7.8本章小結144

第8章其他常見類型表引擎145

8.1外部存儲類型145

8.1.1HDFS145

8.1.2MySQL149

8.1.3BC150

8.1.4Kafka152

8.1.5File157

8.2內存類型158

8.2.1Memory159

8.2.2Set159

8.2.3Join160

8.2.4Buffer162

8.3日志類型164

8.3.1TinyLog164

8.3.2StripeLog165

8.3.3Log166

8.4接口類型167

8.4.1Merge167

8.4.2Dictionary168

8.4.3Distributed169

8.5其他類型170

8.5.1Live View170

8.5.2Null171

8.5.3URL171

8.6本章小結173

第9章數據查詢174

9.1WITH子句175

9.2FROM子句177

9.3SAMPLE子句178

9.4ARRAY JOIN子句180

9.5JOIN子句183

9.5.1連接精度184

9.5.2連接類型186

9.5.3多表連接189

9.5.4注意事項190

9.6WHERE與PREWHERE子句190

9.7GROUP BY子句193

9.7.1WITH ROLLUP194

9.7.2WITH CUBE194

9.7.3WITH TOTALS195

9.8HAVING子句195

9.9ORDER BY子句197

9.10LIMIT BY子句198

9.11LIMIT子句199

9.12SELECT子句200

9.13DISTINCT子句200

9.14UNION ALL子句202

9.15查看SQL執行計劃203

9.16本章小結207

0章副本與分片208

10.1概述208

10.2數據副本209

10.2.1副本的特點212

10.2.2ZooKeeper的配置方式212

10.2.3副本的定義形式213

10.3ReplicatedMergeTree原理解析214

10.3.1數據結構215

10.3.2副本協同的核心流程217

10.4數據分片228

10.4.1集群的配置方式228

10.4.2基於集群實現分布式DDL232

10.5Distributed原理解析236

10.5.1定義形式236

10.5.2查詢的分類237

10.5.3分片規則238

10.5.4分布式寫入的核心流程239

10.5.5分布式查詢的核心流程245

10.6本章小結251

1章管理與運維252

11.1用戶配置252

11.1.1用戶profile252

11.1.2配置約束253

11.1.3用戶定義254

11.2權限管理257

11.2.1訪問權限257

11.2.2查詢權限258

11.2.3數據行級權限259

11.3熔斷機制261

11.4數據備份263

11.4.1導出文件備份263

11.4.2通過快照表備份264

11.4.3按分區備份264

11.5服務監控265

11.5.1繫統表266

11.5.2查詢日志267

11.6本章小結270

作者介紹

朱凱
ClickHouse貢獻者之一，ClickHouse布道者，資深架構師，騰訊雲價值專家TVP，開源愛好者，Apache DolphinScheduler Committer，《企業級大數據平臺構建：架構與實現》作者，公眾號“ClickHouse的秘密基地”運營者。
十多年IT從業經驗，對大數據領域主流技術與解決方案有深入研究，擅長分布式繫統的架構設計與整合。曾主導過多款大數據平臺級產品的規劃、設計與研發工作，一線實戰經驗豐富。
現就職於遠光軟件股份有限公司，任大數據事業部平臺開發部總經理。

序言