贊譽
序1
序2
自序
前言
部分架構篇
第1章數據倉庫的核心技術3
1.1OLAP和OLTP的本質區別4
1.1.1數據三範式4
1.1.2規範化的意義6
1.1.3規範化的局限7
1.1.4數倉建模的本質7
1.1.5OLAP和OLTP的底層數據模型8
1.1.6維度建模8
1.2典型大數據數倉技術及其核心思路10
1.2.1Hive10
1.2.2HBase11
1.2.3Kylin12
1.2.4其他數倉13
1.3傳統數倉的缺陷13
1.3.1效率低13
1.3.2延遲高14
1.3.3成本高14
1.4ClickHouse查詢性能的優勢15
1.4.1向量化引擎15
1.4.2高效的數據壓縮16
1.4.3高效的I/O優化17
1.5本章小結18
第2章ClickHouse簡介19
2.1ClickHouse的4個標簽19
2.1.1性能強大19
2.1.2單機處理能力強20
2.1.3成本低21
2.1.4不支持事務21
2.2ClickHouse的3個適用場景22
2.2.1BI報表的交互式分析22
2.2.2互聯網日志分析22
2.2.3廣告營銷23
2.3本章小結24
第3章ClickHouse架構概覽25
3.1ClickHouse架構簡介26
3.2ClickHouse的核心抽像27
3.2.1列和字段27
3.2.2數據類型28
3.2.3塊32
3.2.4表33
3.3ClickHouse的運作過程35
3.3.1數據插入過程35
3.3.2數據查詢過程35
3.3.3數據更新和數據刪除過程36
3.4本章小結37
第4章MergeTree存儲引擎架構39
4.1MergeTree存儲引擎的三大特點40
4.2MergeTree的數據組織41
4.2.1塊41
4.2.2數據堆放方式41
4.3MergeTree的文件組織43
4.3.1數據數據文件、索引文件和其他文件45
4.3.2分區47
4.3.3數據庫和表48
4.4索引49
4.4.1主鍵索引49
4.4.2標記49
4.5與事務數據庫存儲引擎的對比50
4.6存儲引擎如何影響查詢速度52
4.6.1預排序52
4.6.2列存52
4.6.3壓縮53
4.7MergeTree存儲引擎的工作過程53
4.7.1數據庫、數據表的創建過程54
4.7.2數據插入過程54
4.7.3分區合並和刪除過程54
4.7.4數據讀取過程56
4.8本章小結59
第5章ClickHouse計算引擎架構61
5.1ClickHouse計算引擎的架構簡介與設計思想61
5.1.1整體架構62
5.1.2SQL解析器62
5.1.3解釋器63
5.1.4執行器63
5.1.5設計思想64
5.2火山模型65
5.2.1火山模型概述65
5.2.2火山模型的原理66
5.2.3火山模型的優點與缺點67
5.3向量化引擎67
5.3.1向量化引擎的實現方式68
5.3.2ClickHouse中的向量化算子69
5.3.3向量化引擎的前提70
5.4計算引擎如何影響查詢速度72
5.4.1ClickHouse查詢速度快的前提72
5.4.2ClickHouse查詢速度快的本質74
5.5本章小結74
第6章ClickHouse與其他數倉架構的對比75
6.1ClickHouse與Hive的對比75
6.1.1Hive的數據文件76
6.1.2Hive的存儲繫統82
6.1.3Hive計算引擎與ClickHouse計算引擎的差異84
6.1.4ClickHouse比Hive查詢速度快的原因85
6.2ClickHouse與HBase的對比86
6.2.1HBase的數據模型86
6.2.2HBase的存儲繫統與ClickHouse的異同87
6.2.3HBase的適用場景及ClickHouse不適合的原因87
6.3ClickHouse與Kylin的對比88
6.3.1Kylin的架構88
6.3.2Kylin解決性能問題的思路88
6.3.3Kylin方案的缺陷89
6.3.4ClickHouse的方案89
6.4本章小結91
第7章深度思考：決定外在能力的因素93
7.1從架構層面分析ClickHouse93
7.1.1ClickHouse速度快的前提93
7.1.2對ClickHouse的一些誤解94
7.2結構決定功能95
7.2.1方法論96
7.2.2意義97
7.2.3不要過度設計98
7.3從ClickHouse的設計來理解99
7.3.1結構決定能力的上限99
7.3.2結構決定應用層算法99
7.4本章小結100
第二部分實戰篇
第8章ClickHouse使用技巧105
8.1數據導入、導出技巧105
8.1.1外部文件導入、導出技巧105
8.1.2靈活使用集成表引擎導入、導出數據109
8.2建表技巧117
8.2.1表引擎選擇技巧118
8.2.2分區鍵選擇技巧120
8.2.3數據結構選擇技巧120
8.2.4分區技巧121
8.3高級技巧121
8.3.1物化視圖121
8.3.2投影122
8.3.3位圖122
8.3.4變更數據捕獲123
8.4常見報錯及處理方法123
8.5本章小結124
第9章ClickHouse實現用戶畫像繫統125
9.1用戶畫像概述125
9.1.1用戶畫像繫統介紹125
9.1.2用戶畫像繫統的需求描述127
9.1.3用戶畫像繫統的需求分析127
9.1.4用戶畫像繫統的架構128
9.2用戶畫像繫統的關鍵技術實現129
9.2.1技術選型129
9.2.2分析階段130
9.2.3運營階段136
9.3基於ClickHouse的用戶畫像繫統的優點137
9.4本章小結139
第10章ClickHouse的存算分離架構141
10.1存算分離架構背景141
10.1.1相關概述141
10.1.2存算分離的典型架構142
10.1.3存算分離的意義143
10.1.4存算分離的局限145
10.2ClickHouse中的存算分離147
10.2.1實現方式147
10.2.2注意事項150
10.3存算分離架構給ClickHouse帶來的優勢151
10.4本章小結152
第11章ClickHouse的分布式架構153
11.1架構特點及對比153
11.1.1ClickHouse分布式架構的優點154
11.1.2ClickHouse分布式架構的缺點155
11.1.3ClickHouse與Hadoop的分布式架構對比156
11.2基本概念156
11.2.1集群157
11.2.2副本158
11.2.3分片159
11.3ClickHouse的復制表引擎160
11.3.1創建復制表160
11.3.2復制表復制161
11.3.3復制表查詢161
11.4ClickHouse分布式表引擎162
11.4.1創建分布式表162
11.4.2分布式表查詢原理163
11.4.3分布式表的數據寫入方案165
11.4.4分布式表中副本的處理方式165
11.5本章小結166
第12章ClickHouse性能優化167
12.1性能優化的原則167
12.2數據結構優化168
12.3內存優化171
12.4磁盤優化171
12.5網絡優化173
12.6CPU優化173
12.7查詢優化174
12.8數據遷移優化176
12.9本章小結177

為什麼要寫這本書
2021年，一次從深圳到上海的航班上，我和同事討論到了客戶的需求。同事反饋：客戶抱怨現有的Hive數據倉庫開發一個指標的周期太長，客戶提出一個想法後，需要很久纔能得到數據，嚴重降低了客戶的決策效率。我自信地向同事推薦了ClickHouse—ClickHouse正好可以用來應對這類數據探索的場景。我滿心歡喜地認為這個客戶的需求得到了圓滿的解決，然而墨菲定律再一次發揮了它強大的威力。
幾周後，這位同事急吼吼地找到了我：“峰少，ClickHouse不行啊，查詢速度要20多秒，離客戶的1秒預期差太多了。”我的反應是不可能，就客戶的數據量來說，再差也不會超過3秒。隨即我意識到，一定是優化沒有做到位。於是我開始了解同事先前的工作。
通過調研，我發現同事是在做一些加索引、合並ODS表的操作，這些操作的確將ClickHouse的速度提升了幾個數量級，但是依然有著近20秒的差距。這個差距，通過索引、分區等手段是解決不了的。這讓我意識到，需要從ClickHouse的底層引擎出發。終我隻是修改了其中一個數倉表的主鍵順序，就成功地將查詢速度從20秒優化到了100毫秒，遠超客戶的預期。
這個事件促使我有了寫書的想法。的確，ClickHouse以速度快聞名，但事實上這是建立在對ClickHouse的底層引擎有著深度認知的基礎上的。如果還是以傳統數倉的方式對ClickHouse調優，就無法充分發揮ClickHouse的性能優勢。
ClickHouse是數倉中的另類，為了充分發揮單機優勢，放棄了很多傳統數倉習以為常的設計。這導致了ClickHouse和當前的主流數倉不同的適用場景和調優方式，也給目前的數倉從業者帶來了挑戰：傳統的調優方式無法在ClickHouse上達到極致的效果，需要對ClickHouse底層引擎有更全面的了解，並同時理解一套全新的調優的方法論。
當然，對於大部分大數據工程師來說，隻需要了解ClickHouse的調優方法論。但我的很多同事在了解了ClickHouse調優的套路之後，對ClickHouse的神奇特性產生了好奇：為何更換一下位置就能將性能提升這麼多？要理解這個問題，就需要對ClickHouse的底層引擎有深入了解。我寫這本書，就是希望能夠繫統地將ClickHouse的底層引擎分析透徹，從而幫助讀者知其然，更能知其所以然。
讀者對像
我在寫作時盡量避免解讀ClickHouse源碼，更注重分析ClickHouse背後的思想。因為我認為源碼是思想的外在體現，同樣的思想，不同的開發者在實現時會有不同的代碼邏輯，所以核心在於背後的思想而不是代碼的實現。本書面向的讀者不僅僅是ClickHouse的C 源碼開發工程師，還包括以下讀者：
ClickHouse初學者及愛好者
軟件架構師
繫統架構師
ClickHouse開發者
數倉建模師
大數據工程師
ClickHouse運維工程師
中高級開發工程師
本書特色
本書從架構設計的層面揭示了ClickHouse查詢速度快的根本原因。讀者閱讀本書後，能夠深刻理解ClickHouse的適用場景，能夠客觀地認識ClickHouse並形成自己的認知，為今後在實際業務中充分發揮ClickHouse的性能提供堅實的基礎。
在思想內核上，本書分為明線和暗線。明線是ClickHouse為什麼查詢速度快，暗線是在此基礎上向讀者揭示更高維度的“架構如何影響功能（能力）”這個問題，從而幫助讀者在潛移默化中構建架構世界觀。
如何閱讀本書
本書分為兩部分。
部分架構篇（第1～7章），介紹ClickHouse的架構，並從架構的角度分析ClickHouse查詢速度快的底層邏輯。任何架構都不可能適用於所有的場景，這部分會基於這個邏輯推導出ClickHouse的適用場景。
第二部分實戰篇（第8～12章），向讀者展示ClickHouse的使用技巧、真實場景下ClickHouse如何建模、雲計算時代ClickHouse的全新架構和性能優化等內容。
勘誤和支持
由於作者的水平有限，書中難免會出現一些錯誤或者不準確的地方，懇請讀者批評指正。為此，我開通了一個微信訂閱號“峰少的技術空間”，讀者關注後可以直接給我留言，反饋意見和建議，我會及時與大家在線交流。
書中的全部源文件可以通過以下鏈接下載，我也會及時更新相應的功能。
前端代碼源文件鏈接為https://github.com/Wen-ace/frontend_project_user_profile_with_high_performance_of_clickhouse。
後端代碼源文件鏈接為https://github.com/chen-ace/project_user_profile_with_hign_performance_of_clickhouse。
如果讀者有更多的寶貴意見，也歡迎發送郵件至郵箱cfcz48@qq.com。期待能夠得到你們的真摯反饋。
致謝
感謝我的恩師—南京大學胡昊教授。正是胡老師當年對我的教導，纔讓我有了求真探索的精神和看透表像的邏輯洞察力，也讓我具備了寫出這本書的能力。感謝我的恩師為本書作序。
感謝雲和恩墨創始人、鯤鵬MVP蓋國強老師，蓋老師在數據庫行業的經驗非常豐富，重視提攜新人，感謝蓋國強老師為本書作序。
感謝我的伯樂楊磊，楊磊先生從微末中發現了我，帶我進入更大的平臺，給了我一個可以自由揮灑纔華的舞臺，是楊磊先生提高了我的視野，讓我能夠從不同的角度去分析問題。同時感謝楊磊先生為本書編寫推薦語。
感謝我的公司滴普科技及公司的領導趙傑輝、王兵、吳小前、呂鑫。是公司給我創造了寫作的條件，並給我提供了實踐項目。沒有公司和領導們的支持，就不會有這本書的出版。
感謝雲數據庫研發負責人高新剛、ClickHouse中國社區創始人郭煒、美創科技技術研究院數據庫內核專家呂海波、StarRocks社區活躍貢獻者徐昱、中國科學院軟件研究所工程師溫一川、中亦科技數據庫產品副總經理陳宏義（老貓）、南京大學助理研究員匡宏宇博士。很榮幸本書能得到這些同行和前輩的認可。感謝你們對我的支持，為本書寫推薦語。我將不斷前行，輸出更多優質的內容。
感謝我的同事：曹源、鄭聰聰、溫榮蛟、徐業洲、錢思貝、溫志強、趙宇凱、劉晶、簡婉晴。感謝你們為本書的創作提供了支撐。特別感謝溫榮蛟先生，為第9章提供了前端代碼。
感謝我的父親陳志中。他是一個淳樸的物流司機，不擅於表達，隻知道一心一意支持我，對於我求學路上的要求，從來都不打地滿足。也正是父親對我的無私支持，纔讓我能夠專心求學，終寫出了這本書。
後感謝黨和祖國，讓我這個農村出身的孩子能夠通過教育改變自己的命運。願祖國繁榮昌盛。
謹以此書獻給我的父親和兄弟們，以及眾多熱愛ClickHouse的朋友們！