巨杉數據庫首著||代表國人原創技術之大成||湖倉一體架構|跨引擎數據一致性||跨業務實時數據應用

√ SequoiaDB這款極具代表性的國產原生分布式數據庫，已成為中國數字化信息技術創新的強力引擎。

√ 面向雲原生時代的彈性數據基礎設施與商業化分布式數據庫產品架構+管理+優化解決方案實戰詳解。

√ 首度揭秘被業界廣泛采用的巨杉數據庫設計實現原理，提供大量真實行業應用案例及Best Practice。

√ 解密湖倉一體架構的MySQL|PostgreSQL|SparkSQL跨引擎數據一致性及跨業務實時數據應用能力。

本書從分布式數據庫的背景與發展情況出發，詳細、繫統地介紹了國產分布式數據庫SequoiaDB（巨杉數據庫）的基礎知識、數據庫實例、架構原理、運維管理等核心技術內容，提供了性能調優和問題診斷的基本思路。此外，書中還分享了SequoiaDB的行業應用、最佳實踐、工具和生態等內容。

本書旨在幫助讀者更好地理解SequoiaDB的運行機制和原理，掌握運維管理的思路和實踐方法，適用於普通讀者入門SequoiaDB，也適用於對分布式數據庫有一定認識，且具備一定運維和開發能力的讀者深入了解SequoiaDB技術細節。

許建輝，巨杉數據庫（SequoiaDB）公司的合伙人兼研發副總裁，擁有超過12年數據庫、分布式架構研發經驗。2012年加入巨杉數據庫公司，作為總架構師，他負責數據庫的架構設計、數據庫技術創新和研發管理工作，協助將巨杉數據庫服務於金融、能源、運營商等多個行業及政府部門，為眾多客戶提供堅實的數據基礎設施。他曾為華為分布式數據庫和分布式存儲團隊成員，是國內最早的一批研究分布式技術的開拓者。

分布式技術指的是一種基於網絡的計算機處理技術。該技術打破了海外傳統IT巨頭的技術壟斷，無論在互聯網還是在金融領域上，該技術方向都已被證明是行之有效的技術方向。海量數據作為各行業的重要生產要素，更需要分布式技術提供高效、可靠的支持。期待以SequoiaDB為代表的國產原生分布式數據庫，成為我國的數字化信息技術創新的堅實引擎。

——中國工商銀行軟件開發中心前總經理，梁禮方

進入雲原生時代，分布式數據庫靈活擴展的能力為業界提供了彈性的數據基礎設施，。SequoiaDB作為是國內較早商業化的分布式數據庫產品，本書圍繞其架構、管理、優化進行全面解讀，通過豐富事例的示例，讓讀者快速掌握SequoiaDB管理。

——CSDN創始人，蔣濤

百家爭鳴，十年砥礪，基於自研分布式數據庫內核的SequoiaDB，經過不斷的多年的實踐打磨和產品創新，建立了良好的業界口碑，獲得了用戶的廣泛的信任並積極采用和信任。本書體繫化繫統地詮釋了分布式數據庫的架構原理，完整地展現了巨杉數據庫的行業應用案例及具體實踐，是讀者了解分布式技術和SequoiaDB不可多得的佳作。

——3雲和恩墨創始人，鯤鵬MVP，蓋國強

SequoiaDB提供的Multi-Model（多模）多模能力，不但提供了不同的數據存儲類型，更提供了包括MySQL、PostgreSQL、SparkSQL在內的跨引擎數據一致性，。這一全新的“湖倉一體”架構可協助企業有效地打通跨業務的實時數據應用。

——阿裡雲高級技術專家，PostgreSQL社區聯合發起人，周正中（德哥）

第 1章 分布式數據庫行業發展 ......................................................................................... 1

1.1 分布式數據庫的行業背景與發展軌跡 ...................................................................1

1.2 巨杉數據庫公司及其產品簡介...............................................................................5

第 2章 SequoiaDB 行業應用及實踐 ....................................................................... 14

2.1 企業應用場景 ........................................................................................................14

2.2 企業級應用案例 ....................................................................................................20

第 3章 SequoiaDB 基礎知識 .......................................................................................... 30

3.1 SequoiaDB 的安裝和部署 .....................................................................................30

3.2 MySQL 實例的基本操作 ......................................................................................52

3.3 SDB Shell 模式 ......................................................................................................58

第 4章 數據庫實例 ......................................................................................................... 64

4.1 MySQL 實例 ..........................................................................................................64

4.2 PostgreSQL 實例 ....................................................................................................75

4.3 SparkSQL 實例 ......................................................................................................89

4.4 MariaDB 實例 ...................................................................................................... 106

4.5 S3 實例 ................................................................................................................. 111

4.6 SequoiaFS 文件繫統實例 .................................................................................... 124

4.7 JSON 實例 ............................................................................................................ 141

第 5章 架構和數據模型 ................................................................................................ 148

5.1 節點 ...................................................................................................................... 149

5.2 復制 ...................................................................................................................... 157

5.3 分區 ...................................................................................................................... 174

5.4 分布式事務 .......................................................................................................... 183

5.5 數據模型 .............................................................................................................. 195

5.6 時間序列 .............................................................................................................. 225

第 6章 進階使用與運維 ................................................................................................ 237

6.1 數據遷移 .............................................................................................................. 237

6.2 版本升級 .............................................................................................................. 253

6.3 擴容/縮容 ............................................................................................................. 257

6.4 備份與恢復 .......................................................................................................... 268

6.6 高可用性與容災 .................................................................................................. 288

6.7 故障診斷 .............................................................................................................. 325

6.8 性能調優 .............................................................................................................. 336

第 7章 工具和生態 ....................................................................................................... 343

7.1 數據管理工具 ...................................................................................................... 343

7.2 SAC ...................................................................................................................... 344

7.3 SequoiaDB Cloud 多雲管理平臺 ........................................................................ 344

7.4 巨杉生態社區 ...................................................................................................... 345

序

人們在談論分布式數據庫等技術時，經常用“未來”等詞語描述這一新技術的應用前景，但如今回頭看去，纔發現“未來已來”！大部分技術人在第一次了解分布式數據庫後，通常首先會問“分布式數據庫能否替代Oracle”。然而，分布式數據庫的設計初衷是解決全新的實際業務問題，即在傳統數據庫無法滿足的業務場景中，與用戶一同迎接數字化轉型的機遇和挑戰，而並非為了單純地替代某個原有繫統。時至今日，雖然傳統關繫型數據庫在核心交易等領域深耕了40多年，但大部分純交易場景不論在數據量還是商業模式上都沒有本質變化，其業務擴展空間十分有限。在企業的數字化轉型過程中，數據量會隨著業務發展而快速膨脹，這在形成全新業務需求的同時，也為數據庫帶來了新的市場機遇。

2011年，我和幾位來自IBM DB2及華為2012實驗室的“數據庫老兵”一同創立了巨杉數據庫（SequoiaDB）公司。巨杉數據庫公司是國內最早涉足並堅持發展分布式數據庫的公司之一。公司創立之初的目標是在數字化浪潮中擊敗Hadoop體繫，形成可同時兼顧大數據、聯機交易、聯機分析的數據基礎設施。2020年，業界給這樣的繫統定義了一個新名詞：“湖倉一體”（Data Lakehouse）。

SequoiaDB經歷了10年的發展，形成了獨具一格的架構體繫，產品從最早1.0版的結構化/半結構化海量數據管理，到2.0版支持全類型聯機的數據湖，再到3.0版整合分析引擎、提供“湖倉一體”能力，不斷演進著。在2020年發布的SequoiaDB 5.0中，更是基於“湖倉一體”架構提供了跨引擎的ACID事務一致性，顯著提升了海量數據場景的聯機交易擴展能力。至今，SequoiaDB已經成功應用於超過100家金融企業的生產繫統，單集群最大數據量達到1.2萬億條，運行時間最長的集群已經穩定上線近8年並持續擴容，成為金融行業穩固的數據基礎設施。

本書希望通過繫統化的內容，為大家剖析SequoiaDB的整體架構，並為廣大用戶提供技術運維、開發過程的有效指導。在此，我要感謝在過去10年中，持續推動我們進行新技術創新的所有客戶，一個產品的成功離不開客戶的參與及打磨。同時，我也要感謝與我們一同打開“湖倉一體”新賽道的合作伙伴。數據庫是一個建立於完整生態之上的體繫化工程，若沒有上下遊的緊密結合，將寸步難行。最後，我要感謝所有秉承以客戶為中心、堅持長期奮鬥的“巨杉人”，是你們打造、守護並深耕著這一片數據的沃土。讓我們一同提升數據價值，打造世界級產品！

2021年10月19日

巨杉數據庫公司董事長&聯合創始人唐迅

前言

為什麼寫作本書

相信大家對於“分布式數據庫”已經不再陌生。與傳統關繫型數據庫相比，分布式數據庫在提供ACID事務一致性能力的同時，擁有更靈活的擴展能力及多數據模型的處理能力。近年來，國內市場中湧現出一批優秀的分布式數據庫廠商。巨杉數據庫（SequoiaDB）公司作為其中的領先者，在從零開始的技術創新和數據庫生態建設方面取得了令人矚目的成就。

隨著用戶的規模和範圍日益擴大，應用場景越來越多樣，巨杉數據庫公司在積極為用戶提供服務支持的同時，也希望能夠通過一本繫統化的圖書，讓更多的技術人員認識和理解SequoiaDB的原理架構，並熟練掌握安裝部署、使用、運維和調優等實操技能，進而提升其自主解決問題的能力和效率。

讀者對像

本書適合所有數據庫技術從業人員及在校學生，特別是對分布式數據庫有一定了解和使用經驗的DBA和數據庫開發人員閱讀，他們可以通過本書了解更多有關分布式數據庫架構原理與運維管理的知識。

本書的主要內容

本書共分7章，從分布式數據庫行業發展情況開始，到分布式數據庫標杆產品SequoiaDB（巨杉數據庫）的介紹，涵蓋了SequoiaDB部署、管理和開發的方方面面。

? 第1章簡要講述分布式數據庫的行業背景、發展軌跡和發展方向，以及巨杉數據庫公司的簡介和產品概述。

? 第2章介紹SequoiaDB目前在行業中的應用和最佳實踐案例。

? 第3章介紹SequoiaDB用戶需要掌握的基礎知識，包括如何安裝、部署，並上手操作MySQL數據庫實例和Shell的相關內容。

? 第4章介紹多種數據庫實例的使用和開發。SequoiaDB目前充分兼容包括MySQL、MariaDB、PostgreSQL、Apache Spark、S3、NAS、SDB JSON在內的多種接口，應用程序基本可以在零改動的基礎上進行數據庫遷移。

? 第5章主要介紹SequoiaDB的節點、復制、分區、分布式事務、數據模型、時間序列等繫統架構和內核原理等相關內容。

? 第6章從運維的角度介紹SequoiaDB管理的很多方面，包括數據遷移、擴容/縮容、備份/恢復、監控、故障診斷、性能調優等。

? 第7章介紹SequoiaDB的數據管理工具，以及社區生態建設情況。

本書所介紹的內容具有較強的實用性，貼近SequoiaDB用戶的使用和開發需求。