了得網計算機/網絡_分布式數據庫架構及企業實踐—

編輯推薦

講解分布式數據庫的書並不多，講解其架構及企業實踐的就更少了。
本書基於國內知名的開源分布式數據庫中間件Mycat講解了如何實現分布式數據庫，很有實踐及借鋻意義。
歡迎加入本書交流群：463996643（QQ）

內容簡介

互聯網的蓬勃發展，業務驅動技術不斷升級，在繫統越來越龐大，技術越來越復雜，應用部署集群化，所有壓力全部指向數據庫，數據量巨大，數據庫優化也到極限了，數據庫的運維難以為繼，在這種情況下，分布式數據庫似乎成為的解決方案。為了解決傳統數據庫的分布式化這個技術難題，各種數據庫中間件應運而生，從早期的Amoeba、TDDL、Cobar，到如今的Mycat，技術日新月異，發展迅猛。Mycat已經成為了一個強大的開源分布式數據庫中間件產品。面對企業應用的海量數據事務處理，是目前好的開源解決方案。支持多種數據庫，開發活躍，已有數百個項目使用，預期Mycat的采用將有爆發式增長趨勢。所以Mycat開源社區核心開發者共同撰寫了本書，幫助企業更好的使用Mycat中間件架構企業分布式數據庫繫統。

作者簡介

周繼鋒
擁有十多年大型項目架構設計及實戰經驗，曾主導過眾多分布式繫統、微服務及大數據項目。在高並發、高可用、高可擴展性、高可維護性等領域擁有豐富的經驗，對Hadoop、Spark源碼進行過深度分析並具有豐富的實戰經驗。曾在ERP、醫學、互聯網行業擔任資深工程師、資深架構師、技術總監等職務，為煉數成金高級講師及國內知名的開源分布式數據庫中間件Mycat的負責人。
馮鑽優
多年來致力於分布式繫統架構、分布式數據庫、大數據技術的研究，在高並發、高可用的分布式繫統設計和大數據處理方面有著豐富的經驗。曾擔任架構師、開發經理、技術經理等職位，主導過大型分布式繫統、大數據分析項目的開發及實施落地，屬於理論兼實踐型架構師，現於某大型央企擔任高級架構師、高級經理，為國內知名的開源分布式數據庫中間件Mycat的高級顧問。
陳勝尊
擁有多年編程經驗，專注於電信運營商大數據項目的設計及開發，擅長Hadoop生態圈的大數據分析技術、分布式架構設計、高並發架構設計、MySQL優化，曾主導眾多大數據項目的架構設計。為國內知名的開源分布式數據庫中間件Mycat的活躍開發者。
左越宗
擁有多年數據庫管理經驗，維護過超過500臺以上的數據庫實例，精通NoSQL集群維護與優化、異構數據遷移、關繫型數據庫集群設計、分布式架構設計、SQL優化及數據庫軟件性能優化等，曾在互聯網金融、在線教育、遊戲行業擔任高級MySQL DBA、數據庫集群工程師、數據庫專家等職位。為尚觀科技高級講師及國內知名的開源分布式數據庫中間件Mycat的高級顧問。

第 1 章數據庫中間件與分布式數據庫的實現..............................................................1
1.1 什麼是分布式繫統.......................................................................................................1
1.2 為什麼需要分布式數據庫...........................................................................................2
1.3 分布式數據庫的實現原理 ........................................................................................ 3
1.4 Mycat 數據庫中間件簡介 ......................................................................................... 5
1.4.1 Mycat 的歷史與未來規劃 ...................................................................................... 5
1.4.2 Mycat 與其他中間件的區別 .................................................................................. 8
1.4.3 Mycat 的優勢 ..........................................................................................................10
1.4.4 Mycat 的適用場合 ..................................................................................................11
第 2 章 Mycat 入門……………………………………………………………………………………………………..13
2.1 環境搭建 ....................................................................................................................13
2.1.1 Windows 環境搭建 ..................................................................................................13第 1 章數據庫中間件與分布式數據庫的實現..............................................................1
1.1 什麼是分布式繫統.......................................................................................................1
1.2 為什麼需要分布式數據庫...........................................................................................2
1.3 分布式數據庫的實現原理 ........................................................................................ 3
1.4 Mycat 數據庫中間件簡介 ......................................................................................... 5
1.4.1 Mycat 的歷史與未來規劃 ...................................................................................... 5
1.4.2 Mycat 與其他中間件的區別 .................................................................................. 8
1.4.3 Mycat 的優勢 ..........................................................................................................10
1.4.4 Mycat 的適用場合 ..................................................................................................11
第 2 章 Mycat 入門……………………………………………………………………………………………………..13
2.1 環境搭建 ....................................................................................................................13
2.1.1 Windows 環境搭建 ..................................................................................................13
2.1.2 Linux 環境搭建 ........................................................................................................ 15
2.2 Mycat 核心概念詳解 .................................................................................................. 16
2.2.1 邏輯庫（schema） ................................................................................................. 16
2.2.2 邏輯表（table） ..................................................................................................... 16
2.2.3 分片節點（dataNode） ......................................................................................... 17
2.2.4 節點主機（dataHost） ........................................................................................... 17
2.3 Mycat 原理介紹 .......................................................................................................... 18
2.4 參與 Mycat 源碼開發 ............................................................................................... 19
2.4.1 Mycat 源碼環境搭建 ............................................................................................... 19
2.4.2 Mycat 源碼調試 ....................................................................................................... 19
第 3 章 Mycat 進階 ……………………………………………………………………………………………………..22
3.1 Mycat 配置詳解 ...........................................................................................................22
3.1.1 Mycat 支持的兩種配置方式 ....................................................................................22
3.1.2 server.xml 配置文件 ................................................................................................. 23
3.1.3 schema.xml 配置文件 ............................................................................................... 28
3.1.4 sequence 配置文件 ...................................................................................................37
3.1.5 zk-create.yaml 配置文件 ........................................................................................... 41
3.1.6 其他配置文件 ........................................................................................................... 44
3.2 Mycat 分片規則詳解 ................................................................................................... 46
3.2.1 分片表與非分片表 .................................................................................................... 46
3.2.2 ER 關繫分片表 ........................................................................................................... 46
3.2.3 分片規則 rule.xml 文件詳解 ................................................................................... 46
3.2.4 取模分片 .................................................................................................................... 47
3.2.5 枚舉分片 .....................................................................................................................48
3.2.6 範圍分片 .................................................................................................................... 49
3.2.7 範圍求模算法 .............................................................................................................49
3.2.8 固定分片 hash 算法 ................................................................................................. 50
3.2.9 取模範圍算法 ............................................................................................................. 52
3.2.10 字符串 hash 求模範圍算法 ................................................................................... 53
3.2.11 應用指定的算法 ....................................................................................................... 54
3.2.12 字符串 hash 解析算法 ............................................................................................ 54
3.2.13 一致性 hash 算法 .................................................................................................... 55
3.2.14 按日期（天）分片算法 ............................................................................................ 56
3.2.15 按單月小時算法 ........................................................................................................ 57
3.2.16 自然月分片算法 ........................................................................................................ 58
3.2.17 日期範圍 hash 算法 ................................................................................................ 58
3.3 Mycat 管理命令詳解 ...................................................................................................... 59
3.3.1 Reload 命令 .................................................................................................................. 61
3.3.2 Show 命令 .................................................................................................................... 62
第 4 章 Mycat 高級技術實戰………………………………………………………………………………………….. 68
4.1 用 Mycat 搭建讀寫分離 ............................................................................................... 68
4.1.1 MySQL 讀寫分離 .......................................................................................................... 69
4.1.2 MySQL Galera Cluster 讀寫分離 .................................................................................. 73
4.1.3 SQL Server 讀寫分離 ................................................................................................... 83
4.2 Mycat 故障切換 ............................................................................................................. 86
4.2.1 Mycat 主從切換 ...........................................................................................................86
4.2.2 MySQL Galera 節點切換 .............................................................................................. 99
4.3 Mycat Percona HAProxy Keepalived .............................................................................. 113
4.3.1 Mycat ............................................................................................................................. 113
4.3.2 Percona 集群 ....................................................................................................... ……..124
4.3.3 HAProxy ...........................................

前言

推薦序1
隨著大數據時代的到來，海量數據存儲、並行計算、異構數據互聯等一繫列新技術在市場上不斷地湧現。相信數據庫行業的很多從業者都對傳統關繫型數據庫的單點故障及容量問題頭疼不已，而“分庫分表”也早已成為解決這類問題的基礎，此時，Mycat應運而生。 Mycat是一款面向企業級應用的開源數據庫中間件產品，它目前支持數據庫集群、分布式事務與ACID，被普遍視為基於MySQL技術的集群分布式數據庫解決方案，在一些互聯網、金融、運營商客戶中用來替代昂貴的Oracle。
Mycat不僅可以輕松對接MySQL、SQL Server等傳統關繫型數據庫，也融合了內存緩存、NoSQL、HDFS等新興大數據技術，是一款非常優秀的數據庫中間件。
在如今的大數據時代，分布式架構已經成為企業級數據應用的標配，傳統的關繫型數據庫產品已經面臨一個真正的拐點：一方面，關繫型數據庫自身難以實現分布式，這大大限制了其數據存儲能力及整體的性能表現；另一方面，商業化的傳統數據庫產品的成本和性價比在分布式架構崛起的狀況下毫無優勢可言。因此，無論是從底層全新實現分布式計算存儲的NoSQL、Hadoop，還是使用Mycat這樣的分庫分表工具，對關繫型數據庫大刀闊斧地進行“改裝”都是大勢所趨。
作為一名專注於數據庫領域多年的從業者，我認為Mycat從中間件工具的角度成功地彌補了MySQL的諸多局限。
? 分布式存儲：通過Mycat，MySQL可以實現集群化與分布式管理，使數據庫容量與處理能力大大改善。
? 性能加速：通過分布式集群及Mycat Booster對MySQL數據庫在集群環境下的加速，Mycat大大提升了MySQL集群的性能。
? 異構數據互聯互通：除了MySQL，Mycat同時支持如SequoiaDB、MongoDB這樣的NoSQL數據庫及HDFS分布式文件繫統，實現了對非結構化數據、半結構化數據及結構化數據的存儲及互聯。
? 多樣化的數據庫工具：Mycat為用戶提供了豐富的管理工具，可以幫助用戶更好地管理數據庫繫統。
本書非常適合作為Mycat的入門及進階參考讀物，它非常全面地闡述了分庫分表的基本原理、實現機制及實踐經驗。本書的作者有著豐富的行業經驗及技術底蘊，能夠把業界非常前沿的知識用深入淺出的語言傳授給各位讀者。
後，作為SequoiaDB的聯合創始人，我十分欽佩Mycat團隊的技術及勇氣。雖然基礎軟件的開發難度很大，但是我們都敢於去挑戰一個個技術難點，並填補國內基礎軟件產品的巨大空白。因此，我在這裡衷心地祝願Mycat前程似錦！
巨杉數據庫聯合創始人王濤

推薦序2
隨著分布式繫統的發展，應用的分布式由於無狀態的特性，可以利用消息機制相對簡單地進行拆分，計算的分布式也可以通過Map、Reduce等相關算法來解決。但是隨著業務壓力和並發壓力的增加，我們急需一種分布式數據庫解決方案來支持數據庫的水平擴展，通過簡單地增加服務器及線性地提升數據庫的並發訪問能力，為闖過分布式繫統的後一道難關鋪平道路。
從阿裡巴巴的Cobar到開源社區的Mycat，從Cobar的架構師賀賢懋、朱海清、邱碩到Mycat的核心人員南哥、冰風影，作為一名專注於MySQL數據庫十多年的從業者，我見證了分布式數據庫的從無到有到百花齊放，在收到本書的序言邀請時，我感到非常榮幸。
現在的分布式數據庫產品越來越多。YouTube公司提供的Vitness功能強大，在YouTube的生產環境下支撐了大量的業務訪問；360公司的Altas基於MySQL Proxy開發而成，初主要在應用層進行透明的讀寫分離，於2013年引入了分庫分表；陳菲在離開360公司後在WPS雲平臺用Go語言編寫了Kingshard；樓方鑫（黃忠）在離開支付寶後編寫了OneProxy；騰訊互娛的DBA團隊基於Spider打造了自己的分布式數據庫平臺；淘寶在內部將TDDL的客戶端工具作為了分庫分表中間件；阿裡巴巴的B2B開源了支撐其內部業務生產環境3年的Cobar，為開源社區提供了一大助力；而基於Cobar開發的Mycat及其各種分支由於其易用性，將分布式數據庫進一步推廣到互聯網和傳統行業的各個業務領域。
Mycat無疑是這些中間件中的佼佼者，支持百億級別的數據分片和並行計算，支持高可用和MySQL的讀寫分離，並隨著版本的更新進一步支持Oracle、DB2、MongoDB等後端數據庫，隨著周邊產品的進一步成熟，在越來越多的分布式或者非分布式（僅用它的讀寫分離或者高可用）生產環境中得到部署，受到越來越多的企業的關注。本書恰逢其會，由Mycat核心開發人員撰寫而成，詳細講述了Mycat的由來、架構特點、核心模塊、實際使用案例和企業實踐，是一本不可多得的好書。
沃趣科技MySQL負責人李春

推薦序3
作為國產開源數據庫中間件—Mycat的發起者，我不得不為本書作序。
這是一本由眾多技術精英合著的數據庫中間件領域的專業書籍，這些人包括Mycat Commiter、Mycat志願者及資深DBA，大家在工作之餘抽出大量時間來編寫和完善此書，歷經一年完成了本書的編寫工作，實屬不易。
數據庫中間件是新興的重要的互聯網中間件，目前業界仍然缺乏一本繫統性介紹相關領域的軟件產品、常用技術、架構等的紙質書籍。本書圍繞Mycat開源中間件，從基礎入門到架構原理，從運行機制到源碼實現，從繫統運維到應用實踐，講解得詳盡而又完善。本書內容豐富、圖文並茂、由淺入深，對數據庫中間件的基本原理闡述清晰，對程序源碼分析透徹，對實踐經驗講解深刻。
從內容上講，本書從一個使用者的角度去理解、分析和解決問題，通過大量的實例操作和源碼解析，幫助讀者深入理解Mycat的各種概念。讀者對其中的案例隻要稍做修改，再結合實際的業務需求，就可以在正在開發的項目中應用，達到事半功倍的效果。並且，通過學習書中應用實戰方面的內容，不僅可以直接提高開發技能，還可以解決在實踐過程中經常遇到的各種關鍵問題。另外，本書中的所有觀點和經驗均是作者們在多年建設、維護大型應用繫統的過程中積累形成的，非常值得借鋻和推廣。
希望Mycat在大家的支持下走得更遠，成為中國軟件的驕傲。
Leader-us

前言
隨著移動互聯網的興起和大數據的蓬勃發展，繫統的數據量正呈幾何倍數增長，繫統的壓力也越來越大，這時容易出現的問題就是服務器繁忙，我們可以通過增加服務器及改造繫統來緩解壓力，然後采用負載均衡、動靜分離、緩存繫統來提高繫統的吞吐量。然而，當數據量的增長達到一定程度的時候，增加應用服務器並不能明顯地提高繫統的效率，因為所有壓力都會傳導到數據庫層面，而大多數繫統都是用一個數據庫來存儲和管理繫統數據的。這時，Mycat應運而生。
談到Mycat就不得不談談Cobar，Cobar是阿裡巴巴開源的數據庫中間件，由於其存在使用限制及一些比較嚴重的問題，Leader-us在其基礎上於2013年年底實現了Mycat 1.0版本，Mycat一經發布便引起了很多人的關注。之後Mycat社區對Cobar的代碼進行了徹底重構，使用NIO重構了網絡模塊，並且優化了Buffer內核，增強了聚合、Join等基本特性，同時兼容了絕大多數數據庫，使之成為通用的數據庫中間件。Mycat在1.4版本以後完全脫離了Cobar內核，同時采用了Mycat集群管理、自動擴容及智能優化，成為了高性能的數據庫中間件。Mycat從誕生至今已有三年多了，一直在堅持做好的開源數據庫中間件產品。
本書總計8章，涵蓋了Mycat入門、進階、高級技術實戰、企業運維、架構剖析、核心技術分析、多數據庫支持原理與實現等內容，內容詳盡、圖文並茂，幾乎囊括了Mycat所涉及的方方面面，無論是對於軟件工程師、測試工程師、運維工程師、軟件架構師、技術經理，還是對於資深IT人士來說，本書都極具參考價值。
第1章：介紹了分布式繫統和分布式數據庫繫統的原理，介紹Mycat的起源和發展狀況，並對各種數據庫中間件做了簡要介紹和對比。
第2章：講解了Mycat的入門知識，介紹了Mycat的安裝環境、核心概念和分庫分表的原理，以及Mycat源碼開發調試的過程。
第3章：講解了Mycat的進階知識，主要介紹Mycat的各種配置和分片算法。
第4章：講解了Mycat和MySQL實戰案例，由擁有豐富的Mycat線上實戰經驗的專家和DBA共同編寫而成，有很高的參考價值。
第5章：簡要介紹了用於Mycat性能監控的工具—Mycat-web，詳細講解了Mycat和MySQL的優化技術，是DBA的親身總結和經驗之談。
第6章：重點闡述了Mycat的架構，包括網絡、線程、連接池、內存管理及緩存實現等，是了解Mycat框架的基礎。
第7章：介紹了Mycat的核心技術，包括分布式事務的實現、跨庫Join的三種實現方式等，介紹了多節點數據彙聚和排序的原理，並詳細闡述了在Mycat 1.6版本中實現的一致性分布式事務的功能。
第8章：介紹了MySQL和PostgreSQL的通信協議及Mycat對這些通信協議的實現，然後介紹了Mycat對JDBC及多種數據庫的支持，例如Oracle、SQL Server、MongoDB等。
本書的編寫和校對歷經一年，參與編寫的作者都是Mycat開源項目中參與度比較高、提交過不少代碼或有豐富的實戰經驗的資深人士。非常感謝參與本書編寫、指導或校對的專家：Leader-us、南哥（曹宗南）、從零開始（宋偉）、小張哥（張超）、yuanfang（楊鵬飛）、頑石神（張治春）、冰麒麟（楊峰）、望舒（胡雅輝）、明明Ben（朱阿明）、零（章愛國）、little-pan（潘自朋）、CrazyPig（陳建欣）、毛茸茸的邏輯（王成瑞）、海王星（林志強）、石頭獅子（林晁）、HanSenJ（姬文剛）、武（王燈武）、戰狼（劉胡波）、KK（劉軍）、董海雄（易班網）、arx（李秋偉）、正能量（王金劍）、吉光（李偉

媒體評論

Mycat是一款強大的數據庫中間件，是當下熱門的移動互聯網和雲計算項目的基礎中間件之一，不僅可以用於讀寫分離、分表分庫及容災備份，還可以用於多租戶應用開發及雲平臺基礎設施建設，讓架構本身具備很強的適應性和靈活性。本書作者均擁有多年軟件研發經驗，是國內知名開源分布式數據庫中間件Mycat的核心成員，其中冰風影是Dataguru的高級特約講師。本書兼具實用性和獨特性，非常值得入手一讀。
黃志洪ITPUB社區煉數成金社區創始人

MySQL在分布式領域的短板造就了數據庫中間件的繁榮，而在數據庫中間件產品中，Mycat以其獨特的設計理念風靡於數據庫行業，成為開源數據庫中間件的理想選擇，成為DBA從業人員急需掌握的技能。相信Mycat會成為你的好伙伴！
張見蓬尚觀科技執行董事

Mycat是一款非常優秀的數據庫中間件，華泰證券在互聯網架構轉型的過程中與Mycat社區合作緊密，采用分布式數據庫解決了以往的難題。非常感謝Mycat這樣的優秀國產開源軟件，祝願Mycat越做越好！
樊建華泰證券平臺架構總監

對於飛速發展的企業IT繫統來說，數據庫的開源和分布式一直是有挑戰性的課題，而大部分企業IT團隊的基礎軟件研發資源和時間相對有限，Mycat是開源分布式數據庫架構中經濟而有效的可選推薦方案之一。
周輝順豐科技數據中心副總監

在當今發展迅猛的DT時代，如何真正收集、存儲、管理和利用海量交易數據，成了企業及企業信息化提供商共同面對的難題，我在本書中找到了有效可行的方法，本書同樣可以成為你攻克難題的利器！
陳柏宇上海恰為思信息科技有限公司創始人

在線試讀

商品搜索

商品分类

【醫學】

【各大出版社】