了得網計算機/網絡_HBase應用架構

編輯推薦

“本書由HBase部署的專業團隊編寫。Jean-Marc和Kevin 了解這其中的一切知識。讀這本書並向*出色的工程師學習。” ——Michael StackApacheHBase PMCHBase的提交者和成員親自為本書作序，三位大數據專家親自翻譯。本書通過手把手的指導和對真實環境中案例的闡釋，你將學會如何架構、設計，以及部署你自己的HBase應用程序。除了HBase原理和集群部署指南之外，本書通過對案例的深入研究，展示了大型企業如何利用HBase解決具體問題的用例。

內容簡介

當對大量數據構建索引的時候，HBase是一個出色的工具，但是從零開始學習分布式數據庫及其生態繫統是一件讓人望而卻步的事情。通過手把手的指導和對真實環境中案例的闡釋，你將學會如何架構、設計，以及部署你自己的HBase應用程序。除了HBase原理和集群部署指南之外，本書通過對案例的深入研究，展示了大型企業如何利用HBase解決具體問題的用例。本書提供了基本的解決方案和代碼示例來幫助你實現自己的用例，包括主數據管理（MDM）和文件繫統，以及準實時事件處理。你也能學習使用故障排除的方法來幫你避免部署時出現的一些問題。學習HBase能用來做什麼，其生態繫統包括哪些組件以及如何搭建你的環境。探索現實世界中HBase實例如何部署並投入生產環境。查驗用於追蹤監控索賠的記錄用例，並診斷數據管理以及產品質量。理解HBase如何和Spark、kafka、MapReduce，以及Java API一起使用。學習如何識別*常見的HBase問題，並理解其結果。

作者簡介

Jean-Marc Spaggiari，自2012年來是HBase的contributor，作為Cloudera 的HBase精通解決方案架構師，他一直從事著Hadoop和HBase的技術支持和咨詢工作。他曾經與北美洲一些*的HBase用戶一起工作。Kevin O'Dell，自2012年來是HBase的contributor，作為Rocana的現場工程師，他和客戶一起設計並完成大規模的IT運營。此外，他還在HBaseCon、HadoopSummit及一些Hadoop用戶組做過分享。

序 1
前言 3
部分 HBase概述
第1章什麼是HBase 11
面向列與面向行 13
實現和使用示例 13
第2章 HBase原理 15
表格式列族 15
表的內部操作 22
依賴 27
HBase 角色 27
第3章 HBase生態繫統 32
監控工具 32
SQL 40

序 1

前言 3

部分 HBase概述

第1章什麼是HBase 11

面向列與面向行 13

實現和使用示例 13

第2章 HBase原理 15

表格式列族 15

表的內部操作 22

依賴 27

HBase 角色 27

第3章 HBase生態繫統 32

監控工具 32

SQL 40

框架 42

第4章 HBase規模預估和調優概述 45

硬件 46

存儲 46

網絡 47

操作繫統調優 48

Hadoop調優 49

HBase調優 50

負載不均調優 52

第5章環境設置 54

繫統要求 55

HBase單機安裝 58

虛擬機中的HBase 61

本地與VM 62

故障排除 63

步 65

偽分布式模式和全分布式模式 73

第二部分用例

第6章用例：HBase作為一個記錄繫統 77

攝取/預處理 78

處理/服務 79

用戶體驗 84

第7章底層存儲引擎的實現 87

表設計 87

數據轉換 92

HFile校驗 98

批量加載 99

數據索引 104

數據檢索 107

更進一步 109

第8章用例：近實時事件處理 111

攝取/預處理 114

近實時事件處理 115

處理/服務 116

第9章近實時實現事件處理 119

應用流 121

實施 125

進一步 144

第10章用例：HBase作為主數據管理工具 145

攝取 146

處理 148

第11章主數據管理工具HBase的實現 150

MapReduce與Spark 150

Spark與HBase交互 151

Spark結合HBase實現 152

進一步 162

第12章用例：文檔存儲 163

數據服務 165

數據攝取 166

清理 168

第13章文檔存儲的實現 169

MOB 169

數據一致性 174

進一步 175

第三部分疑難問題的定位和排錯

第14章 region 過多 179

後果 179

原因 180

解決方案 181

防範 188

第15章列族過多 191

後果 192

原因、解決方案和預防 193

第16章熱點 196

後果 196

原因 196

防範和解決方案 200

第17章超時和垃圾回收 201

後果 201

原因 203

解決方案 205

預防 205

第18章 HBCK和不一致 210

HBase文件繫統布局 210

查看META 表 211

在HDFS上查看HBase 212

HBCK概述 214

使用HBCK 215

前言

媒體評論

專家推薦“本書由HBase部署的專業團隊編寫。Jean-Marc和Kevin 了解這其中的一切知識。讀這本書並向*出色的工程師學習。”——Michael StackApacheHBase PMC

在線試讀

序在我25年軟件從業生涯裡，經歷了許多顛覆性的變化：互聯網、萬維網、大型機、 C/S架構模型等。我曾經在一個保障煉油廠安全的軟件研發團隊工作。我們40人的團隊共享的一臺DEC VAX機器，而且性能也遠不及我現在使用的手機。我還記得20世紀90年代初的一天，我們被安排接收新的機器。要更換的機器位於三樓，是一個很大很重的像洗衣機大小的龐然大物。我們一群人在“機房”裡等著，想看看他們是怎麼把新機器搬上樓梯的。我們可以想像一下一個巨大的起重機，外面的街道被封鎖的場景……總之，這是一個浩大的工程！但實際上出乎意料。一個男的提著一個小箱子走進房間。他把它放在那臺像老式 “洗衣機”的機器的頂部，換了幾根電纜，做了一些測試，便離開了。這樣，就完成了！這是技術產業帶來的喜悅：如果我們願意學習新事物，並與之同行，我們將永遠不會感到厭倦，不斷地遇見驚喜。幾年前似乎不可能的事情突然會變得司空見慣。大數據就是這樣在變化，大數據無處不在。由谷歌公司的Google File System和BigTable引發的技術變革幾乎影響了所有的高科技公司、銀行和政府。無論是好是壞，這些繫統直接或間接地觸及了地球上幾乎每個人的生活。和它之前的BigTable一樣，Apache HBase已經在大數據生態繫統中處於獨特的地位：它在一個不變的分布式文件繫統中支持了一種可更新的、無限擴展的數據集存儲。因此，它構建了純文件存儲和OLTP / OLAP數據庫之間的橋梁。HBase無處不在：Facebook、蘋果、Salesforce.com、Adobe、雅虎、Bloomberg、華為、Gap和許多其他公司都在使用它。谷歌采用了HBase API為其提供公共雲Bigtable，這也是HBase受歡迎的一個證據。盡管HBase無處不在，但它也不是即插即用。分布式繫統很難，諸如分區容忍性、一致性和可用性等在每個討論區都變成了大家熱議的話題，不久之後更深奧的術語如熱點(hotspotting)和數據加鹽(salting)存儲也出現了。成百上千臺機器的水平擴展都需要經歷痛苦的數據平衡過程，這些平衡使得我們更加難以有效地使用這些繫統，HBase也不例外。在混跡於HBase和Hadoop社區的這段歲月裡，我已獲得了這些挑戰的手經驗。必須仔細設計和構建這些用例，以發揮HBase的優勢。這本書由兩位內部人士撰寫，他們一直在現場做支持。本書是一個非常有幫助的指南，它詳細介紹了如何基於HBase架構來設計應用程序，並能夠支持數千臺機器的集群擴展。如果你正在構建或計劃構建高擴展性及高可靠性的新應用程序，那麼這本書就是為你設計的。Jean-Marc 和Kevin已經看到這一切：使用案例，人們犯的錯誤以及單服務器繫統的設計臆想。重要的是，他們知道哪些是運行正常的，如何解決那些運行不正常的情況，以及如何理解這裡面的本質。—— Lars Hofhansl，HBase的提交者和成員項目管理委員會Apache基金會成員Salesforce.com副總裁譯者序 HBase 是Hadoop Database 的簡稱, 基於Google Bigtable 實現的開源、分布式、可伸縮的列式存儲數據庫，自其誕生之日起，就受到業界的追捧, 而今已成為了Hadoop 生態圈和各公司大數據平臺不可或缺的組成部分。時間序列數據庫Opentsdb 、阿裡的HQueue、OLAP分析引擎Kylin 等很多大數據開源項目也都是基於HBase 的。本書是HBase 應用架構的手冊指南，它涵蓋了HBase 實踐應用的各個方面，從HBase 底層的基本原理到整個生態繫統，從初的應用實例到性能優化，以及後續的疑難問題的定位與排錯等方面。同時，作者也列舉了大量的實例場景及實現代碼，讀者都可直接從中獲取實際應用原型。本書主要由陳敏敏（蘇寧雲商大數據中心總監）、夏銳（奇虎360 技術專家）、陳其生（唯品會技術專家）翻譯，由於譯者水平所限，翻譯難免有疏漏之處，願廣大讀者給予批評指正。譯者

商品搜索

商品分类

【醫學】

【各大出版社】