基本信息

書名:Greenplum：從大數據戰略到實現

代碼：

作者:馮雷,姚延棟,高小明,楊瑜 著

出版社：機械工業出版社

出版日期：2019-08-01

ISBN：9787111632160

字數：

頁碼：391

版次：

裝幀：平裝

開本：16開

商品重量：

編輯推薦

適讀人群 ：企業大數據戰略制定者、大數據戰略實施者、數據庫管理員、數據分析人員、數據科學家、DBA及各種大數據感興趣者或者相關從業者

Greenplum是業界領先的開源MPP大數據平臺。2019年，Greenplum被Gartner評為全球排名第三的分析型數據庫和排名第四的實時分析數據庫，且為前十名中開源的產品。中國信息通信研究院評測的14款MPP數據庫中約半數基於Greenplum。本書由Greenplum核心研發團隊精心編寫，融入了團隊十餘年來對雲計算、大數據和人工智能驅動的企業數字化轉型、先進技術發展趨勢以及產品研發的深刻思考，對Greenplum這款快速成長的開源大數據平臺進行了全方位深度解讀，無論是企業決策者，還是大數據相關的技術人員，都能從本書中獲益。

內容提要

這是一本繫統剖析Greenplum開源大數據平臺的書籍，也是大數據戰略制定與落地的實戰型指導書！

本書圍繞數字原生和雲計算、大數據、人工智能驅動的企業數字化轉型的核心訴求，從商業和技術實戰視角分享了業界領先企業大數據戰略的深刻思考，並提供了大數據戰略從制定到落地的全面指導。既有高階數字化戰略高度對大數據的解讀，又有技術實戰角度對使用 Greenplum 大數據和機器學習平臺實現大數據戰略的實踐指南。

本書作者來自Greenplum 核心研發團隊，致力於以開源、開放的理念和先進的技術推進大數據產業生態，助力企業以更低的成本、更高的效率實現數字化轉型，並基於Greenplum 開源社區培養大數據產業更多人纔。

本書分為四個部分。

● 部分介紹大數據戰略。其中，第 1 章將分享作者對於人工智能、大數據和雲計算之間關繫的理解以及對人和人工智能的思考。第 2 章將介紹進取型企業為什麼需要大數據戰略以及如何建立大數據戰略。

● 第二部分介紹大數據平臺。其中，第 3 章將以數據平臺演進歷史和未來趨勢為主題，描述三次整合的背景及影響，介紹選擇大數據平臺需要考慮的因素，以及為什麼Greenplum 是理想的大數據平臺。第 4 章將介紹 Greenplum 數據庫快速入門指南。第 5章將介紹 Greenplum 架構的主要特點和核心引擎。第 6 章將介紹數據加載、數據聯邦和數據虛擬化。第 7 章將介紹 Greenplum 的資源管理以及對混合負載的支持。

● 第三部分介紹機器學習。其中，第 8 章介紹 Greenplum 的各種過程化編程語言（用戶自定義函數），用戶可以使用 Python、R、Java 等實現用戶自定義函數，還可以通過容器化技術實現自定義函數的安全性和隔離性。第 9 章將介紹 Greenplum 內建的機器學習庫 MADlib，數據科學家可以使用內建的 50 多種機器學習算法用 SQL 對數據進行高級分析，並介紹如何擴展 MADlib 以實現新算法。第 10 章和第 11 章將分別介紹Greenplum 如何對文本數據和時空數據（GIS）進行存儲、計算和分析。第 12 章將介紹Greenplum 豐富的圖計算能力。

● 第四部分介紹運維管理和數據遷移。其中，第 13 章會介紹各種監控和管理工具及相關企業級產品。第 14 章介紹數據庫備份和恢復。第 15 章和第 16 章將分別介紹如何從Oracle 和 Teradta 遷移到 Greenplum。

目錄

序

前言

部分大數據戰略

章ABC：人工智能、大數據和雲計算 2

1.1再談雲計算 2

1.1.1雲計算由南向轉為北向 2

1.1.2P層雲的精細化發展 3

1.1.3大數據繫統在雲中部署不斷朝南上移 4

1.2大數據 5

1.2.1從CRUD到CRAP 5

1.2.2MPP（大規模並行計算） 7

1.2.3大數據繫統 8

1.2.4當大數據遇到雲計算 10

1.3人工智能 11

1.3.1模型化方法 12

1.3.2AI的發展史 14

1.3.3對AI應用的正確預期 15

1.4ABC之間的關繫 16

1.5AI和人 18

1.5.1經驗與邏輯 18

1.5.2公理化的邏輯繫統 21

1.5.3圖靈機和可計算數 25

1.5.4認知邊界上的考量 28

第2章建立基於大數據的高階數字化戰略 32

2.1基於雲原生應用的數字化戰略 32

2.2大數據和AI：企業未來的

競爭點 34

2.3大數據戰略的落地 36

2.3.1大數據和AI人纔 36

2.3.2AI驅動的開發方法和文化 37

2.3.3大數據基礎設施的建設 39

2.4大數據和AI的展望 41

第二部分大數據平臺

第3章數據處理平臺的演進 45

3.1前數據處理時代 45

3.2早期的電子數據處理 47

3.2.1電子計算機的出現 47

3.2.2軟件 47

3.3數據庫 49

3.3.1數據模型 50

3.3.2數據獨立性和高級數據處理語言 54

3.3.3數據保護 57

3.3.4數據庫早期發展過程中的困境 57

3.4NoSQL數據庫 58

3.4.1NoSQL出現的背景 58

3.4.2NoSQL產品的共性 60

3.4.3NoSQL的分類 61

3.5SQL數據庫的回歸 62

3.5.1NoSQL與SQL的融合 62

3.5.2Hadoop不等於大數據 63

3.5.3SQL從未離開 64

3.6集成數據處理和分析平臺 65

3.6.1數據類型 65

3.6.2業務場景 66

3.6.3集中還是分散 67

3.7數據平臺的選型 68

3.8小結 69

第4章Greenplum數據庫快速入門 72

4.1Greenplum數據庫的發展和現狀 72

4.2Greenplum數據庫的特性 73

4.3Greenplum數據庫的組成 75

4.4Greenplum數據庫的安裝與部署 76

4.4.1準備工作 76

4.4.2安裝Greenplum 77

4.4.3初始化Greenplum數據庫 80

4.5Greenplum數據庫的常用操作 82

4.6Greenplum數據庫的常用命令 83

4.6.1gpstart 83

4.6.2gpstop 83

4.6.3gpstate 83

4.6.4gpactivatestandby 84

4.6.5gpconfig 84

4.6.6gpdeletesystem 84

4.7小結 85

第5章Greenplum的架構和核心引擎 86

5.1Greenplum的架構 86

5.1.1Greenplum Master 87

5.1.2Greenplum Segment 87

5.1.3Greenplum Interconnect 87

5.1.4Greenplum Standby Master 87

5.1.5Greenplum Mirror Segment 88

5.2Greenplum查詢計劃 88

5.2.1單機查詢計劃 89

5.2.2並行查詢計劃 90

5.3Greenplum數據庫查詢處理的過程 95

5.3.1Greenplum數據庫的主要功能組件 95

5.3.2Greenplum數據庫查詢的執行流程 96

5.4小結 97

第6章從ETL到數據聯邦和數據虛擬化 98

6.1Greenplum中的ETL 99

6.1.1PostgreSQL的ETL工具箱 99

6.1.2GPLOAD 100

6.2Greenplum的數據聯邦 104

6.2.1dblink簡介 104

6.2.2外部表 107

6.2.3GPFDIST外部表 109

6.2.4可執行外部表 119

6.2.5Greenplum的S3外部表 120

6.2.6GPHDFS外部表 127

6.2.7Spark連接器 129

6.2.8Gemfire連接器 129

6.3Greenplum的數據虛擬化框架 130

6.3.1PXF的架構 130

6.3.2PXF的環境配置 131

6.3.3GPHDFS與PXF比較 132

6.4小結 133

第7章混合負載和資源管理 134

7.1混合負載的機遇和挑戰 134

7.2混合負載的業務和技術要求 136

7.3資源管理 139

7.4並發管理 145

7.5小結 146

第三部分機器學習與數據分析

第8章Greenplum中的過程化編程語言 149

8.1PL/Pytho 150

8.1.1PL/Python簡介 150

8.1.2受信任的過程化編程語言 151

8.1.3安裝Python包 152

8.1.4安裝Greenplum數據計算Python包集合 153

8.1.5類型轉換 153

8.1.6PL/Python函數中的數據共享 154

8.2PL/R 155

8.2.1PL/R簡介 156

8.2.2安裝R包 158

8.2.3安裝Greenplum數據計算R包集合 158

8.3PL/Container 158

8.3.1PL/Container簡介 159

8.3.2一個簡單的例子 159

8.3.3PL/Container的基本操作方法 162

8.3.4PL/Container實踐總結 166

8.3.5關於PL/Container的開發 167

8.4小結 167

第9章MADlib 機器學習庫 168

9.1MADlib入門 168

9.1.1MADlib簡介 168

9.1.2MADlib的特點 169

9.1.3MADlib與其他機器學習算法庫的比較 172

9.1.4MADlib的快速安裝 173

9.2MADlib的架構 174

9.2.1SQL用戶接口 174

9.2.2Python驅動函數 175

9.2.3C++機器學習算法實現 175

9.2.4C++數據庫抽像層 176

9.3MADlib應用 177

9.3.1數據預處理 177

9.3.2監督學習 178

9.3.3非監督學習 184

9.3.4時間序列 187

9.3.5自定義機器學習算法 188

9.4小結 191

0章Greenplum半結構化文本數據分析 192

10.1GPText文本分析概述 192

10.1.1GPText數據提取 192

10.1.2GPText的文本處理、索引流程和高階分析 193

10.2GPText內置的全文檢索引擎：Apache SolrCloud 194

10.3GPText架構：高速並行索引和查詢 195

10.4數據準備 197

10.5GPText的使用：簡單的SQL和UDF函數 198

10.6GPText的安裝 200

10.7GPText索引 201

10.7.1創建GPText索引 201

10.7.2加載GPText索引 204

10.7.3GPText 增減索引列 205

10.8GPText簡單查詢 205

10.8.1GPText 查詢的語法 205

10.8.2GPText 臨近查詢 206

10.8.3GPText top查詢 206

10.9GPText高級查詢 207

10.9.1GPText Facet 查詢 207

10.9.2GPText 高亮查詢結果 209

10.10GPText分區表查詢 210

10.11GPText對自然語言處理的支持 211

10.12GPText定制化索引 213

10.13GPText管理工具 214

10.14GPText用於文本挖掘和分析 215

10.15小結 216

1章地理空間數據分析和處理 218

11.1概述 218

11.1.1什麼是地理空間數據 218

11.1.2地理空間數據應用與分析中的挑戰 220

11.2Greenplum PostGIS 223

11.2.1Greenplum PostGIS 簡介 223

11.2.2安裝Greenplum PostGIS 組件 224

11.2.3次使用 227

11.3Greenplum PostGIS應用實例 228

11.3.1GIS數據準備 228

11.3.2使用Greenplum PostGIS空間數據操作符進行GIS數據查詢 230

11.3.3使用Greenplum PostGIS的UDF進行GIS數據分析 233

11.3.4柵格數據 235

11.4小結 239

2章Greenplum數據庫與圖計算 240

12.1圖的概念 240

12.2圖的應用 241

12.2.1電子電路設計自動化 241

12.2.2搜索引擎 242

12.2.3社交網絡 242

12.3圖數據的處理 243

12.4Greenplum對圖數據的支持 244

12.5MADlib中的圖結構和算法 245

12.5.1圖的表示 245

12.5.2MADlib支持的圖算法 245

12.5.3MADlib圖算法詳解 246

12.6小結 277

第四部分Greenplum的運維和遷移

3章Greenplum的監控和管理 281

13.1監控Greenplum集群的狀態 282

13.1.1gpstate命令 282

13.1.2繫統表gp_segment_conf?iguratio 283

13.1.3Segment的故障恢復和再平衡 284

13.1.4常用的監控命令 287

13.2管理Greenplum集群 289

13.2.1參數配置 289

13.2.2訪問管理 290

13.2.3統計信息 292

13.2.4管理表膨脹 294

13.3Greenplum指令中心（GPCC） 297

13.3.1GPCC簡介 297

13.3.2可視化監控 298

13.3.3查詢監控和分析 301

13.3.4工作負載管理 305

13.3.5監控告警繫統 307

13.4小結 309

4章Greenplum數據庫的備份、恢復和遷移 310

14.1非並行數據庫備份 310

14.2非並行數據庫恢復 313

14.3並行數據庫備份 313

14.4並行數據庫恢復 316

14.5高效的並行數據庫備份和恢復工具gpbackup/gprestore 317

14.6新一代Greenplum數據遷移工具GPCOPY 322

14.7小結 324

5章從Oracle遷移到Greenplum 326

15.1概述 326

15.2Oracle與Greenplum的架構對比 327

15.2.1Oracle的主要痛點 329

15.2.2Greenplum的優勢 330

15.3從Oracle遷移到Greenplum的流程 331

15.3.1遷移場景 332

15.3.2遷移過程 334

15.3.3特殊場景分析 344

15.4小結 352

6章從Teradata遷移到Greenplum 353

16.1Teradata產品和用戶面臨的問題 353

16.2從Teradata遷移到Greenplum的可行性 354

16.3如何從Teradata遷移到Greenplum 356

16.3.1遷移流程概述 356

16.3.2Teradata數據卸載及DDL導出規範 357

16.3.3數據操作語句轉換 364

16.3.4函數轉換 367

16.3.5ETL應用工具連接轉換 369

16.3.6其他應用接口遷移 372

16.4特殊場景 373

16.4.1事前微批去重 373

16.4.2事後批量去重 374

16.5小結 374

附錄AGreenplum社區 375

附錄B外部表實例 380

附錄CGreenplum的SSL證書 386

術語表 390

作者介紹

馮雷(Ray Feng)

Pivotal中國常務董事(Managing Director)兼研發中心總經理。Pivotal中國成立至今，馮雷主持了近十億人民幣投資的中國運營和研發體繫。作為Pivotal全球產品關鍵領導人，為Pivotal公司的數字化理念建立及其對應的Cloud Foundry和Greenplum產品提供戰略輸入。馮雷於2010年從美國硅谷歸國，在世界500強公司EMC旗下組建了Pivotal中國。在歸國之前，馮雷曾在500強企業甲骨文(Oracle)總部從事雲計算產品研發。作為雲計算早的一批從業人員，幫助甲骨文雲計算資源調度領域成為意見領袖。擁有多項雲計算專利。

姚延棟

Pivotal中國研發中心副總裁，在Pivotal公司全球範圍內為Greenplum技術發展路線提供戰略輸入。聯合創建了Pivotal中國研發中心，發起了Greenplum中國開源社區，奠定了包括阿裡雲、騰訊雲和百度雲在內的廣大開源Greenplum用戶群。在Pivotal中國招募並建設了Greenplum和HAWQ團隊成為大數據和機器學習的意見領袖，培養團隊成員同時成為Apache和Greenplum代碼提交者。在創建Greenplum/Pivotal中國之前, 曾在SuMicrosystem 與 Symantec 繫統和存儲部門工作多年。擁有多項外雲計算和大數據專利。

高小明

Pivotal中國研發中心Greenplum產品總監，先後參與和負責數據分析協作平臺Chorus、開源PaaS雲平臺Cloud Foundry、MPP數據庫Greenplum等產品的開發、運維和技術推廣。目前著重關注PaaS雲平臺與大數據平臺支撐下的數字化轉型、微服務架構以及容器化與混合負載給數據產品帶來的機遇和挑戰。

楊瑜

Pivotal中國研發中心Greenplum工程技術總監，長期從事 Greenplum 內核的研發和管理工作，先後參與和負責基於Greenplum內核的機器學習庫MADlib的研發、Greenplum 內核和PostgreSQL內核持續歸並等工作，並參與組建Greenplum文本挖掘引擎GPText團隊，有豐富的一線內核研發經驗。

序言