了得網計算機/網絡_大數據開發者權威教程大數據技術與編程基礎

編輯推薦

學習方法和特色
◆ 涵蓋了大數據開發者所需的大數據和Hadoop 基礎組件及相關組件的基本知識，使參與者有可能在一個繫列書中獲得對所有相關知識、新興技術和平臺的了解。
◆ 在與大數據架構、大數據應用程序開發以及與大數據實施相關的產業相關技術有著極密切關聯的編程和技術領域中，鍛煉自己全面的和結構化的本領。
◆ 基於場景的學習方法，通過多種有代表性的現實場景的使用和案例研究，將IT 基礎知識融入現實環境，鼓勵參與者積極、全面地學習和研究，實現體驗式教學。
◆ 強調目標明確、基於成果的學習。每一講都以“本講目標”開始，該目標會進一步關聯整個教程的更廣泛的目標。
◆ 簡明、循序漸進的編程和編碼指導，清晰地解釋每行代碼的基本原理。
◆ 強調高效、實用的過程和技術，幫助參與者深入理解巧妙且符合道德倫理的專業實踐及其對業務的影響。
大數據是當今科技行業的流行語之一。全世界的企業都已經意識到可用的大量數據的價值，並盡zui大努力來管理和分析數據、發揮其作用，以建立戰略和發展競爭優勢。與此同時，這項技術的出現，導致了各種新的和增強的工作角色的演變。
“大數據開發者權威教程”繫列的目標是培養新一代的國際化全能大數據程序員、開發者和技術專家，使其熟悉大數據的相關工具、平臺和架構，幫助企業有效地存儲、管理並處理海量和多樣的數據。同時，本書還有助於讀者了解如何有效地整合、實現、定制和管理大數據基礎架構。
本繫列旨在為讀者提供處理大數據的技術、存儲、處理、管理和安全基礎架構方面的技能，豐富讀者與Hadoop 及其組件工具協同工作的經驗，並使其可以開發MapReduce 和Pig 程序，操縱分布式文件，以及了解支持MapReduce 程序的API 等。讀者同時可以熟悉一些流行的Hadoop 商業發行版繫統，如Cloudera、Hortonworks 和Greenplum 等。*後通過一個完整的項目介紹，使讀者能夠開發一個集成的大數據應用程序。
本繫列共兩卷，第1 卷“大數據技術與編程基礎”包含4 個模塊，涉及大數據入門，管理大數據生態繫統，使用HDFS 和MapReduce 存儲和處理數據，利用Hadoop 工具（如Hive、Pig 和Oozie 等）提升效率；第2 卷“NoSQL、Hadoop 組件及大數據實施”包含3 個模塊，涉及ZooKeeper、Sqoop、Flume、YARN 和Storm 等額外的Hadoop 工具，如何利用NoSQL 和Hadoop 實現實時、安全和雲，以及Hadoop 商業發行版和管理工具簡介。

內容簡介

“大數據”近年成為IT領域的熱點話題，人們每天都會通過互聯網、移動設備等產生大量數據。如何管理大數據、掌握大數據的核心技術、理解大數據相關的生態繫統等，是作為大數據開發者必須學習和熟練掌握的。本繫列書以“大數據開發者”應掌握的技術為主線，共分兩卷，以7個模塊分別介紹如何管理大數據生態繫統、如何存儲和處理數據、如何利用Hadoop工具、如何利用NoSQL與Hadoop協同工作，以及如何利用Hadoop商業發行版和管理工具。本繫列書涵蓋了大數據開發工作的核心內容，全面且詳盡地涵蓋了大數據開發的各個領域。
本書為第1卷，共4個模塊，分別介紹大數據基礎知識、大數據生態繫統的管理、HDFS和MapReduce以及Hadoop工具（如Hive、Pig和Oozie等）。本書適用於想成為大數據開發者以及所有對大數據開發感興趣的技術人員和決策者閱讀。

作者簡介

本書作者均為國際知名IT培訓機構的知名講師，他們通過對技術、IT市場需求以及當今就業培訓方面的全球行業標準進行了廣泛並嚴格的調研之後，集結成這套“大數據開發者權威教程”。作者們的目標是通過這套書為有志於在大數據開發領域取得事業成功的人技術人員和決策者提供的技術和技能。
譯者簡介
顧晨，男，碩士、PMP、信息繫統項目管理師。畢業於上海交通大學。曾獲邀參加舊金山的Google I/O大會。喜歡所有與編程相關的事物，擁有14年的編程經驗。對於大數據、SAP HANA數據庫和思科技術有著極其濃厚的興趣，是國內較早從事HANA數據庫研究的人員之一。先後錄制了MCSE、CCNP等多種教學視頻，在多家知名網站發布。精通C#、Java編程，目前正致力於人臉識別、室內定位和門店人流統計方面的研究。

模塊1大數據入門

第1講大數據簡介3

1.1什麼是大數據4

1.1.1大數據的優勢5

1.1.2挖掘各種大數據源6

1.2數據管理的歷史——大數據的演化7

1.3大數據的結構化9
模塊1大數據入門

第1講大數據簡介3

1.1什麼是大數據4

1.1.1大數據的優勢5

1.1.2挖掘各種大數據源6

1.2數據管理的歷史——大數據的演化7

1.3大數據的結構化9

1.4大數據要素13

1.4.1數據量13

1.4.2速度14

1.4.3多樣性14

1.5大數據在商務環境中的應用14

1.6大數據行業中的職業機會16

1.6.1職業機會17

1.6.2所需技能17

1.6.3大數據的未來19

練習20

備忘單22

第2講大數據在商業上的應用23

2.1社交網絡數據的重要性24

2.2金融欺詐和大數據30

2.3保險業的欺詐檢測32

2.4在零售業中應用大數據36

練習40

備忘單42

第3講處理大數據的技術43

3.1大數據的分布式和並行計算44

3.1.1並行計算技術46

3.1.2虛擬化及其對大數據的重要性47

3.2Hadoop簡介47

3.3雲計算和大數據50

3.3.1大數據計算的特性50

3.3.2雲部署模型51

3.3.3雲交付模型52

3.3.4大數據雲52

3.3.5大數據雲市場中的供應商53

3.3.6使用雲服務所存在的問題54

3.4大數據內存計算技術54

練習56

備忘單58

第4講了解Hadoop生態繫統59

4.1Hadoop生態繫統60

4.2用HDFS存儲數據61

4.2.1HDFS架構62

4.2.2HDFS的一些特殊功能65

4.3利用Hadoop MapReduce處理數據65

4.3.1MapReduce是如何工作的66

4.3.2MapReduce的優點和缺點66

4.3.3利用Hadoop YARN管理資源和應用67

4.4利用HBase存儲數據68

4.5使用Hive查詢大型數據庫69

4.6與Hadoop生態繫統的交互70

4.6.1Pig和Pig Latin70

4.6.2Sqoop71

4.6.3Zookeeper72

4.6.4Flume72

4.6.5Oozie73

練習74

備忘單76

第5講MapReduce基礎77

5.1MapReduce的起源78

5.2MapReduce是如何工作的79

5.3MapReduce作業的優化技術85

5.3.1硬件/網絡拓撲85

5.3.2同步86

5.3.3文件繫統86

5.4MapReduce的應用86

5.5HBase在大數據處理中的角色87

5.6利用Hive挖掘大數據89

練習91

備忘單94

模塊2管理大數據生態繫統

第1講大數據技術基礎97

1.1探索大數據棧98

1.2冗餘物理基礎設施層99

1.2.1物理冗餘網絡100

1.2.2管理硬件：存儲和服務器101

1.2.3基礎設施的操作101

1.3安全基礎設施層101

1.4接口層以及與應用程序和互聯網的雙向反饋102

1.5可操作數據庫層103

1.6組織數據服務層及工具104

1.7分析數據倉庫層105

1.8分析層105

1.9大數據應用層106

1.10虛擬化和大數據107

1.11虛擬化方法108

1.11.1服務器虛擬化109

1.11.2應用程序虛擬化109

1.11.3網絡虛擬化110

1.11.4處理器和內存虛擬化110

1.11.5數據和存儲虛擬化111

1.11.6用管理程序進行虛擬化管理111

1.11.7抽像與虛擬化112

1.11.8實施虛擬化來處理大數據112

練習114

備忘單116

第2講大數據管理繫統——數據庫和數據倉庫117

2.1RDBMS和大數據環境118

2.2非關繫型數據庫119

2.2.1鍵值數據庫120

2.2.2文檔數據庫122

2.2.3列式數據庫124

2.2.4圖數據庫125

2.2.5空間數據庫127

2.3混合持久化129

2.4將大數據與傳統數據倉庫相集成130

2.4.1優化數據倉庫130

2.4.2大數據結構與數據倉庫的區別130

2.5大數據分析和數據倉庫132

2.6改變大數據時代的部署模式134

2.6.1設備模型134

2.6.2雲模型135

練習136

備忘單138

第3講分析與大數據139

3.1使用大數據以獲取結果140

3.1.1基本分析142

3.1.2高級分析143

3.1.3可操作性分析144

3.1.4貨幣化分析145

3.2是什麼構成了大數據145

3.2.1構成大數據的數據145

3.2.2大數據分析算法146

3.2.3大數據基礎設施支持146

3.3探索非結構化數據148

3.4理解文本分析149

3.4.1分析和提取技術150

3.4.2理解提取的信息151

3.4.3分類法152

3.4.4將結果與結構化數據放在一起153

3.5建立新的模式和方法以支持大數據156

3.5.1大數據分析的特征156

3.5.2大數據分析的應用157

3.5.3大數據分析框架的特性161

練習163

備忘單165

第4講整合數據、實時數據和實施大數據168

4.1大數據分析的各個階段169

4.1.1探索階段170

4.1.2編纂階段171

4.1.3整合和合並階段171

4.2大數據集成的基礎173

4.2.1傳統ETL174

4.2.2ELT——提取、加載和轉換175

4.2.3優先處理大數據質量175

4.2.4數據性能分析工具176

4.2.5將Hadoop用作ETL177

4.3流數據和復雜的事件處理177

4.3.1流數據178

4.3.2復雜事件處理181

4.3.3區分CEP和流182

4.3.4流數據和CEP對業務的影響183

4.4使大數據成為運營流程的一部分183

4.5了解大數據的工作流186

4.6確保大數據有效性、準確性和時效性187

4.6.1數據的有效性和準確性187

4.6.2數據的時效性187

練習189

備忘單191

第5講大數據解決方案和動態數據192

5.1大數據作為企業戰略工具193

5.1.1階段1：利用數據做計劃193

5.1.2階段2：執行分析194

5.1.3階段3：檢查結果194

5.1.4階段4：根據計劃行事194

5.2實時分析：把新的維度添加到周期194

5.2.1階段5：實時監控195

5.2.2階段6：調整影響195

5.2.3階段7：實驗195

5.3對動態數據的需求196

5.4案例1：針對環境影響使用流數據198

5.4.1這是怎麼做到的198

5.4.2利用傳感器提供實時信息198

5.4.3利用實時數據進行研究199

5.5案例2：為了公共政策使用大數據199

5.5.1問題200

5.5.2使用流數據200

5.6案例3：在醫療保健行業使用流數據200

5.6.1問題201

5.6.2使用流數據201

5.7案例4：在能源行業使用流數據201

5.7.1利用流數據提高能源效率201

5.7.2流數據的使用推進了可替代能源的生產202

5.8案例5：用實時文本分析提高客戶體驗202

5.9案例6：在金融業使用實時數據203

5.9.1保險204

5.9.2銀行204

5.9.3信用卡公司204

5.10案例7：使用實時數據防止保險欺詐205

練習207

備忘單210

模塊3存儲和處理數據：HDFS和MapReduce

第1講在Hadoop中存儲數據213

1.1HDFS214

1.1.1HDFS的架構214

1.1.2使用HDFS文件218

1.1.3Hadoop特有的文件類型220

1.1.4HDFS聯盟和高可用性224

1.2HBase226

1.2.1HBase的架構226

1.2.2HBase模式設計準則231

1.3HBase編程232

1.4為有效的數據存儲結合HDFS和HBase237

1.5為應用程序選擇恰當的Hadoop數據組織237

1.5.1數據被MapReduce獨占訪問時237

1.5.2創建新數據時238

1.5.3數據尺寸太大時238

1.5.4數據用於實時訪問時238

練習239

備忘單241

第2講利用MapReduce處理數據242

2.1開始了解MapReduce243

2.1.1MapReduce框架243

2.1.2MapReduce執行管道244

2.1.3MapReduce的運行協調和任務管理247

2.2第一個MapReduce應用程序249

2.3設計MapReduce的實現257

2.3.1使用MapReduce作為並行處理的框架258

2.3.2MapReduce的簡單數據處理259

2.3.3構建與MapReduce的連接260

2.3.4構建迭代的MapReduce應用程序264

2.3.5用還是不用MapReduce268

2.3.6常見的MapReduce設計提示269

練習271

備忘單274

第3講自定義MapReduce執行275

3.1用InputFormat控制MapReduce的執行276

3.1.1為計算密集型應用程序實施InputFormat277

3.1.2實現InputFormat控制map的數量282

3.1.3為多HBase表實現InputFormat287

3.2用你自定義RecordReader的方式讀取數據290

3.3用自定義OutputFormat組織輸出數據292

3.4自定義RecordWriter以你的方式寫數據293

3.5利用結合器優化MapReduce執行295

3.6用分區器來控制reducer的執行298

練習299

備忘單302

第4講測試和調試MapReduce應用程序303

4.1MapReduce應用程測試304

4.1.1測試mapper306

4.1.2測試reducer307

4.1.3集成測試308

4.2用Eclipse進行本地程序測試310

4.3利用日志文件做Hadoop測試312

4.4利用工作計數器進行報表度量316

4.5在MapReduce中的防御式編程318

練習320

備忘單322

第5講實現MapReduce WordCount程序——案例學習323

5.1背景324

5.1.1句子層級的情感分析325

5.1.2情感詞法采集325

5.1.3文檔級別的情感分析325

5.1.4比較情感分析325

5.1.5基於外觀的情感分析326

5.2場景326

5.3數據解釋326

5.4方法論326

5.5方法327

模塊4利用Hadoop工具Hive、Pig和Oozie提升效率

第1講探索Hive343

1.1介紹Hive344

1.1.1Hive345

1.1.2Hive架構346

1.1.3H數據存儲347

1.2啟動Hive347

1.2.1Hive命令行界面348

1.2.2Hive變量349

1.2.3Hive屬性349

1.2.4Hive一次性命令349

1.3執行來自文件的Hive查詢350

1.3.1shell執行350

1.3.2Hadoop dfs命令350

1.3.3Hive中的注釋351

1.4數據類型351

1.4.1基本數據類型352

1.4.2復雜數據類型354

1.4.3Hive內置運算符355

1.5Hive內置函數356

1.6壓縮的數據存儲358

1.7Hive數據定義語言359

1.7.1管理Hive中的數據庫359

1.7.2管理Hive中的表360

1.8Hive中的數據操作364

1.8.1將數據載入Hive表364

1.8.2將數據插入表365

1.8.3插入至本地文件367

練習368

備忘單370

第2講高級Hive查詢371

2.1HiveQL查詢372

2.1.1SELECT查詢372

2.1.2LIMIT子句373

2.1.3嵌入查詢373

2.1.4CASE…WHEN…THEN373

2.1.5LIKE和RLIKE373

2.1.6GROUP BY374

2.1.7HAVING374

2.2使用函數操作列值374

2.2.1內置函數374

2.2.2用戶定義函數375

2.3Hive中的連接376

2.3.1內連接376

2.3.2外連接377

2.3.3笛卡兒積連接378

2.3.4Map側的連接379

2.3.5ORDER BY379

2.3.6UNION ALL379

2.4Hive的實踐380

2.4.1使用分區380

2.4.2規範化381

2.4.3有效使用單次掃描381

2.4.4桶的使用381

2.5性能調優和查詢優化382

2.5.1EXPLAIN命令383

2.5.2LIMIT調優387

2.6各種執行類型387

2.6.1本地執行387

2.6.2並行執行387

2.6.3索引388

2.6.4預測執行388

2.7Hive文件和記錄格式388

2.7.1文本文件388

2.7.2序列文件389

2.7.3RCFile389

2.7.4記錄格式（SerDe）390

2.7.5Regex SerDe390

2.7.6Avro SerDe391

2.7.7JSON SerDe392

2.8HiveThrift服務393

2.8.1啟動HiveThrift服務器393

2.8.2使用JDBC的樣例HiveThrift客戶端393

2.9Hive中的安全395

2.9.1認證395

2.9.2授權395

練習397

備忘單400

第3講用Pig分析數據402

3.1介紹Pig403

3.1.1Pig架構403

3.1.2Pig Latin的優勢404

3.2安裝Pig405

3.2.1安裝Pig所需條件405

3.2.2下載Pig405

3.2.3構建Pig庫406

3.3Pig的屬性406

3.4運行Pig407

3.5Pig Latin應用程序流408

3.6開始利用Pig Latin409

3.6.1Pig Latin結構410

3.6.2Pig數據類型411

3.6.3Pig語法412

3.7Pig腳本接口413

3.8Pig Latin的腳本415

3.8.1用戶定義函數415

3.8.2參數替代418

3.9Pig中的關繫型操作419

3.9.1FOREACH419

3.9.2FILTER420

3.9.3GROUP421

3.9.4ORDER BY422

3.9.5DISTINCT423

3.9.6JOIN424

3.9.7LIMIT425

3.9.8SAMPLE426

練習427

備忘單430

第4講Oozie對數據處理進行自動化431

4.1開始了解Oozie432

4.2Oozie工作流433

4.2.1在Oozie工作流中執行異步活動436

4.2.2實現Oozie工作流437

4.3Oozie協調器443

4.4Oozie套件448

4.5利用EL的Oozie參數化451

4.5.1工作流函數451

4.5.2協調器函數452

4.5.3套件函數452

4.5.4其他EL函數452

4.6Oozie作業執行模型452

4.7訪問Oozie455

4.8Oozie SLA456

練習460

備忘單462

第5講使用Oozie464

5.1業務場景：使用探測包驗證關於位置的信息465

5.2根據探測包設計位置驗證466

5.3設計Oozie工作流467

5.4實現Oozie工作流應用程序469

5.4.1實現數據準備工作流469

5.4.2實現考勤指數和集群簇的工作流477

5.5實現工作流的活動479

5.5.1從java行為中填充執行上下文479

5.5.2在Oozie工作流中使用MapReduce作業480

5.6實現Oozie協調器應用程序483

5.7實現Oozie套件應用程序488

5.8部署、測試和執行Oozie應用程序489

5.8.1使用Oozie CLI執行Oozie應用程序490

5.8.2將參數傳遞給Oozie作業493

5.8.3決定如何將參數傳遞給Oozie作業495

練習497

備忘單499

商品搜索

商品分类

【醫學】

【各大出版社】