了得網計算機/網絡_Hadoop MapReduce實戰手冊

編輯推薦

本書是使用Hadoop生態繫統處理大規模復雜數據集的一站式指南。本書先為讀者介紹了簡單的示例，然後深入到解決深度大數據問題的用例。

本書將教會讀者如何駕馭Hadoop生態繫統中的各組件，包括HBase、Hadoop、Pig以及Mahout，然後讓讀者學會如何安裝雲環境來完成Hadoop MapReduce計算。本書還將用*真實的示例教會讀者如何處理大規模復雜數據集。

本書將教會讀者：

如何安裝Hadoop MapReduce和HDFS，開始運行示例程序；

如何安全地配置和管理Hadoop和HDFS；

理解Hadoop內部實現，以及如何擴展Hadoop來滿足用戶需求；

如何使用HBase、Hive、Pig、Mahout和Nutch簡單且有效地完成一些事情；

如何使用MapReduce解決各種分析問題；

解決復雜問題，如聚類、尋找關聯、在線營銷及推薦；

如何使用雲環境完成Hadoop計算。

內容簡介

這是一本學習Hadoop MapReduce的一站式指南，完整介紹了Hadoop生態體繫，包括Hadoop平臺安裝、部署、運維等，Hadoop生態繫統成員Hive、Pig、HBase、Mahout等。重要的是，書中包含豐富的示例和多樣的實際應用場景，以一種簡單而直接的方式呈現了90個實戰攻略，並給出一步步的指導。本書從獲取Hadoop並在集群中運行講起，依次介紹了高級HDFS，高級Hadoop MapReduce管理，開發復雜的Hadoop MapReduce應用程序，Hadoop的生態繫統，統計分析，搜索與索引，聚類、推薦和尋找關聯，海量文本數據處理，雲部署等內容。

作者簡介

Srinath Perera是WSO2公司的高級軟件架構師，與CTO一同全觀整個WSO2平臺架構。同時，他也是斯裡蘭卡軟件基金會的一位研究科學家，並作為訪問學者在莫勒圖沃大學計算機科學與工程繫授課。他是Apache Axis2開源軟件項目的聯合創始人，他自2002年以來一直參與Apache Web Service項目，並且是Apache軟件基金會和Apache Web服務項目PMC的成員。Srinath也是Apache Axis、Axis2和Geronimo開源項目的committer。
他在美國印第安納大學伯明頓分校獲得博士和碩士學位，在斯裡蘭卡莫勒圖沃大學獲得了計算科學與工程學士學位。
Srinath已經撰寫了許多技術文章和同行評審的研究文章，可以從他的個人網站找到更多細節。他還經常在技術會議上做演講。
他長期研究大規模分布式繫統。他的日常工作與大數據技術（如Hadoop和Cassandra）結合很緊密。他還在莫勒圖沃大學研究生班教授並行計算，主要是基於Hadoop。
Thilina Gunarathne是印第安納大學信息與計算學院博士。他在使用Apache Hadoop以及大規模數據密集型計算技術方面有著豐富的經驗。他目前的主要工作是致力於研發在雲環境執行可擴展的、高效的大規模數據密集型計算的技術。Srinath Perera是WSO2公司的高級軟件架構師，與CTO一同全觀整個WSO2平臺架構。同時，他也是斯裡蘭卡軟件基金會的一位研究科學家，並作為訪問學者在莫勒圖沃大學計算機科學與工程繫授課。他是Apache Axis2開源軟件項目的聯合創始人，他自2002年以來一直參與Apache Web Service項目，並且是Apache軟件基金會和Apache Web服務項目PMC的成員。Srinath也是Apache Axis、Axis2和Geronimo開源項目的committer。

他在美國印第安納大學伯明頓分校獲得博士和碩士學位，在斯裡蘭卡莫勒圖沃大學獲得了計算科學與工程學士學位。

Srinath已經撰寫了許多技術文章和同行評審的研究文章，可以從他的個人網站找到更多細節。他還經常在技術會議上做演講。

他長期研究大規模分布式繫統。他的日常工作與大數據技術（如Hadoop和Cassandra）結合很緊密。他還在莫勒圖沃大學研究生班教授並行計算，主要是基於Hadoop。

Thilina Gunarathne是印第安納大學信息與計算學院博士。他在使用Apache Hadoop以及大規模數據密集型計算技術方面有著豐富的經驗。他目前的主要工作是致力於研發在雲環境執行可擴展的、高效的大規模數據密集型計算的技術。

Thilina發表了很多論文，並且同行評審了很多分布式計算和並行計算領域的研究論文，包括一些在雲環境擴展MapReduce模型進行有效的數據挖掘和數據分析的論文。Thilina經常在學術界和工業界會議上發表演講。

Thilina自2005年以來，在Apache軟件基金會下貢獻了若干個開源項目，並成為committer和PMC成員。在開始研究生學習之前，Thilina在WSO2公司擔任高級軟件工程師，專注於開源中間件開發。Thilina 2006年在斯裡蘭卡莫勒圖沃大學獲得計算機科學與工程學士學位，2009年在美國印第安納大學伯明頓分校獲得計算機科學碩士學位，2013年獲得分布式和並行計算領域博士學位。

譯者介紹

楊卓犖 *集團數據平臺事業部資深研發工程師。2011年起，在*從事Hadoop五年，集團SQL on Hadoop負責人，Hadoop/Yarn/Hive contributor，開源軟件愛好者。

第1章搭建Hadoop並在集群中運行

1.1 簡介

1.2 在你的機器上安裝Hadoop

1.3 寫WordCountMapReduce示例程序，打包並使用獨立的Hadoop運行它

1.4 給WordCount MapReduce程序增加combiner步驟

1.5 安裝HDFS

1.6 使用HDFS監控UI

1.7 HDFS的基本命令行文件操作

1.8 在分布式集群環境中設置Hadoop

1.9 在分布式集群環境中運行WordCount程序

1.10 使用MapReduce監控UI

第2章HDFS進階

2.1 簡介

2.2 HDFS基準測試

2.3 添加一個新的DataNode

2.4 DataNode下架

2.5 使用多個磁盤/卷以及限制HDFS的磁盤使用情況

2.6 設置HDFS塊大小

2.7 設置文件冗餘因子

2.8 使用HDFS的Java API

2.9 使用HDFS的C API（libhdfs）

2.10 掛載HDFS（Fuse-DFS）

2.11 在HDFS中合並文件

第3章高級Hadoop MapReduce運維

3.1 簡介

3.2 調優集群部署的Hadoop配置

3.3 運行基準測試來驗證Hadoop的安裝

3.4 復用Java虛擬機以提高性能

3.5 容錯和推測執行

3.6 調試腳本—分析任務失敗

3.7 設置失敗百分比以及跳過不良記錄

3.8 共享用戶的Hadoop集群—使用公平調度器和其他調度器

3.9 Hadoop的安全性——整合使用Kerberos

3.10 使用Hadoop的工具接口

第4章開發復雜的Hadoop MapReduce應用程序

4.1 簡介

4.2 選擇合適的Hadoop數據類型

4.3 實現自定義的Hadoop Writable數據類型

4.4 實現自定義Hadoop key類型

4.5 從mapper中輸出不同值類型的數據

4.6 為輸入數據格式選擇合適的Hadoop InputFormat

4.7 添加新的輸入數據格式的支持—實現自定義的InputFormat

4.8 格式化MapReduce計算的結果—使用Hadoop的OutputFormat

4.9 Hadoop的中間（map到reduce）數據分區

4.10 將共享資源傳播和分發到MapReduce作業的任務中—Hadoop DistributedCache

4.11 在Hadoop上使用傳統應用程序—Hadoop Streaming

4.12 添加MapReduce作業之間的依賴關繫

4.13 用於報告自定義指標的Hadoop計數器

第5章Hadoop生態繫統

5.1 簡介

5.2 安裝HBase

5.3 使用Java客戶端API隨機存取數據

5.4 基於HBase（表輸入/輸出）運行MapReduce作業

5.5 安裝Pig

5.6 運行條Pig命令

5.7 使用Pig執行集合操作（join，union）與排序

5.8 安裝Hive

5.9 使用Hive運行SQL風格的查詢

5.10 使用Hive執行join

5.11 安裝Mahout

5.12 使用Mahout運行K-means

5.13 可視化K-means結果

第6章分析

6.1 簡介

6.2 使用MapReduce的簡單分析

6.3 使用MapReduce執行Group-By

6.4 使用MapReduce計算頻率分布和排序

6.5 使用GNU Plot繪制Hadoop計算結果

6.6 使用MapReduce計算直方圖

6.7 使用MapReduce計算散點圖

6.8 用Hadoop解析復雜的數據集

6.9 使用MapReduce連接兩個數據集

第7章搜索和索引

7.1 簡介

7.2 使用Hadoop MapReduce生成倒排索引

7.3 使用ApacheNutch構建域內網絡爬蟲

7.4 使用Apache Solr索引和搜索網絡文檔

7.5 配置Apache HBase作為ApacheNutch的後端數據存儲

7.6 在Hadoop集群上部署Apache HBase

7.7 使用Hadoop/HBase集群構建Apache Nutch全網爬蟲服務

7.8 用於索引和搜索的ElasticSearch

7.9 生成抓取網頁的內鏈圖

第8章聚類、推薦和關繫發現

8.1 簡介

8.2 基於內容的推薦

8.3 層次聚類

8.4 對亞馬遜銷售數據集進行聚類操作

8.5 基於協同過濾的推薦

8.6 使用樸素貝葉斯分類器的分類

8.7 使用Adwords平衡算法給廣告分配關鍵字

第9章海量文本數據處理

9.1 簡介

9.2 使用Hadoop Streaming和Python預處理數據（抽取、清洗和格式轉換）

9.3 使用Hadoop Streaming進行數據去重

9.4 使用importtsv和批量加載工具把大型數據集加載到ApacheHBase

數據存儲中

9.5 創建用於文本數據的TF向量和TF-IDF向量

9.6 聚類文本數據

9.7 使用隱含狄利克雷分布（LDA）發現主題

9.8 使用Mahout的樸素貝葉斯分類器分類文件

第10章雲端部署——在雲上使用Hadoop

10.1 簡介

10.2 使用亞馬遜彈性MapReduce運行Hadoop MapReduce計算

10.3 使用亞馬遜EC2競價實例來執行EMR作業流以節約開支

10.4 使用EMR執行Pig腳本

10.5 使用EMR執行Hive腳本

10.6 使用命令行界面創建亞馬遜EMR作業流

10.7 使用EMR在亞馬遜EC2雲上部署Apache HBase集群

10.8 使用EMR引導操作來配置亞馬遜EMR作業的虛擬機

10.9 使用Apache Whirr在雲環境中部署Apache Hadoop集群

10.10 使用Apache Whirr在雲環境中部署Apache HBase集群

書摘插畫

商品搜索

商品分类

【醫學】

【各大出版社】