了得網研究生_大數據離線分析

商品搜索

类别：

关键字：

商品分类

大數據離線分析
該商品所屬分類：研究生 -> 工學
【市場價】	387-560元
【優惠價】	242-350元
【作者】	傅德謙、趙向兵、張林濤、劉鳴濤
【所屬類別】	圖書教材研究生/本科/專科教材工學
【出版社】	清華大學出版社
【ISBN】	9787302483298
【折扣說明】	一次購物滿999元台幣免運費+贈品一次購物滿2000元台幣95折+免運費+贈品一次購物滿3000元台幣92折+免運費+贈品一次購物滿4000元台幣88折+免運費+贈品
【本期贈品】	①優質無紡布環保袋，做工棒！②品牌簽字筆 ③品牌手帕紙巾

版本	正版全新電子版PDF檔
您已选择：	正版全新
溫馨提示：如果有多種選項，請先選擇再點擊加入購物車。 . 電子圖書價格是0.69折，例如了得網價格是100元，電子書pdf的價格則是69元。 . 購買電子書不支持貨到付款，購買時選擇atm或者超商、PayPal付款。付款後1-24小時內通過郵件傳輸給您。 *. 如果收到的電子書不滿意，可以聯絡我們退款。謝謝。

內容介紹

開本：16開

紙張：膠版紙

包裝：平裝-膠訂

是否套裝：否

國際標準書號ISBN：9787302483298

叢書名：高等院校數據科學與大數據技術繫列規劃教材

作者：傅德謙、趙向兵、張林濤、劉鳴濤

出版社：清華大學出版社

出版時間：2017年08月

編輯推薦

大數據離線處理目前技術上已經成熟。Hadoop框架是主流技術，使用 HDFS存儲數據，使用 MapReduce做批量計算；需要數據倉庫的存入 Hive，然後從Hive進行分析和展現；涉及復雜業務場景時，使用Sqoop、Pig、Oozie等工具會更靈活方便。本書綜合了大數據離線分析所需的主流技術，並配以案例和豐富的輔助學習資源，足以滿足廣大學習者入門的需要。

內容簡介

本書基於開源Hadoop大數據生態圈的主流離線分析工具Hive和Pig，通過技術講解和案例實戰相結合的方式，介紹了海量數據離線分析的技術方法。本書內容主要包括Hive數據庫表、基於HiveQL的常規操作、視圖、索引和Pig等數據處理分析和基礎工具知識，Hive函數、Pig Latin編程、ETL工具Sqoop和工作流引擎Oozie等相關高級技術，以及實際項目案例。
本書既可供學習大數據離線分析技術的本科和高職高專學生作為教材，也可供從事數據分析相關工作的技術人員作為參考資料。

目錄
緒論001
第1章走進Hive003
1.1Hive簡介003
1.1.1Hive發展史003
1.1.2體繫結構004
1.2Hive的安裝部署005
1.2.1安裝配置Hive005
1.2.2啟動Hive008
1.3Hive命令009
1.3.1Hive命令行選項009
1.3.2CLI命令行界面010
1.3.3Hive中CLI命令的快速編輯011
1.3.4Hive中的腳本011

緒論001

第1章走進Hive003

1.1Hive簡介003

1.1.1Hive發展史003

1.1.2體繫結構004

1.2Hive的安裝部署005

1.2.1安裝配置Hive005

1.2.2啟動Hive008

1.3Hive命令009

1.3.1Hive命令行選項009

1.3.2CLI命令行界面010

1.3.3Hive中CLI命令的快速編輯011

1.3.4Hive中的腳本011

1.3.5dfs命令的執行013

1.4數據類型和文件格式014

1.4.1基本數據類型014

1.4.2集合數據類型015

1.4.3文本文件數據編碼016

本章小結018

習題018

第2章HiveQL數據定義020

2.1數據庫的創建與查詢020

2.2數據庫的修改與刪除021

2.3創建表022

2.3.1管理表023

2.3.2外部表023

2.3.3查看表結構024

2.4修改表025

2.5刪除表026大數據

離線分析

2.6分區表027

2.6.1外部分區表028

2.6.2自定義表的存儲格式030

2.6.3增加、修改和刪除分區表031

2.7桶表031

本章小結032

習題033

第3章HiveQL數據操作034

3.1數據加載與導出034

3.1.1數據加載034

3.1.2數據導出036

3.2數據查詢037

3.2.1SELECT ... FROM語句037

3.2.2WHERE語句040

3.2.3GROUP BY語句與HAVING語句042

3.2.4JOIN語句043

3.2.5ORDER BY語句和SORT BY語句046

3.2.6CLUSTER BY語句047

3.2.7UNION ALL語句048

3.3抽樣查詢048

3.3.1數據塊抽樣049

3.3.2分桶表的輸入裁剪049

本章小結051

習題051

第4章HiveQL視圖和索引052

4.1視圖052

4.1.1創建視圖052

4.1.2顯示視圖053

4.1.3刪除視圖054

4.2索引054

4.2.1創建索引055

4.2.2重建索引055

4.2.3顯示索引056

4.2.4刪除索引056

本章小結057

習題057

第5章Hive的函數058

5.1函數簡介058

5.1.1發現和描述函數058

5.1.2調用函數059

5.1.3標準函數059

5.1.4聚合函數061

5.1.5表生成函數067

5.2用戶自定義函數UDF068

5.3用戶自定義聚合函數UDAF072

5.4用戶自定義表生成函數UDTF074

5.5UDF的標注075

5.5.1定數性標注(deterministic)076

5.5.2狀態性標注(stateful)076

5.5.3性標注(distinctLike)076

本章小結076

習題077

第6章認識Pig078

6.1初識Pig078

6.1.1Pig是什麼078

6.1.2Pig的應用場景078

6.1.3Pig的設計思想079

6.1.4Pig的發展簡史080

6.2安裝、運行Pig080

6.2.1安裝Pig080

6.2.2運行Pig081

本章小結082

習題082

第7章Pig基礎084

7.1命令行工具Grunt084

7.1.1輸入Pig Latin腳本084

7.1.2使用HDFS命令085

7.1.3控制Pig087

7.2Pig數據類型088

7.2.1基本類型088

7.2.2復雜類型089

7.2.3NULL值089

7.2.4類型轉換090

本章小結092

習題092

第8章Pig Latin編程093

8.1Pig Latin介紹093

8.1.1基礎知識093

8.1.2輸入和輸出094

8.2關繫操作095

8.2.1foreach語句096

8.2.2filter語句096

8.2.3group語句097

8.2.4order語句097

8.2.5distinct語句098

8.2.6join語句098

8.2.7limit語句098

8.2.8sample語句099

8.2.9parallel語句099

8.3用戶自定義函數UDF101

8.3.1注冊UDF102

8.3.2define命令和UDF103

8.3.3調用Java函數104

8.4開發工具104

8.4.1describe104

8.4.2explain105

8.4.3illustrate107

8.4.4Pig統計信息109

8.4.5M/R作業狀態信息111

8.4.6調試技巧112

本章小結113

習題113

第9章數據ETL工具Sqoop115

9.1安裝Sqoop115

9.2數據導入117

9.2.1導入實例118

9.2.2導入數據的使用119

9.2.3數據導入代碼生成120

9.3數據導出121

9.3.1導出實例121

9.3.2導出和SequenceFile123

本章小結123

習題124

第10章Hadoop工作流引擎Oozie125

10.1Oozie是什麼125

10.2Oozie的安裝125

10.3Oozie的編寫與運行131

10.3.1Workflow組件131

10.3.2Coordinator組件133

10.3.3Bundle組件134

10.3.4作業的部署與執行134

10.3.5向作業傳遞參數136

10.4Oozie控制臺136

10.4.1控制臺界面136

10.4.2獲取作業信息137

10.5Oozie的高級特性139

10.5.1自定義Oozie Workflow139

10.5.2使用Oozie JavaAPI141

本章小結143

習題143

第11章離線計算實例145

11.1微博歷史數據分析145

11.1.1數據結構145

11.1.2需求分析146

11.1.3需求實現146

11.2電商銷售數據分析160

11.2.1數據結構160

11.2.2需求分析161

11.2.3需求實現161

本章小結169

參考文獻

前言

前言
為什麼要寫這本書
數據時代(Data Time)的到來使大數據技術得到了學術界和產業界的重視，並獲得了快速發展。隨著全球數字化、移動互聯網和物聯網在各行各業的應用發展，使累積的數據量越來越大。諸多先行的企業、行業和國家已經證明，利用大數據技術可以更好地服務客戶、發現新商業機會、擴大新市場、轉換新動能。
當前正處於大數據產業發展的前期，市場需求日趨旺盛，但是人纔缺口巨大，技術支撐嚴重不足，大數據專業知識的廣泛傳播非常緊迫。
本書基於*“2016年產學合作協同育人項目”——普開數據教學內容和課程體繫改革項目，作為項目成果公開出版。北京普開數據技術有限公司在多屆全國高校教師培訓工作中起到了“種子”教師培養的作用，本書編者都是在培訓過程中結識並展開合作的；同時在本書編寫過程中，公司給予了強力支持，在此表示感謝。
讀者對像
(1) 學習大數據離線分析的本科和高職高專學生。

前言

為什麼要寫這本書

數據時代(Data Time)的到來使大數據技術得到了學術界和產業界的重視，並獲得了快速發展。隨著全球數字化、移動互聯網和物聯網在各行各業的應用發展，使累積的數據量越來越大。諸多先行的企業、行業和國家已經證明，利用大數據技術可以更好地服務客戶、發現新商業機會、擴大新市場、轉換新動能。

當前正處於大數據產業發展的前期，市場需求日趨旺盛，但是人纔缺口巨大，技術支撐嚴重不足，大數據專業知識的廣泛傳播非常緊迫。

本書基於*“2016年產學合作協同育人項目”——普開數據教學內容和課程體繫改革項目，作為項目成果公開出版。北京普開數據技術有限公司在多屆全國高校教師培訓工作中起到了“種子”教師培養的作用，本書編者都是在培訓過程中結識並展開合作的；同時在本書編寫過程中，公司給予了強力支持，在此表示感謝。

讀者對像

(1) 學習大數據離線分析的本科和高職高專學生。

(2) 從事數據分析相關工作的技術人員。

如何閱讀本書

本書主要介紹了基於Hadoop生態圈的大數據離線處理技術。主流的大數據離線分析技術一般包括：
使用HDFS存儲數據，使用MapReduce做批量計算；需要數據倉庫的存入 Hive,從Hive進行分析和展現；涉及復雜業務場景時，使用Sqoop、Pig、Oozie等工具會更加靈活方便。

本書略過了HDFS存儲數據、MapReduce批量計算的相關內容。HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapReduce是Hadoop提供的分布式計算框架，它可以用來統計和分析HDFS上的海量數據。該部分內容為Hadoop基礎知識，讀者如果需要深入學習，可以參考其他書籍或材料(如清華大學出版社2016年6月出版的《大數據技術基礎》)。

本書內容是重點圍繞Hive數據倉庫展開的，Hive在Hadoop上提供了SQL接口，開發人員隻需要編寫簡單易上手的SQL語句就可以實現創建表、刪除表、加載數據、下載數據、分析數據等功能，讀者可以從目錄的章節名稱中快速檢索並學習各方面的知識。

同時，本書針對離線分析過程中的工程任務場景還提供了一些輔助工具介紹。Sqoop解決在Hadoop和關繫數據庫之間傳遞數據的問題，如果讀者有這方面的基礎或對其他ETL工具更熟悉，可以略過。Pig為大型數據集的處理提供了更高層次的抽像，以更靈活方便的方法實現加載數據、表達轉換數據和存儲終結果，有這方面基礎或暫無需求的讀者可以略過書中第6、7章。Oozie實現對繫統中多任務的管理，當平臺中任務數量很大、需要維大數據

離線分析

前言

護和運行時，Oozie可以方便地完成調度監控這些任務的功能，對於僅處理簡單任務場景的讀者可以略過該部分內容。

偏重實踐操作是本書的特色，書中所講內容基本都配有實踐操作演示。通過每部分知識的學習和相應操作環節，可以很快地掌握技術，並有很強的工程應用場景感。本書後提供了一個綜合應用案例，讀者可以應用所學知識實現一個工程項目，從而有效訓練工程應用開發能力。

勘誤和支持

由於本書編者水平有限，書中難免會出現一些錯誤或者不準確的地方，懇請讀者批評、指正。如果在教材使用中遇到問題，或者要學習更多相關內容，請關注微信號lemonedu或聯繫普開數據在線實驗平臺(lab.zkpk.org)。

編者

媒體評論

評論

在線試讀

第章1走進 Hive

第章1走進 Hive

本章摘要在繫統地學習了Hadoop之後，還需要了解Hadoop生態圈裡面的很多組件，Hive就是其中之一，扮演數據倉庫的角色。Hive建立在Hadoop集群的上層，側重於離線分析，對存儲在Hadoop集群上的數據提供類SQL的接口進行操作，實現簡單的MapReduce統計。本章將從Hive的發展史講起，然後講解Hive的安裝部署，接著會對Hive的一些命令以及它的數據類型和文件格式進行介紹，讓讀者在學習本章的內容後能對Hive組件有一個初步的認識。1.1Hive簡介Hive是建立在Hadoop上的開源數據倉庫基礎構架，用於存儲和處理海量結構化數據。作為一種可以存儲、查詢和分析存儲在Hadoop中的大規模數據的機制，它提供了一繫列的工具用來進行數據提取、轉化、加載(ETL)，定義了簡單的類SQL查詢語言(稱為HQL)，允許熟悉SQL的用戶方便地使用Hive查詢數據；同時也允許熟悉MapReduce的開發者開發自定義的Mapper和Reducer來處理內建的Mapper和Reducer無法完成的復雜的分析工作。可以把Hive中海量結構化數據看成一張張的表，而實際上這些數據是分布式存儲在HDFS中的。Hive經過對語句進行解析和轉換，終生成一繫列基於Hadoop的Map/Reduce任務，通過執行這些任務完成數據處理。1.1.1Hive發展史1. Hive的誕生Hive誕生於Facebook中的日志分析需求，其設計目的是讓精通SQL技能的分析師能夠在Facebook存放在HDFS的大規模數據集上進行查詢。面對海量的結構化數據，Hive以較低的成本完成了以往需要大規模數據庫纔能完成的任務，並且學習門檻相對較低，應用開發靈活而高效。2. Hive的歷史Hive自2009年4月29日發布個官方穩定版0.3.0到今天，在短短的幾年時間裡，一直在逐步的完善之中。從2010年下半年開始，Hive成為Apache項目。今天，Hive已經是一個成功的Apache項目，很多組織把它用作一個通用的、可伸縮的數據處理大數據離線分析00第1章走進Hive00平臺。1.1.2體繫結構Hive從外部接口中獲取用戶提交的HQL命令，然後對用戶指令進行解析數據信息)，實例化成一個MapReduce可執行計劃，按照該計劃生成MapReduce任務後交給Hadoop集群基於用戶指定的數據進行處理，終反饋結果給用戶。Hive的架構如圖11所示，主要由以下4個部分組成。圖11Hive架構圖(1) 用戶接口。用戶接口主要有CLI、Client和Web UI。其中，常用的是CLI，CLI啟動時會同時啟動一個Hive副本。Client是Hive的客戶端，幫助用戶連接至Hive Server。在啟動Client模式時，需要指出Hive Server所在節點，並且在該節點啟動Hive Server。Web UI提供通過瀏覽器訪問Hive的方式。(2) 數據庫。Hi數據存儲在數據庫中，如MySQL、Derby。Hiv數據包括表的名字、表的列、分區及其屬性、表的屬性(是否為外部表等)和表的數據所在目錄等。(3) 解析器。解析器包括解釋器、編譯器、優化器、執行器。前三個完成HQL查詢語句從詞法分析、語法分析、編譯、優化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，並在隨後由MapReduce調用執行。(4) Hadoop。Hive的數據存儲在HDFS中，大部分的查詢、計算由MapReduce完成。1.2Hive的安裝部署〖*2〗1.2.1安裝配置HiveHive的安裝需要在Hadoop已經成功安裝的基礎上，並且要求Hadoop已經正常啟動(選用Hadoop 2.7.2)。因為將Hive安裝在HadoopMaster節點上，所以下面的所有操作都在HadoopMaster節點上進行。Hadoop默認的繫統用戶是zkpk，密碼也是zkpk，下面所有的操作都使用zkpk用戶，切換zkpk用戶的命令是： \\[zkpk@master ~\\]$ su -zkpk1. 解壓並安裝Hive使用下面的命令解壓Hive 2.1.1安裝包。 \\[zkpk@master ~\\]$ cd /home/zkpk/resources/software/hadoop/apache \\[zkpk@master apache\\]$ mv apache-hive-2.1.1-bin.tar.gz ~/ \\[zkpk@master apache\\]$ cd\\[zkpk@master ~\\]$ tar -zxvf ~/ apache-hive-2.1.1-bin.tar.gz \\[zkpk@master ~\\]$ mv apache-hive-2.1.1-bin hive21\\[zkpk@master ~\\]$ cd hive21執行ls al命令檢查解壓內容，會看到下面所示內容都是Hive包含的文件。2. 安裝配置MySQL注意：安裝和啟動MySQL服務需要root權限，因此首先要切換成root用戶，然後用yum命令(需要聯網)安裝。\\[zkpk@master ~\\]$ su root輸入密碼： zkpk（1) 安裝MySQL 方法一：通過yum安裝MySQL。\\[root@master zkpk\\]$ yum install mysql-server\\[root@master zkpk\\]$ yum install mysql-client\\[root@master zkpk\\]$ yum install mysql-devel注意：如果命令執行過程中提示軟件包已經安裝了，則不需要重新安裝。方法二：通過rpm安裝包安裝MySQL。首先檢查MySQL是否已經安裝(注意命令中間有“|”)。\\[root@master zkpk\\]$ rpm -qa | grep mysql刪除Linux上已經安裝的MySQL相關庫信息。\\[root@master zkpk\\]$ rpm -e 上步查詢出的結果-nodeps刪除後再次通過rpm qa命令檢查是否卸載干淨。然後通過如下命令安裝MySQL(其中Mysqlserver需要寫實際安裝的壓縮包名)。\\[root@master zkpk\\]$ rpm -ivh Mysql-server-（2) 啟動MySQL服務安裝之後，用如下方式啟動服務。\\[root@master zkpk\\]$ /etc/init.d/mysqld restart或\\[root@master zkpk\\]$ service mysqld restart如果看到如下的打印輸出，表示啟動成功。以root用戶登錄MySQL(注意這裡的root是數據庫的root用戶，不是繫統的root用戶)。默認情況下，root用戶沒有密碼，可以通過下面的方式登錄。\\[root@master zkpk\\]$ mysql -uroot然後創建Hadoop用戶並授權。 mysql>grant all on . to hadoop@'%' identified by 'hadoop'; mysql>grant all on . to hadoop@'localhost' identified by 'hadoop'; mysql>grant all on . to hadoop@'master' identified by 'hadoop'; mysql>flush privileges;創建數據庫。 mysql>create database hive21;輸入命令退出MySQL。 mysql>quit;3. 配置Hive進入Hive的配置目錄，修改配置文件。 \\[zkpk@master ~\\]$ cd /home/zkpk/hive21/conf然後在該目錄下創建一個新文件hivesite.xml，命令如下： \\[zkpk@master conf\\]$ vim hive-site.xml將下面的內容添加到hivesite.xml文件中。

書摘插畫

網友評論我們期待著您對此商品發表評論

相關商品

商品搜索

商品分类

【醫學】

【各大出版社】