●部分 大數據概述章 大數據的時代背景及應用落地21.1 大數據與“雲大物區智”的關聯21.2 大數據平臺的應用優勢41.3 大數據平臺的技術架構選型和產品對比4第2章 大數據繫統的安裝及配置72.1 服務器及操作繫統的準備72.2 JDK、PYTHON和SCALA82.3 HADOOP122.3.1 安裝環境的確認及文件準備162.3.2 配置環境變量及無密碼傳輸162.3.3 配置Hadoop的對應參數182.3.4 啟動並驗證Hadoop202.4 SQOOP202.4.1 Sqoop安裝文件的準備222.4.2 Sqoop的安裝及配置232.4.3 Sqoop運行驗證242.5 HIVE252.5.1 安裝文件的準備262.5.2 配置環境變量和安裝MySQL262.5.3 配置Hive參數262.5.4 驗證Hive的相關服務292.6 ZOOKEEPER和HBASE292.6.1 ZooKeeper安裝文件的準備302.6.2 ZooKeeper的安裝及配置302.6.3 ZooKeeper運行驗證312.6.4 HBase安裝文件的準備312.6.5 HBase的安裝及配置312.6.6 HBase運行驗證322.7 FLUME332.8 KAFKA352.9 SPARK372.9.1 Spark安裝文件的準備382.9.2 Spark的安裝及配置382.9.3 Spark運行驗證392.10 FLINK392.11 開源大數據繫統各組件的組合402.12 CDH412.13 FUSIONINSIGHT422.14 小結44第二部分 離線大數據處理第3章 使用PYTHON爬蟲獲取數據473.1 PYTHON爬蟲模塊的安裝473.1.1 requests模塊的安裝及驗證473.1.2 Beautiful Soup模塊的安裝及驗證473.2 抓取並解析JSON數據493.2.1 利用Fiddler找出所抓取的網址493.2.2 解析JSON對像513.3 抓取並解析HTML中的數據523.3.1 使用Beautiful Soup提取網頁內容523.3.2 保存抓取內容533.3.3 不同爬蟲模塊所適用的場景553.4 使用PYTHON提取文章的關鍵字553.4.1 中文分詞和關鍵字的提取553.4.2 Python的中文分詞模塊jieba563.4.3 使用自定義詞典和停用詞573.4.4 提取文章的關鍵字583.5 小結60第4章 HIVE在大數據中的角色614.1 HIVE的核心概念及配置使用614.1.1 Hive在大數據生態繫統中的作用614.1.2 Hive的幾種使用方法624.1.3 使用Tez引擎替代MapReduce654.2 概要設計和物理模型的創建684.2.1 使用Hive要解決哪些問題684.2.2 數據庫的概要設計684.2.3 物理模型的定義及創建表734.3 加載爬蟲數據794.4 數據的合並、去重和轉換804.4.1 數據的合並804.4.2 利用臨時表去掉重復的數據814.4.3 使用Hive內置函數轉換數據834.5 使用UDF實現數據的轉換844.5.1 用戶自定義函數的實現原理844.5.2 利用Python實現UDF844.5.3 數據進入rpt表874.6 使用PYTHON操作HIVE894.6.1 安裝impyla模塊894.6.2 使用Python讀取數據示例894.7 ETL數據調度和數據治理904.7.1 數據處理的自動化904.7.2 數據治理954.8 小結96第5章 使用HBASE實現大數據存儲975.1 非關繫型數據庫及HBASE975.2 HBASE的幾個核心概念985.3 HBASE數據操作命令995.3.1 HBase客戶端995.3.2 創建表及插入數據1005.3.3 按照行鍵值檢索1025.3.4 掃描檢索1025.3.5 刪除表和數據1045.4 使用PYTHON操作HBASE1075.4.1 啟動HBase Thrift Server1075.4.2 安裝happybase模塊1075.4.3 插入數據及刪除數據1075.4.4 組合查詢代碼示例1095.5 把HIVE數據導入HBASE1105.6 用HIVE外部表讀取HBASE數據1115.7 小結112第6章 SPARK數據分析引擎1136.1 SPARK簡介1136.2 SPARK集群的配置及啟動1146.2.1 Spark集群的安裝與配置1156.2.2 作業提交方式1166.2.3 操作界面的啟動類型1176.2.4 三類Web監控界面1196.3 調用HIVE數據1216.3.1 使用beeline客戶端1216.3.2 使用HiveContext對像1226.3.3 使用Spark SQL1236.3.4 使用JDBC1236.4 調用HBASE數據1236.4.1 設定環境變量1236.4.2 讀數據示例1246.5 使用PYSPARK進行數據分析1266.5.1 將RDD轉換為DataFrame1276.5.2 Spark SQL等值連接1296.5.3 使用matplotlib繪制直方圖1296.6 小結130第7章 使用FLASK實現數據展示1317.1 FLASK框架簡介及站點搭建流程1317.2 FLASK微框架的特性1327.3 使用MVC模式搭建項目框架1337.3.1 訪問地址1337.3.2 MVC模式簡介1337.3.3 項目目錄結構1347.4 檢索及加載新聞數據1357.4.1 模型層的開發1357.4.2 模型測試1367.4.3 控制器層的開發1387.4.4 控制器測試1397.4.5 視圖層的開發1407.5 小結141第二部分技術點總結141第三部分 流式大數據處理第8章 使用FLUME獲取網站訪問日志1458.1 FLUME的安裝及數據流模型1458.1.1 Flume簡介及安裝1458.1.2 Flume的數據流模型1468.2 核心組件的配合使用1468.2.1 6種核心組件1468.2.2 配置文件1478.2.3 flume-ng命令1488.3 各種數據組合的流動方式1508.3.1 將日志收集至文件1508.3.2 Sink的多路復用1528.3.3 使用Avro作為數據源1548.3.4 Channel的多路復用1558.4 APACHE服務器的日志格式1588.5 合並兩個網站的日志1608.6 小結162第9章 KAFKA的安裝、配置及其與FLUME的整合1639.1 KAFKA的特性及安裝、配置1639.1.1 Kafka的特性和適用場合1639.1.2 安裝、配置Kafka1649.2 幾種術語1669.3 BROKER的使用方法1679.3.1 單節點單Broker1689.3.2 單節點多Broker1699.3.3 分布式Broker1729.3.4 分區及偏移量1749.3.5 分區選擇策略1769.4 分布式生產者/消費者1769.4.1 兩個生產者1769.4.2 消費者組1779.5 KAFKA CONNECTOR1809.5.1 File Source1819.5.2 File Sink1829.6 KAFKA和FLUME的整合1839.6.1 給Flume提供數據1839.6.2 從Flume中獲取數據1849.7 使用PYTHON連接KAFKA1869.8 小結1870章 REDIS數據庫簡介18810.1 REDIS的特點及適用場景18810.2 REDIS的安裝及命令行使用方法18810.2.1 Redis的安裝及啟動18810.2.2 命令行客戶端18910.2.3 5種數據類型19010.2.4 字符串命令19110.3 使用PYTHON操作REDIS19310.4 使用JAVA操作REDIS19410.5 小結1951章 FLINK簡介及其與KAFKA的整合19611.1 FLINK概述及其與SPARK的區別19611.2 FLINK的架構、特性及工作流程19611.3 FLINK的安裝19911.3.1 單節點的安裝19911.3.2 集群的安裝20111.3.3 利用ZooKeeper實現Flink的高可用性20311.4 FLINK的作業提交方式20511.4.1 以Standalone方式運行20511.4.2 利用YARN Session運行20711.4.3 利用Python調用Flink服務21211.4.4 使用REST API查看狀態21311.5 FLINK-KAFKA CONNECTOR21411.5.1 Flink為Kafka提供數據21511.5.2 Flink從Kafka接收數據21911.6 使用FLINK統計PAGEVIEW22111.6.1 Flink開發的一般步驟22111.6.2 Flink DataStream API22111.6.3 將數據落地至Redis和HBase22711.7 小結2352章 網站頁面訪問量的動態展示23612.1 百度的ECHARTS圖表功能簡介23612.2 頁面訪問量的動態統計23812.2.1 模型層的開發23912.2.2 控制器層的開發24212.2.3 視圖層的開發24212.3 生成詞雲圖和占比餅圖24512.3.1 詞雲圖模型層的開發24512.3.2 詞雲圖控制器層的開發24812.3.3 詞雲圖視圖層的開發24912.3.4 關鍵字餅圖的模型層開發24912.3.5 關鍵字餅圖的控制器層開發25012.3.6 關鍵字餅圖的視圖層開發25112.4 訪問日志檢索25212.5 小結253第三部分技術點總結253第四部分 雲平臺搭建3章 搭建基於雲平臺的容器級數據繫統25613.1 雲平臺25613.1.1 雲平臺架構25613.1.2 雲平臺的搭建及部署25913.1.3 雲平臺的不錯配置30313.2 基於雲平臺的容器集群30913.2.1 Magnum30913.2.2 Docker Swarm31113.2.3 Mesos和Marathon的結合31613.2.4 Kubernetes32313.3 基於容器的大數據繫統33113.4 小結339
內容簡介
本書在版的基礎上，介紹大數據的時代背景及應用方案、常用的離線大數據和流式大數據組件，以及基於雲平臺的容器級數據平臺搭建。書中以離線大數據和流式大數據兩個具體示例，貫穿本書的第二、三部分內容，對組件之間的協同工作關繫進行剖析。書中的代碼部分基本上使用Python編寫，用戶可以參考。如果你是一位在校學生、Python編程愛好者或是想轉行從事大數據工作的在職IT人員，閱讀本書必有所收獲！
