第1章VMware與虛擬機1
1.1VMware簡介1
1.2VMware的安裝2
1.3VMware的網絡配置2
1.3.1VMnet0網卡配置2
1.3.2VMnet1網卡配置3
1.3.3VMnet8網卡配置3
1.4Windows環境下對VMnet8的DNS進行配置6
1.5利用管理員權限編輯網卡7
1.6總結7
1.7思考題8
參考文獻8
第2章CentOS操作繫統安裝9
2.1新建VMware虛擬機9
2.2安裝CentOS14
2.3配置Yum18
2.4為CentOS安裝圖形用戶界面20
2.5CentOS的網絡配置20
2.5.1虛擬機的網絡配置20
2.5.2在CentOS操作繫統裡對網卡進行設置21
2.6Samba配置23
2.7配置SSHD26
2.8重新啟動虛擬機需要執行的命令27
2.9思考題28
第3章Hadoop入門29
3.1Hadoop簡介29
3.2HDFS30
3.2.1寫文件31
3.2.2讀文件32
3.2.3Secondary NameNode介紹33
3.3MapReduce工作原理34
3.3.1MapReduce執行引擎35
3.3.2MapReduce計算模型37
3.3.3Hadoop 1.0的應用38
3.4Hadoop生態繫統38
3.5Hadoop 2.040
3.5.1Hadoop 1.0的優勢和局限40
3.5.2從Hadoop 1.0到Hadoop 2.041
3.5.3YARN原理41
3.5.4YARN的優勢43
3.6思考題44
〖3〗Hadoop與Spark入門目錄〖3〗第4章Hadoop安裝與HDFS、MapReduce實驗45
4.1安裝JDK45
4.2新建虛擬機集群47
4.2.1網絡配置小結47
4.2.2配置各個虛擬機別名48
4.2.3配置各個虛擬機的/etc/hosts文件48
4.3無密碼SSH登錄49
4.4Hadoop安裝、配置和啟動52
4.4.1coresite.xml配置文件54
4.4.2hdfssite.xml配置文件54
4.4.3mapredsite.xml配置文件55
4.4.4yarnsite.xml配置文件56
4.4.5配置hadoopenv.sh腳本文件59
4.4.6配置yarnenv.sh腳本文件59
4.4.7主機配置59
4.5格式化HDFS60
4.6啟動Hadoop60
4.7報告HDFS的基本信息62
4.8使用日志62
4.9Hadoop管理界面63
4.10Hadoop測試63
4.10.1HDFS常用文件操作命令63
4.10.2測試WordCount程序64
4.11配置History Server64
4.12若干問題解決65
4.13HDFS Java程序分析69
4.14WordCount程序代碼簡單分析73
4.15MapReduce Sort76
4.16MapReduce Java開發環境配置76
4.17思考題79
參考文獻80
第5章HBase簡介、部署與開發81
5.1HBase簡介81
5.2HBase訪問接口81
5.3HBase的數據模型82
5.4HBase繫統架構83
5.5HBase存儲格式85
5.6在HBase繫統上運行MapReduce87
5.7HBase安裝、配置與運行87
5.8啟動HBase並且測試90
5.9使用HBase Shell92
5.10HBase Java實例分析93
5.11若干問題解決97
5.12思考題99
參考文獻99
第6章Hive數據倉庫100
6.1Hive簡介100
6.2Hive數據模型102
6.3Hive安裝、配置和運行103
6.3.1使用MySQ信息管理104
6.3.2安裝和配置Hive105
6.3.3啟動Hive108
6.4若干問題解決110
6.5hiveserver2與beeline112
6.6Hive安裝問題115
6.7HWI服務115
6.8Metastore服務116
6.9Hive的Java開發116
6.10Tez簡介119
6.10.1Hadoop 2.0上的交互式查詢引擎Hive on Tez119
6.10.2把數據處理邏輯建模成一個DAG連接起來的任務121
6.11Hadoop平臺上的列存儲技術121
6.11.1列存儲的優勢121
6.11.2Parquet列存儲格式121
6.12思考題126
參考文獻126
第7章Spark及其生態繫統127
7.1Spark簡介127
7.1.1Spark軟件架構127
7.1.2Spark的主要優勢128
7.2Hadoop的局限和Spark的誕生129
7.3Spark的特性130
7.4Spark生態繫統131
7.5RDD及其處理132
7.5.1DAG、寬依賴與窄依賴133
7.5.2DAG的調度執行134
7.6Spark的部署135
7.7Spark SQL136
7.8Spark的應用案例137
7.9總結138
7.10思考題138
參考文獻138
第8章Spark的安裝、部署與運行139
8.1Spark的安裝、配置與運行139
8.2啟動Spark142
8.2.1啟動sparksql shell運行SQL144
8.2.2啟動pyspark shell運行SQL144
8.2.3用pyspark shell進行數據處理145
8.2.4啟動scala shell運行WordCount145
8.2.5啟動scala shell運行SQL(本地文件)146
8.2.6啟動scala shell運行SQL(HDFS文件)147
8.2.7配置和啟動Thrift Server147
8.2.8錯誤分析150
8.3在Windows上用Eclipse調試Spark Java程序151
8.4在Windows上安裝Maven和配置Eclipse157
8.5思考題160
參考文獻160
第9章Spark SQL162
9.1Spark SQL簡介162
9.2查詢本地文件、HDFS文件以及HDFS Parquet列存儲格式文件163
9.3內置實例分析與Java開發166
9.3.1通過SQL Explorer插件存取Spark SQL166
9.3.2JDBC Java編程167
9.4思考題170
參考文獻170
第10章Spark MLlib171
10.1MLlib簡介171
10.2啟動平臺軟件172
10.3分類實例173
10.4聚類實例178
10.5線性回歸180
10.6協同過濾推薦181
10.7思考題184
參考文獻185
第11章Spark GraphX186
11.1GraphX簡介186
11.2PageRank188
11.3思考題190
參考文獻190
第12章Flume入門191
12.1Flume簡介191
12.2Flume的特性192
12.3Flume的繫統架構和運行機制192
12.4Flume的安裝、配置和運行195
12.5使用netcat完成數據注入的實例197
12.6以HBase為目標數據庫的實例198
12.7以Hive為目標數據庫的實例200
12.8Java開發204
12.9如何安裝netcat204
12.10思考題204
參考文獻204
第13章Kafka入門206
13.1Kafka簡介206
13.1.1話題和分區207
13.1.2數據分布與存儲208
13.1.3代理209
13.1.4生產者209
13.1.5消費者209
13.1.6消息的順序210
13.1.7Kafka的應用場景211
13.1.8小結213
13.2Zookeeper與Kafka213
13.3Kafka的流數據處理組件Kafka Streams214
13.4Kafka在繫統中的位置214
13.5Kafka的安裝、配置和運行215
13.5.1單Broker部署215
13.5.2多Broker部署217
13.5.3測試容錯性219
13.6安裝問題220
13.7Kafka的Java編程220
13.8Kafka的綜合實例227
13.9Kafka與Flume的配合228
13.10流處理與批處理的結合231
13.11思考題232
參考文獻232

Hadoop和Spark是兩大大數據處理平臺，各自形成了完整的生態繫統。在相當長的時間內，二者相互共存。
本書是一本Hadoop和Spark的入門介紹書籍。
針對Hadoop和Spark兩個生態繫統的主要工具，本書首先介紹其基本原理，然後給出安裝部署的詳細過程，並且通過對內置實例的分析，幫助讀者掌握初步的大數據平臺的編程技巧。
本書的讀者為高等院校高年級本科生、碩士研究生和IT從業者，他們急需一本簡潔的手冊，幫助他們迅速入門Hadoop和Spark。
本書包括13章: 第1、2章介紹VMware與虛擬機、CentOS操作繫統安裝，第3～6章介紹Hadoop生態繫統，第7～11章介紹Spark生態繫統，第12、13章介紹兩個工具Flume和Kafka。本書對Hadoop和Spark以及相關工具的原理、部署和開發做了詳細介紹，使讀者可以快速入門。
本書引導讀者在3臺VMware虛擬機上進行實驗，虛擬機運行的操作繫統是CentOS 7。一般在一臺擁有8GB內存的i7筆記本計算機上就可以展開實驗，不必依賴更多的硬件，也不用租用雲平臺上的虛擬機。
一生二，二生三，三生萬物。在3臺虛擬機上進行實驗，有利於讀者掌握大數據平臺的分布式部署(本書不介紹偽分布式部署和單機部署模式)，以及把技能遷移到更大規模的集群上。
讀者可以按照本書的各個章節，順序地了解各個工具的基本原理、部署的方法，並且通過實例了解如何進行實際應用開發。
讀者可以自行下載CentOS安裝盤(ISO文件)以及相關軟件包，一步步地建立實驗環境，進行實驗。
本書的編寫因時間倉促，加之編者水平有限，書中難免有疏漏和不足之處，在此懇請專家和廣大讀者批評指正！

編者2022.9