了得網計算機/網絡_Hadoop+Spark+Python大數據處理從算法到實戰

產品特色

編輯推薦

1.書力求簡單、實用，堅持以實例為主，理論為輔。從應用場景切入，圍繞新基建的雲計算、大數據及人工智能，介紹大數據的概念與特點及典型的產業應用場景，使讀者了解大數據項目和機器學習開發過程，能設計不同場景下的項目架構，並做好不同業務下的數據建模。
2.Hadoop spark Python三合一，內容講解重點分明，細節具體。本書解析了每個領域內的復雜邏輯和豐富內涵，盡可能讓讀者用更低的成本，盡快掌握相關技術，緊跟時代步伐。本書大多數章節都包含實訓模塊，讓讀者在學完該章節的知識後能夠舉一反三，學以致用，早日投身新基建。
3.布局合理，循序漸進，自有章法。本書先介紹了入門級的容器化工具Docker 與 Kubernetes，然後介紹大數據的常用組件，為讀者的後續實踐打好基礎後，開始講解機器學習庫的相關用法；隨著人工智能的快速發展，神經網絡及相關的開發工具也愈發強大，因此引入了能解決更復雜問題，但操作又比較簡單的深度學習框架 TensorFlow。掌握TensorFlow，既彌補了 Spark、scikit-learn 的不足，又能應對更困難的場景。

內容簡介

本書圍繞新基建的雲計算、大數據及人工智能進行介紹，分為以下五個部分。
部分介紹大數據的概念與特點，以及典型的產業應用場景；第二部分介紹目前雲計算中的一個重要的研究與應用領域—容器雲，包含應用容器引擎Docker與容器編排工具Kubernetes；第三部分是大數據分析的基礎，也是大數據分析技術的重點，包含Hadoop、HBase、Hive、Spark的環境搭建及開發流程；第四部分是機器學習相關算法的應用，包含scikit-learn、SparkML、TensorFlow工具的使用；第五部分，以實例介紹如何使用Spark機器學習庫中的協同過濾算法，來實現一個基於Web的推薦繫，以及介紹如何使用OpenCV與TensorFlow構建卷積神經網絡來實現基於Web的人臉識別。
本書輕理論，重實踐，適合有一定編程基礎，且對雲計算、大數據、機器學習、人工智能感興趣，希望投身到新基建這一偉大事業的讀者學習。同時，本書還可作為廣大院校相關專業的教材和培訓參考用書。

作者簡介

朱春旭，高級軟件工程師，長期為軟件開發公司、政府機構培訓大數據開發與應用課程，提供大數據技術咨詢與問題解決方案，對Python、大數據分析相關領域有深入研究。著有《Python編程完全自學教程》《Python數據分析與大數據處理從入門到精通》，培訓學員10000 。

第1篇入門篇
第 1 章初識大數據 002
1.2 如何處理與分析大數據 004
1.3 大數據的產業應用 008
第2篇準備篇
第 2 章萬丈高樓平地起，使用 Docker 作地基 011
2.1 初識 Docker 011
2.2 搭建 Docker 運行環境 016
2.3 Docker 操作鏡像 029
2.4 Docker 操作容器 036
2.5 Docker 私有倉庫 045
2.6 Docker Compose 編排容器046
2.7 Portainer 可視化工具 053
2.8 實訓：構建 Nginx 鏡像並創建容器 055

第1篇入門篇
第 1 章初識大數據 002
1.2 如何處理與分析大數據 004
1.3 大數據的產業應用 008
第2篇準備篇
第 2 章萬丈高樓平地起，使用 Docker 作地基 011
2.1 初識 Docker 011
2.2 搭建 Docker 運行環境 016
2.3 Docker 操作鏡像 029
2.4 Docker 操作容器 036
2.5 Docker 私有倉庫 045
2.6 Docker Compose 編排容器046
2.7 Portainer 可視化工具 053
2.8 實訓：構建 Nginx 鏡像並創建容器 055
第 3 章團隊合作好，使用 Kubernetes 來協調 057
3.1 初識 Kubernetes057
3.2 搭建集群 063
3.4 Kubernetes Dashboard 管理工具 079
3.5 實訓：在集群中部署 Nginx 服務器集群 084
第3篇技法篇
第 4 章築高樓，需利器，使用 Hadoop 做核心 088
4.1 Hadoop 簡介 088
4.2 HDFS 分布式文件繫統 092
4.3 任務調度與資源管理器 YARN 097
4.4 MapReduce 分布式計算框架104
4.5 Hadoop 環境搭建 113
4.6 Hadoop 常用操作命令 127
4.7 實訓：在容器中部署 Hadoop集群 130
第 5 章空間要靈活，使用 HBase 來管理 136
5.1 初識 HBase 136
5.2 HBase 環境搭建144
5.3 HBase Shell 操作 152
5.4 HBase Thrift 編程接口 160
5.5 Region 的拆分與合並 162
5.6 實訓：構建訂單管理表 165
第 6 章數據需要規劃，使用 Hive 建倉庫169
6.1 初識 Hive 169
6.2 Hive 環境搭建 171
6.3 Hive 數據庫與表 176
6.4 表的類型 183
6.5分桶查詢與排序 188
6.6 Sqoop 數據的導入導出 190
6.7 Hive Thrift 編程接口192
6.8實訓：構建訂單分析數據倉庫 193
第 7 章處理要夠快，使用 Spark 196
7.1 Spark 概述 196
7.2 Spark 核心原理 199
7.3 Spark 環境搭建 202
7.4提交 Spark 應用 206
7.5實訓：在容器中部署 Spark集群 209
第 8 章數據無結構，使用 RDD 212
8.1 RDD 設計原理 212
8.2 RDD 編程 216
8.3鍵值對 RDD 224
8.4讀寫文件 230
8.5集成 HBase 232
8.6編程進階 234
8.7實訓：分析商品銷售情況 240
第 9 章數據有結構，使用 SQL 語句 245
9.1 Spark SQL 概述 245
9.2創建 DataFrame 對像 249
9.3 DataFrame 常用的 API 254
9.4保存 DataFrame 262
9.5實訓：分析公司銷售業績 264
第 10 章 Spark 流式計算編程 268
10.1流計算簡介 268
10.2 Discretized Stream 271
10.3 Structured Streaming 278
10.4實訓：實時統計貸款金額 293
第4篇算法篇
第 11 章發掘數據價值，使用機器學習技術297
11.1什麼是機器學習 297
11.2 scikit-learn 機器學習庫303
11.3 Spark 機器學習庫 308
11.4實訓：簡單的情感分析 310
第 12 章處理分類問題313
12.1分類問題概述 313
12.2決策樹 .315
12.3隨機森林 320
12.4 Logistic 回歸 325
12.5支持向量機 329
12.6貝葉斯 334
12.7實訓：判斷用戶是否購買該商品 337
第 13 章處理回歸問題 340
13.1回歸問題概述 340
13.2線性回歸與多項式回歸 342
13.3決策樹回歸 347
13.4實訓：預測房價 352
第 14 章處理聚類問題 355
14.1聚類問題概述 355
14.2基於劃分聚類 356
14.3基於模型聚類 359
14.4實訓：對客戶進行聚類 363
第 15 章關聯規則與協同過濾 365
15.1關聯規則數據挖掘 365
15.2協同過濾 368
15.3實訓：使用 Spark ALS 推薦菜單 371
第 16 章建立智能應用 374
16.1構建簡單模型 374
16.2自定義模型和自定義層 384
16.3回調 386
16.4保存與恢復模型 388
16.5識別手寫字 391
16.6實訓：貓狗識別 394
第5篇實戰篇
第 17 章綜合實戰：猜你喜歡401
17.1項目背景與解決方案介紹 401
17.2數據庫設計 403
17.3推薦模型 404
17.4前端網站 406
第 18 章綜合實戰：人臉識別416
18.1項目背景與解決方案介紹 416
18.2圖像采集 418
18.3訓練模型與識別人臉 422

前言

前言
用新技術、新思維，投身新基建
2020 年 3 月，國家提出要加快 5G 網絡和數據中心等新型基礎設施建設（簡稱新基建）的進度。
其中，信息化新型基礎設施包含雲計算、大數據、人工智能、區塊鏈、5G 等內容。
雲計算、大數據、人工智能，這三者從表面上看似乎是三個獨立的技術方向，實則一脈相承。
筆者在南京大學參加人工智能峰會的時候，曾向專家請教了一個問題：雲計算、大數據、人工智能之間有什麼關繫？專家解釋：從整體上看，雲計算就是高速公路，大數據就是路上滿載貨物、飛速奔馳的車輛，人工智能則通過觀察道路利用情況、車輛運行情況，發現其中的規律，合理規劃道路、合理調度車輛，讓整個繫統運行得更高效。
簡單來說，雲計算技術提供了算力，大數據技術提供了數據支撐，人工智能技術提供了強大算法，這三者之間存在著不可分割的“親緣”關繫。

前言
用新技術、新思維，投身新基建

為什麼寫這本書？
2020 年 3 月，國家提出要加快 5G 網絡和數據中心等新型基礎設施建設（簡稱新基建）的進度。
其中，信息化新型基礎設施包含雲計算、大數據、人工智能、區塊鏈、5G 等內容。
雲計算、大數據、人工智能，這三者從表面上看似乎是三個獨立的技術方向，實則一脈相承。
筆者在南京大學參加人工智能峰會的時候，曾向專家請教了一個問題：雲計算、大數據、人工智能之間有什麼關繫？專家解釋：從整體上看，雲計算就是高速公路，大數據就是路上滿載貨物、飛速奔馳的車輛，人工智能則通過觀察道路利用情況、車輛運行情況，發現其中的規律，合理規劃道路、合理調度車輛，讓整個繫統運行得更高效。
簡單來說，雲計算技術提供了算力，大數據技術提供了數據支撐，人工智能技術提供了強大算法，這三者之間存在著不可分割的“親緣”關繫。
從細節來看，每一個領域都有復雜的邏輯和豐富的內涵。如果要將這三門技術融合在一起，需要有比較扎實的技術功底和充裕的時間。因此本書的目標是盡可能讓讀者用的成本，盡快掌握相關技術，緊跟時代步伐，早日投身新基建。
這本書的特點是什麼？
本書力求簡單、實用，堅持以實例為主，理論為輔。
全書分為五篇，從大數據的基本概念與產業應用入手，然後介紹將大數據平臺容器化的工具Docker 與 Kubernetes，之後講解大數據常用的組件：Hadoop、HBase、Hive、Spark，後引入了對數據進行挖掘的機器學習庫 scikit-learn 和 Spark MLlib。
隨著人工智能的快速發展，神經網絡及相關的開發工具也愈發強大，因此在了解機器學習後，本書又引入了能解決更復雜問題，但操作又比較簡單的深度學習框架 TensorFlow。掌握TensorFlow，既彌補了 Spark、scikit-learn 的不足，又能應對更困難的場景。
本書沒有高深的理論，每一章都以實例為主，讀者通過參考源代碼，修改實例，就能得到自己想要的結果，讓讀者看得懂、學得會、做得出。
本書大多數章節都包含實訓模塊，讓讀者在學完該章節的知識後能夠舉一反三，學以致用。
通過這本書能學到什麼？
1. 數據分析理論基礎：了解大數據的特征、大數據分析目標如何確立、大數據項目開發流程、機器學習開發過程。
2. 大數據平臺容器化：掌握 Docker、Kubernetes 的安裝方法；掌握基於 Docker 容器的集群部署方法；掌握 Kubernetes 的集群部署方法。
3. 數據分析：理解分布式存儲原理、分布式計算原理及分布式資源調度原理，掌握 Hadoop、HBase、Hive、Spark、scikit-learn、TensorFlow 數據分析技術。
4. 掌握架構設計與實施技能：能設計不同場景下的項目架構，並做好不同業務下的數據建模。
5. 項目開發：熟練使用 Python 語言，綜合運用各類組件，獨立完成項目開發。掌握基本的機器學習、人工智能開發技術。
2
本書的核心組件版本和閱讀時的注意事項
1. 核心組件版本
Python：Anaconda 3 Python 3.7 版本
CentOS：7.5
Hadoop：3.1.3
HBase：2.2.2
Hive：3.1.1
Spark：2.4.4
scikit-learn：0.22
TensorFlow：2.1.0
其中，Hadoop、HBase、Hive、Spark 安裝過程相對復雜，版本不匹配容易出錯，建議讀者使用與本書一致的版本，待精通大數據平臺知識之後，再選擇其他版本。另外 TensorFlow 1.x 與TensorFlow 2.x 版本存在巨大差異，使用 TensorFlow 2.x 將會成為流行趨勢，建議讀者使用 2.x 版本。
2. 注意事項
在實訓板塊，建議讀者根據主題回顧小節內容，思考後再設計自己的實現方案，並與書中的實現方式進行對比，以便取得更好的學習效果。
除了書，您還能得到什麼？
1. 贈送案例源代碼。提供書中相關案例的源代碼，方便讀者學習參考。
2. 贈送 50 道 Python 面試題及答案，幫助讀者提高面試成功率。
3. 贈送職場高效學習資源大禮包，包括《微信高手技巧隨身查》《QQ 高手技巧隨身查》《手機辦公 10 招就夠》等電子書，以及“5 分鐘學會番茄工作法”“10 招精通超級時間整理術”視頻教程，讓您輕松應對職場那些事兒。
感謝胡子平老師及北京大學出版社的各位編輯在本書的內容策劃、設計和審核上給我的幫助。在本書的編寫過程中，我竭盡所能地為讀者呈現好、全面、實用的內容，但仍難免有疏漏之處，敬請廣大讀者不吝指正。

在線試讀

Kubernetes 基本對像
Kubernetes 對像是 Kubernetes 繫統中的持久性實體。Kubernetes 使用這些實體來表示集群的狀態。具體來說，它們可以描述以下內容。
（1）哪些容器化應用程序正在運行及在哪些節點上運行。
（2）這些應用程序可用的資源有哪些。
（3）有關這些應用程序行為的策略，如重新啟動策略，升級和容錯策略。
（4）對像創建後，Kubernetes 繫統將持續運行以確保該對像存在並且按預定方式運行。
這裡主要介紹 Kubernetes 基本對像。
1. Pod
Pod 是 Kubernetes 應用程序的基本，是用戶創建或部署的 Kubernetes 對像模型中小和簡。Pod 表示在集群上運行的進程。Pod 封裝了應用程序的容器、存儲資源、的網絡 IP 和控制容器運行方式的配置。Pod 表示部署的單位，它是 Kubernetes 中應用程序的單個實例。
Pod 可由單個容器或緊密耦合並共享資源的少量容器組成。
Docker 是 Kubernetes Pod 中常用的容器運行時，而且 Pod 也支持其他容器運行時，如containerd、cri-O、rktlet 以及任何實現了 CRI （Container Runtime Interface，容器運行時接口）的容器。
Kubernetes 集群中的 Pod 可以通過以下兩種方式使用。
（1）一個 Pod 運行一個容器
“一個 Pod 對應一個容器”的模型是常見的 Kubernetes 用法。在這種情況下，用戶可以將Pod 視為單個容器的包裝，Kubernetes 則直接管理 Pod，而不是直接管理容器。
（2）一個 Pod 運行多個容器

Kubernetes 基本對像
Kubernetes 對像是 Kubernetes 繫統中的持久性實體。Kubernetes 使用這些實體來表示集群的狀態。具體來說，它們可以描述以下內容。
（1）哪些容器化應用程序正在運行及在哪些節點上運行。
（2）這些應用程序可用的資源有哪些。
（3）有關這些應用程序行為的策略，如重新啟動策略，升級和容錯策略。
（4）對像創建後，Kubernetes 繫統將持續運行以確保該對像存在並且按預定方式運行。
這裡主要介紹 Kubernetes 基本對像。
1. Pod
Pod 是 Kubernetes 應用程序的基本，是用戶創建或部署的 Kubernetes 對像模型中小和簡。Pod 表示在集群上運行的進程。Pod 封裝了應用程序的容器、存儲資源、的網絡 IP 和控制容器運行方式的配置。Pod 表示部署的單位，它是 Kubernetes 中應用程序的單個實例。
Pod 可由單個容器或緊密耦合並共享資源的少量容器組成。
Docker 是 Kubernetes Pod 中常用的容器運行時，而且 Pod 也支持其他容器運行時，如containerd、cri-O、rktlet 以及任何實現了 CRI （Container Runtime Interface，容器運行時接口）的容器。
Kubernetes 集群中的 Pod 可以通過以下兩種方式使用。
（1）一個 Pod 運行一個容器
“一個 Pod 對應一個容器”的模型是常見的 Kubernetes 用法。在這種情況下，用戶可以將Pod 視為單個容器的包裝，Kubernetes 則直接管理 Pod，而不是直接管理容器。
（2）一個 Pod 運行多個容器
一個 Pod 封裝了一個應用程序，該程序由緊密耦合且需要共享資源的多個位於同一地點的容器組成。此時一個 Pod 會運行多個容器，如圖 3-2 所示。該 Pod 包含兩個容器：File Puller 和 WebServer。File Puller 容器負責從遠程數據源更新文件並將文件存入共享卷中，然後 Web Server 容器
從共享卷中獲取數據，並反饋給 Consumers。另外，在網絡資源方面，每個 Pod 分配有一個的 IP 地址。Pod 中的每個容器都共享網絡名稱空間，包括 IP 地址和網絡端口。Pod 中的容器可以使用 localhost 相互通信。
在數據存儲方面，每個 Pod 可以指定一組共享存儲卷。Pod 中的所有容器都可以訪問共享卷，從而使這些容器可以共享數據。共享存儲卷還允許 Pod 中的持久數據保留下來，以防其中的容器需要重新啟動。
2. Service
Pod 會經歷一個生命周期，能被創建，自然也能被銷毀。如果一個 Pod 正在對外提供服務，但是被銷毀掉了，應用程序就需要重新部署。此時新創建的 Pod IP 地址就可能改變，那麼就需要建立一種機制，使客戶端感知不到後端 Pod 的變化。
Kubernetes 提供了一種名為“服務”的抽像來解決以上問題。服務定義了 Pods（多個 Pod）的邏輯集合及訪問它們的策略（有時將此模式稱為微服務）。
3. Volume
容器中的磁盤文件是臨時的。當容器崩潰時，kubelet 將重新啟動它，這會使容器以“干淨”的狀態啟動，容器內的文件將丟失。另外在 Pod 中同時運行多個容器時，通常有必要在這些容器之間共享文件。Kubernetes 提供了 Volume 抽像解決了這兩個問題。
Kubernetes 卷具有明確的生存期，這與封裝它的 Pod 相同。容器運行在 Pod 中，Pod 的生命周期比容器的生命周期長。卷的壽命超過了在 Pod 中運行的所有容器的壽命，並且在容器重新啟動時保留了數據。Kubernetes 支持多種類型的卷，並且 Pod 可以同時使用任意數量的卷。
卷的核心隻是一個目錄，其中可能包含一些數據，Pod中的容器可以訪問該目錄。至於如何訪問，取決於卷的類型。容器中的進程可以看到由其 Docker 鏡像和卷組成的文件繫統視圖。Docker 鏡像位於文件繫統層次結構的根目錄中，所有卷均安裝在鏡像中的指定路徑上。卷不能裝載到其他卷上，也不能有到其他卷的硬鏈接。Pod 中的每個容器必須獨立指定每個卷的安裝位置。
4. Namespaces
Kubernetes 支持在同一物理集群上構建多個虛擬集群，這些虛擬集群被稱為名稱空間。
Kubernetes 擁有 4 個初始的名稱空間。
（1）default：是沒有其他名稱空間對像的默認名稱空間，即在創建對像時，沒有指定其他名稱空間，則自動將對像劃分到 default 空間下。
（2）kube-system：Kubernetes 繫統創建對像的名稱空間。
（3）kube-public：此名稱空間主要留給集群使用，對所有用戶（包括未經身份驗證的用戶）可讀，以防某些資源在整個集群中公開可見。
（4）kube-node-lease：Kubernetes 通過發送心跳來確定節點的可用性。當集群在擴展時，為了提高節點心跳的性能，就會更新 lease 對像，與每個節點關聯的 lease 對像都會放在 kube-node-lease名稱空間中。實際上，名稱空間的作用就是做資源隔離

商品搜索

商品分类

【醫學】

【各大出版社】