了得網研究生_PySpark大數據分析與應用

商品搜索

类别：

关键字：

商品分类

　研究生
　 工学
　 公共课
　 经济管理
　 理学
　 农学
　 文法类
　 医学

　音乐
　 音乐理论

　声乐　通俗音乐　音乐欣赏　钢琴　二胡　小提琴

PySpark大數據分析與應用
該商品所屬分類：研究生 -> 工學
【市場價】	347-502元
【優惠價】	217-314元
【作者】	戴剛，張良均
【所屬類別】	圖書教材研究生/本科/專科教材工學
【出版社】	人民郵電出版社
【ISBN】	9787115634900
【折扣說明】	一次購物滿999元台幣免運費+贈品一次購物滿2000元台幣95折+免運費+贈品一次購物滿3000元台幣92折+免運費+贈品一次購物滿4000元台幣88折+免運費+贈品
【本期贈品】	①優質無紡布環保袋，做工棒！②品牌簽字筆 ③品牌手帕紙巾

版本	正版全新電子版PDF檔
您已选择：	正版全新
溫馨提示：如果有多種選項，請先選擇再點擊加入購物車。 . 電子圖書價格是0.69折，例如了得網價格是100元，電子書pdf的價格則是69元。 . 購買電子書不支持貨到付款，購買時選擇atm或者超商、PayPal付款。付款後1-24小時內通過郵件傳輸給您。 *. 如果收到的電子書不滿意，可以聯絡我們退款。謝謝。

內容介紹

開本：128開

紙張：膠版紙

包裝：平裝

是否套裝：否

國際標準書號ISBN：9787115634900

叢書名：大數據技術精品繫列教材

作者：戴剛，張良均

出版社：人民郵電出版社

出版時間：2024年04月

編輯推薦

1.理論敘述由淺入深，循序漸進，表達通俗易懂。本書的知識點章節從基本概念入手，介紹相關的基礎理論，並結合介紹的知識點進行操作實踐，再通過應用實例介紹如何運用具體方法解決實際問題。
2.強化基礎，突出知識的應用性。結合高校教學特點和學生的情況，突出PySpark大數據分析的重點內容，強調PySpark在實際問題中的應用性，充分體現了理論知識與應用的緊密結合。
3.從實踐出發，重點突出可操作性。本書從構建PySpark的開發環境入手，詳細介紹了單機模式的PySpark開發環境搭建（基於Windows繫統搭建，搭建過程簡單，易於操作）和分布式模式的PySpark開發環境搭建（基於Linux繫統搭建，貼近實際應用場景，處理高效），幫助讀者構建一個可操作的實踐環境，實踐本書各章節的內容。且本書大部分章節附有實訓和課後習題，便於讀者進行上機實驗，鞏固所學知識，真正理解並應用所學知識。
4.通過典型的案例完整展示PySpark數據分析的過程，強化知識的實際應用。本書最後介紹了兩個案例，以應用為導向，從需求分析入手，再設計解決方案，最終運用所需知識實現基於PySpark的數據分析過程。
5.體現思政育人。本書不僅注重培養學生分析處理數據的能力，運用數據分析理論與方法解決實際問題的實踐能力；同時注重課程內容與思政教育的有機融合，潛移默化中引領學生樹立和踐行社會主義核心價值觀，建立正確的三觀，培養擁有正確政治方向的四有青年。

內容簡介

本書以Python作為開發語言，繫統介紹PySpark開發環境搭建流程及基於PySpark進行大數據分析的相關知識。本書條理清晰、重點突出，理論敘述循序漸進、由淺入深。本書共7章，第1?5章包括PySpark 大數據分析概述、PySpark安裝配置、基於PySpark的DataFrame操作、基於PySpark的流式數據處理、基於PySpark的機器學習庫，內容介紹注重理論與實踐相結合，通過典型示例強化PySpark在大數據分析中的實際應用；第6、7章通過基於PySpark的網絡招聘信息的職業類型劃分和基於PySpark的信用貸款風險分析兩個完整的案例實戰，結合前5章的PySpark編程知識，實現完整的大數據分析過程。本書大部分章包含實訓和課後習題，讀者通過練習和操作實踐，能夠鞏固所學的內容。
本書可作為高校數據科學或大數據相關專業的教材，也可作為機器學習愛好者的自學用書。

作者簡介

戴剛，重慶大學計算機科學與技術博士，美國匹茲堡大學訪問學者，重慶交通大學經濟與管理學院副教授，碩士生導師。主持1項產學研合作項目，主研國家自然科學基金2項，國家科技支持計劃1項目，中國移動（重慶分公司）科技公關項目1項，省部級科研項目2項，在國際期刊、國際會議及國內權威學術期刊發辮學術論文7篇。熟悉Java、Python、大數據及相關軟件架構，具有豐富的軟件開發經驗。從事教育教學工作十多年，有扎實的專業素養和豐富的教學經驗。

第 1章PySpark大數據分析概述 1
1.1大數據分析概述1
1.1.1大數據的概念2
1.1.2大數據分析的概念3
1.1.3大數據分析的流程4
1.1.4大數據分析的應用場景6
1.1.5大數據技術體繫6
1.2Spark大數據技術框架10
1.2.1Spark 簡介10
1.2.2Spark 特點11
1.2.3Spark運行架構與流程11
1.2.4Spark RDD14
1.2.5Spark 生態圈20
1.3PySpark大數據分析21

第2章 PySpark安裝配置27
2.1搭建單機模式的PySpark開發
環境28
2.1.1安裝 JDK28
2.1.2安裝 Anaconda28
2.1.3安裝 Hadoop30
2.1.4安裝 MySQL36
2.1.5安裝 Hive37
2.1.6配置 PySpark 模塊43
2.1.7運行 Jupyter Notebook44
2.2搭建分布式模式的PySpark開發
環境45
2.2.1安裝配置虛擬機46
2.2.2安裝 Java53
2.2.3搭建Hadoop分布式集群58
2.2.4安裝MySQL數據庫62
2.2.5安裝Hive數據倉庫工具63
2.2.6搭建Spark完全分布式集群66
2.2.7安裝 PyCham69
2.2.8安裝Python解釋器及PySpark 模塊69
2.3Python函數式編程69
2.3.1Python常用數據結構70
2.3.2Python函數式編程基礎75
小結76
課後習題76

第3 章基於 PySpark 的 DataFrame 操作78
3.1Spark SQL 概述78
3.1.1Spark SQL起源與發展歷程79
3.1.2Spark SQL 主要功能79
3.1.3Spark SQL數據核心抽像 DataFrame80
3.2pyspark.sql 模塊82
3.2.1pyspark. sql 模塊簡介82
3.2.2pyspark. sql 模塊核心類83
3.3DataFrame 基礎操作85
3.3.1創建 DataFrame 對像86
332DataFrame 操作93
3.3.3DataFrame 輸出操作113
小結114
實訓114
實訓1網站搜索熱詞統計分析114
實訓2大數據崗位招聘信息統計分析…115
課後習題116

第4章基於PySpark的流式數據
處理118
4.1Spark Streaming 概述119
4.1.1流計算簡介119
4.1.2Spark Streaming 基本概念121
4.1.3Spark Streaming 工作原理121
4.1.4Spark Streaming 運行機制122
4.2pyspark.streaming 模塊123
4.2.1pyspark. streaming 模塊簡介123
4.2.2pyspark. streaming 模塊核心類124
4.2.3DStream 基礎操作126
4.3Structured Streaming 結構化流處理146
4.3.1Structured Streaming 概述146
4.3.2Structured Streaming 編程模型147
4.3.3Structured Streaming 基礎操作148
4.3.4Structured Streaming 編程步驟152
小結155
實訓155
實訓1使用SparkStreaming實現菜品價格
實時計算155
實訓2使用SparkStreaming實時判別車輛所屬地156
課後習題156

第5章基於PySpark的機器
學習庫158
5.1MLlib 算法159
5.1.1機器學習159
5.1.2MLlib159
5.1.3pyspark.ml 模塊159
5.2使用pyspark.ml模塊的轉換器處理
和轉換數據162
5.2.1數據加載及數據集劃分162
5.2.2數據降維164
5.2.3數據標準化166
5.2.4數據類型轉換171
5.3pyspark.ml模塊的評估器和模型評估175
5.3.1使用PySpark構建並評估分類模型175
5.3.2使用PySpark構建並評估回歸模型182
5.3.3使用PySpark構建並評估聚類模型186
5.3.4使用PySpark構建並評估智能推薦
模型189
小結195
實訓195
實訓1使用隨機森林模型預測是否批準用戶申請195
實訓2使用回歸模型實現房價預測………196
課後習題197

第6章案例分析：基於PySpark的網絡招聘信息的職業類型劃分 ……199
6.1需求與架構分析200
6.1.1業務需求分析與技術選型200
6.1.2繫統架構分析200
6.2數據探索201
6.2.1數據說明202
6.2.2數據讀取202
6.2.3重復數據與空值探索204
6.2.4異常數據探索205
6.3數據預處理207
6.3.1數據清洗207
6.3.2中文分詞與去停用詞208
6.3.3詞特征向量化210
6.4模型構建與評估213
6.4.1LDA算法簡介214
6.4.2LDA模型構建與評估215
6.4.3構建LDA模型217
6.5制作詞雲圖220
小結225

第7章案例分析：基於PySpark的
信用貸款風險分析226
7.1需求與架構分析227
7.1.1業務需求分析227
7.1.2繫統架構分析227
7.2數據探索228
7.2.1數據說明228
7.2.2建立數據倉庫並導入數據230
7.2.3用戶信息完善情況與逾期率的關繫
探索233
7.2.4用戶信息修改情況與逾期率的關繫
探索236
7.2.5用戶借款月份與逾期率的關繫
探索240
7.3數據預處理243
7.3.1計算用戶信息缺失個數及借款月份
構建新特征243
7.3.2用戶更新信息重建245
7.3.3用戶登錄信息重建250
7.3.4分類數據預處理255
7.3.5字符串字段編碼處理259
7.3.6分類數據重編碼263
7.3.7缺失值處理265
7.4模型構建與評估267
7.4.1了解 GBTs 算法267
7.4.2構建 GBTs 模型268
7.4.3評估 GBTs 模型271
7.5部署和提交PySpark應用程序…271
7.5.1打包PySpark應用程序271
7.5.2提交PySpark應用程序274
小結275
參考文獻276

網友評論我們期待著您對此商品發表評論

相關商品

商品搜索

商品分类

【醫學】

【各大出版社】