第1章大數據

1.1大數據概述

1.1.1大數據介紹

1.1.2大數據的特征

1.1.3大數據技術基礎

1.1.4大數據應用

1.2大數據的意義

1.2.1大數據的國家戰略意義

1.2.2大數據的企業意義

1.2.3我國大數據市場的預測

1.3大數據的產業鏈分析

1.3.1技術分析

1.3.2運營分析

1.4本章小結

1.5實訓

習題

第2章爬蟲與大數據

2.1爬蟲概述

2.1.1爬蟲介紹

2.1.2爬蟲的地位與作用

2.2Python介紹

2.2.1Python開發環境的搭建

2.2.2編寫Python程序

2.2.3Python數據類型

2.3爬蟲相關知識

2.3.1了解網頁結構

2.3.2Python與爬蟲

2.3.3基礎爬蟲框架

2.3.4正則表達式

2.4利用爬蟲抓取網頁內容

2.4.1觀察與分析頁面

2.4.2抓取過程分析

2.4.3獲取頁面內容

2.5本章小結

2.6實訓

習題

第3章Scrapy爬蟲

3.1Scrapy爬蟲概述

3.2Scrapy原理

3.2.1Scrapy框架的架構

3.2.2Request對像和Response對像

3.2.3Select對像

3.2.4Spider開發流程

3.3Scrapy的開發與實現

3.3.1Scrapy爬蟲的開發流程

3.3.2創建Scrapy項目並查看結構

3.3.3編寫代碼並運行爬蟲

3.4本章小結

3.5實訓

習題

第4章數據庫連接與查詢

4.1數據庫

4.1.1數據庫概述

4.1.2關繫數據庫設計

4.2MySQL數據庫

4.2.1MySQL數據庫概述

4.2.2MySQL數據庫的下載、安裝與運行

4.2.3MySQL數據庫命令行入門

4.3使用Python操作MySQL數據庫

4.3.1pymysql的安裝與使用

4.3.2使用Python連接MySQL數據庫

4.4本章小結

4.5實訓

習題

第5章數據可視化基礎與應用

5.1數據可視化

5.1.1數據可視化概述

5.1.2數據可視化工具

5.1.3數據可視化圖表

5.2matplotlib可視化基礎

5.2.1numpy庫

5.2.2matplotlib的認識與安裝

5.2.3matplotlib測試

5.2.4matplotlib.pyplot庫

5.3matplotlib可視化繪圖

5.3.1繪制線性圖形

5.3.2繪制柱狀圖

5.3.3繪制直方圖

5.3.4繪制散點圖

5.3.5繪制極坐標圖

5.3.6繪制餅圖

5.4pyecharts可視化應用

5.5本章小結

5.6實訓

習題

第6章大數據存儲與清洗

6.1大數據存儲

6.2數據清洗

6.2.1數據清洗概述

6.2.2數據清洗的原理

6.2.3數據清洗的流程

6.2.4數據清洗的工具

6.3數據標準化

6.3.1數據標準化的概念

6.3.2數據標準化的方法

6.3.3數據標準化的實例

6.4本章小結

6.5實訓

習題

第7章數據格式與編碼技術

7.1文件格式

7.2數據類型與編碼

7.2.1數據類型概述

7.2.2字符編碼

7.2.3數據轉換

7.3Kettle數據清洗與轉換工具的使用

7.3.1Kettle概述

7.3.2Kettle的安裝與使用

7.4CSV格式的數據轉換

7.4.1CSV格式概述

7.4.2CSV與JSON文件的轉換

7.5本章小結

7.6實訓

習題

第8章數據抽取與采集

8.1數據抽取

8.2文本抽取與實現

8.2.1文本文件的抽取

8.2.2CSV文件的抽取

8.2.3JSON文件的抽取

8.3網頁數據抽取與實現

8.3.1網頁數據抽取

8.3.2Excel抽取網頁數據

8.3.3Kettle抽取網頁數據

8.4數據采集與實現

8.5本章小結

8.6實訓

習題

第9章pandas數據分析與清洗

9.1認識pandas

9.2pandas的語法與使用

9.3pandas讀取與清洗數據

9.3.1數據準備

9.3.2從CSV中讀取數據

9.3.3pandas數據清洗

9.4pandas數據可視化

9.4.1pandas繪圖概述

9.4.2pandas繪圖方法

9.5本章小結

9.6實訓

習題

第10章綜合實訓

10.1數據清洗實訓

10.1.1使用Kettle對生成的隨機數實現字段選擇

10.1.2使用Kettle連接不同的數據表

10.1.3使用Kettle過濾數據表

10.1.4使用Kettle連接MySQL數據庫並輸出查詢結果

10.2數據分析實訓

10.3本章小結

習題

參考文獻

本書第1版自2020年1月由清華大學出版社出版以來，被國內多所院校選為教材，深受師生好評，教學成果顯著。此次改版在第1版的基礎上增加了許多新的大數據技術，使得本書能夠緊跟大數據的發展潮流。
大數據是現代社會高科技發展的產物，相對於傳統的數據分析，大數據是海量數據的集合，它以采集、整理、存儲、挖掘、共享、分析、應用、清洗為核心，正廣泛地應用在軍事、金融、環境保護、通信等各個行業中。
當前，發展大數據已經成為國家戰略，大數據在引領經濟社會發展中的新引擎作用更加明顯。2014年“大數據”首次出現在我國的《政府工作報告》中。報告中說道，要設立新興產業創業創新平臺，在大數據等方面趕超先進，引領未來產業發展。“大數據”概念逐漸在國內成為熱議的詞彙。2015年國務院正式印發《促進大數據發展行動綱要》，《綱要》明確指出要不斷地推動大數據發展和應用，在未來打造精準治理、多方協作的社會治理新模式，建立運行平穩、安全高效的經濟運行新機制，構建以人為本、惠及全民的民生服務新體繫，開啟大眾創業、萬眾創新的創新驅動新格局，培育高端智能、新興繁榮的產業發展新生態。

本書共10章，主要包括大數據概述、爬蟲和大數據相關技術、Scrapy爬蟲、Python與MySQL數據庫連接與查詢、數據可視化基礎與應用、大數據存儲與清洗、數據格式與編碼技術、數據抽取與采集、pandas數據分析與清洗以及綜合實訓。
本書特色如下: 
（1） 采用“理實一體化”教學方式，課堂上既有老師的講述又有學生獨立思考、上機操作的內容。
（2） 緊跟時代潮流，注重技術變化，書中包含了的大數據分析知識及一些開源庫的使用。建議讀者在閱讀本書時使用Python 3.7以上版本，並提前安裝好所需要的擴展庫（如requests、Scrapy、numpy、pandas、matplotlib等）。此外，讀者在閱讀本書時還需安裝MySQL以及Kettle等相關軟件。
（3） 編寫本書的教師都具有多年的教學經驗，書中內容重難點突出，能夠激發學生的學習熱情。
（4） 配套資源豐富，包含教學大綱、教學課件、電子教案、習題答案、程序源碼、在線作業、微課視頻等多種教學資源。

資源下載提示

課件等資源： 掃描封底的“課件下載”二維碼，在公眾號“書圈”下載。

素材（源碼）等資源： 掃描目錄上方的二維碼下載。

在線作業： 掃描封底的作業繫統二維碼，登錄網站在線做題及查看答案。

視頻等資源： 掃描封底的文泉雲盤防盜碼，再掃描書中相應章節中的二維碼，可以在線學習。

本書可作為高等院校大數據專業、人工智能專業、軟件技術專業、雲計算專業、計算機網絡專業的專業課教材，也可作為大數據愛好者的參考書。
本書建議學時為80學時，具體分布如下表所示: 

章節建 議 學 時
大數據4
爬蟲與大數據12
Scrapy爬蟲8
數據庫連接與查詢6
數據可視化基礎與應用10
大數據存儲與清洗6
數據格式與編碼技術6
數據抽取與采集12
pandas數據分析與清洗12
綜合實訓4

本書由黃源、蔣文豪、龍穎編著。其中，黃源編寫了第1章、第3章、第4章、第6~10章； 蔣文豪編寫了第2章； 龍穎編寫了第5章。全書由黃源負責統稿工作。
在本書的編寫過程中，編者得到了中國電信金融行業信息化應用重慶基地總經理助理楊琛的大力支持，同時清華大學出版社的魏江江分社長和王冰飛編輯為本書的出版做了大量的工作，在此一並表示感謝。
由於編者水平有限，書中難免出現疏漏之處，衷心希望廣大讀者批評指正。
編者
2022年7月於重慶