●第1 章 Python 基礎 ..................................................................................... 11.1 安裝Python 環境.............................................................................................................. 11.1.1 Python 3.6.2 安裝與配置 .......................................................................................... 11.1.2 使用IDE 工具――PyCharm .................................................................................... 41.1.3 使用IDE 工具――Anaconda ................................................................................... 41.2 Python 操作入門 .............................................................................................................. 61.2.1 編寫第一個Python 代碼 .......................................................................................... 61.2.2 Python 基本操作 ....................................................................................................... 91.2.3 變量 .......................................................................................................................... 101.3 Python 數據類型 ............................................................................................................ 101.3.1 數字 .......................................................................................................................... 101.3.2 字符串 .......................................................................................................................111.3.3 列表 .......................................................................................................................... 131.3組 .......................................................................................................................... 141.3.5 集合 .......................................................................................................................... 151.3.6 字典 .......................................................................................................................... 151.4 Python 語句與函數 ......................................................................................................... 161.4.1 條件語句 .................................................................................................................. 161.4.2 循環語句 .................................................................................................................. 161.4.3 函數 .......................................................................................................................... 17第2 章 寫一個簡單的爬蟲 .......................................................................... 182.1 關於爬蟲的合法性 ......................................................................................................... 182.2 了解網頁 ......................................................................................................................... 202.2.1 認識網頁結構 .......................................................................................................... 212.2.2 寫一個簡單的HTML ............................................................................................. 212.3 使用requests 庫請求網站 .............................................................................................. 23Python 3 爬蟲、數據清洗與可視化實戰2.3.1 安裝requests 庫 ....................................................................................................... 232.3.2 爬蟲的基本原理 ...................................................................................................... 252.3.3 使用GET 方式抓取數據 ........................................................................................ 262.3.4 使用 T 方式抓取數據 ...................................................................................... 272.4 使用Beautiful Soup 解析網頁 ....................................................................................... 302.5 清洗和組織數據 ............................................................................................................. 342.6 爬蟲攻防戰 ..................................................................................................................... 35第3 章 用API 爬取天氣預報數據 ............................................................... 383.1 注冊免費API 和閱讀技術文檔 ..................................................................................... 383.2 獲取API 數據 ................................................................................................................ 403.3 存儲數據到MongoDB ................................................................................................... 453.3.1 下載並安裝MongoDB ............................................................................................ 453.3.2 在PyCharm 中安裝Mongo Plugin ......................................................................... 463.3.3 將數據存入MongoDB ............................................................................................ 493.4 MongoDB 數據庫查詢 ................................................................................................... 52第4 章 大型爬蟲案例：抓取某電商網站的商品數據 ................................... 554.1 觀察頁面特征和解析數據 ............................................................................................. 554.2 工作流程分析 ................................................................................................................. 644.3 構建類目樹 ..................................................................................................................... 654.4 獲取產品列表 ................................................................................................................. 684.5 代碼優化 ......................................................................................................................... 704.6 爬蟲效率優化 ................................................................................................................. 744.7 容錯處理 ......................................................................................................................... 77第5 章 Scrapy 爬蟲 ................................................................................... 785.1 Scrapy 簡介 ..................................................................................................................... 785.2 Scrapy 安裝 ..................................................................................................................... 795.3 案例：用Scrapy 抓取股票行情 .................................................................................... 80第6 章 Selenium爬蟲 ................................................................................ 886.1 Selenium 簡介 ................................................................................................................. 886.2 案例：用Selenium 抓取電商網站數據 ........................................................................ 90第7 章 數據庫連接和查詢 ........................................................................ 1007.1 使用PyMySQL ............................................................................................................ 1007.1.1 連接數據庫 ............................................................................................................ 1007.1.2 案例：某電商網站女裝行業TOP100 銷量數據 ................................................. 1027.2 使用SQLAlchemy ........................................................................................................ 1047.2.1 SQLAlchemy 基本介紹 ......................................................................................... 1047.2.2 SQLAlchemy 基本語法 ......................................................................................... 1057.3 MongoDB ...................................................................................................................... 1077.3.1 MongoDB 基本語法 .............................................................................................. 1077.3.2 案例：在某電商網站搜索“連衣裙”的商品數據 ............................................ 107第8 章 NumPy ......................................................................................... 1098.1 NumPy 簡介 .................................................................................................................. 1098.2 一維數組 ........................................................................................................................1108.2.1 數組與列表的異同 .................................................................................................1108.2.2 數組的創建 ............................................................................................................. 1118.3 多維數組 ........................................................................................................................ 1118.3.1 多維數組的高效性能 .............................................................................................1128.3.2 多維數組的索引與切片 .........................................................................................1138.3.3 多維數組的屬性 .....................................................................................................1138.4 數組的運算 ....................................................................................................................115第9 章 pandas 數據清洗 .......................................................................... 1179.1 數據讀寫、選擇、整理和描述 ....................................................................................1179.1.1 從CSV 中讀取數據 ...............................................................................................1199.1.2 向CSV 寫入數據 .................................................................................................. 1209.1.3 數據選擇 ................................................................................................................ 1209.1.4 數據整理 ................................................................................................................ 1229.1.5 數據描述 ................................................................................................................ 1239.2 數據分組、分割、合並和變形 ................................................................................... 1249.2.1 數據分組 ................................................................................................................ 1249.2.2 數據分割 ................................................................................................................ 1279.2.3 數據合並 ................................................................................................................ 1289.2.4 數據變形 ................................................................................................................ 1349.2.5 案例：旅遊數據的分析與變形 ............................................................................ 136Python 3 爬蟲、數據清洗與可視化實戰9.3 缺失值、異常值和重復值處理 ................................................................................... 1409.3.1 缺失值處理 ............................................................................................................ 1409.3.2 檢測和過濾異常值 ................................................................................................ 1449.3.3 移除重復數據 ........................................................................................................ 1479.3.4 案例：旅遊數據的值檢查與處理 ........................................................................ 1499.4 時序數據處理 ............................................................................................................... 1529.4.1 日期/時間數據轉換 ............................................................................................... 1529.4.2 時序數據基礎操作 ................................................................................................ 1539.4.3 案例：天氣數據分析與處理 ................................................................................ 1559.5 數據類型轉換 ............................................................................................................... 1589.6 正則表達式 ................................................................................................................... 1609.6字符與限定符 .................................................................................................... 1619.6.2 案例：用正則表達式提取網頁文本信息 ............................................................ 162第10 章 綜合應用實例 ............................................................................. 16410.1 按 給用戶推薦旅遊產品 ................................................................................. 16410.1.1 數據采集 .............................................................................................................. 16510.1.2 數據清洗、建模 .................................................................................................. 16910.2 通過熱力圖分析為用戶提供出行建議 ..................................................................... 17210.2.1 某旅遊網站熱門景點爬蟲代碼（qunaer_sights.py） ....................................... 17510.2.2 提取CSV 文件中經緯度和銷量信息 ................................................................ 17810.2.3 創建景點門票銷量熱力地圖HTML 文件 ......................................................... 179第11 章 數據可視化 ................................................................................. 18211.1 matplotlib .................................................................................................................... 18311.1.1 畫出各省份平均價格、各省份平均成交量柱狀圖 .......................................... 18311.1.2 畫出各省份平均成交量折線圖、柱狀圖、箱形圖和餅圖 .............................. 18411.1.3 畫出價格與成交量的散點圖 .............................................................................. 18511.2 pyecharts ...................................................................................................................... 18611.2.1 Echarts 簡介 ......................................................................................................... 18611.2.2 pyecharts 簡介 ..................................................................................................... 18711.2.3 初識pyecharts，玫瑰相送 .................................................................................. 18711.2.4 pyecharts 基本語法 .............................................................................................. 18811.2.5 基於商業分析的pyecharts 圖表繪制 ................................................................. 19011.2.6 使用pyecharts 繪制其他圖表 ............................................................................. 19911.2.7 pyecharts 和Jupyter ............................................................................................. 203

本書內容來自筆者在浙江某高校授課內容，主要介紹運用Python工具獲取電商平臺的頁面數據，並對數據做清洗和存儲。本書簡化了Python基礎部分，保證有足夠的篇幅來介紹爬蟲和數據清洗的內容，對於Python基礎，建議新手可以選購對應的基礎書籍配合本書一起學習。

零一//韓要賓//黃園園 著作