內容簡介

本書是一本繫統、全面地介紹Python網絡爬蟲的實戰寶典。作者融合自己豐富的工程實踐經驗，緊密結合演示應用案例，內容覆蓋了幾乎所有網絡爬蟲涉及的核心技術。在內容編排上，一步步地剖析算法背後的概念與原理，提供大量簡潔的代碼實現，助你從零基礎開始編程實現深度學習算法。
全書按照學習爬蟲所涉及的核心技術從易到難，再到應用的順序分為14章。*1章介紹Python的安裝配置和基礎語法。 *2章介紹爬蟲類型、抓取策略以及網絡基礎知識。第3章介紹Python常用庫。第4章介紹正則表達式的語法、匹配規則。第5章講解PIL庫、Tesseract庫和TensorFlow庫的語法、類型和識別方法。第6章介紹抓包利器Fiddler。第7章介紹數據存儲。第8章介紹Scrapy爬蟲框架。第9章介紹多線程爬蟲。*10章介紹動態wangye爬蟲。*11章介紹分布式爬蟲。*12章介紹電商wangzhan商品信息爬蟲項目。*13章介紹生活娛樂點評類信息爬蟲。*14章介紹圖片信息類爬蟲項目。

  目錄

  前言
*1章 Python環境搭建及基礎學習1
1.1 Python 3.6的安裝與配置1
1.1.1 Windows下的安裝1
1.1.2 Linux下的安裝5
1.1.3 macOS下的安裝6
1.2 IDE工具：PyCharm的安裝7
1.3 基礎語法11
1.3.1 *一個Python程序11
1.3.2 Python命名規範13
1.3.3 行和縮進15
1.3.4 注釋和續行15
1.3.5 Python輸出16
1.4 字符串18
1.4.1 字符串運算符18
1.4.2 字符串內置函數19
1.5 數據結構22
1.5.1 列表22
1.5組25
1.5.3 集合27
1.5.4 字典29
1.6 控制語句31
1.6.1 條件表達式31
1.6.2 選擇結構32
1.6.3 循環結構33
1.7 函數、模塊和包36
1.7.1 函數36
1.7.2 模塊40
1.7.3 包42
1.8 文件的讀寫操作 45
1.8.1 文件讀寫步驟與打開模式46
1.8.2 文件的基本操作48
1.8.3 文件寫入操作52
1.9 面向對像53
1.9.1 類和對像54
1.9.2 封裝性58
1.9.3 繼承性59
1.9.4 多態性60
1.10 本章小結61
練習題61
*2章 爬蟲原理和網絡基礎62
2.1 爬蟲是什麼62
2.2 爬蟲的意義62
2.3 爬蟲的原理64
2.4 爬蟲技術的類型66
2.4.1 聚焦爬蟲技術66
2.4.2 通用爬蟲技術67
2.4.3 增量爬蟲技術69
2.4.4 深層網絡爬蟲技術70
2.5 爬蟲抓取策略71
2.5.1 深度優先遍歷策略 71
2.5.2 廣度優先遍歷策略71
2.5.3 Partial PageRank策略72
2.5.4 大站優先策略72
2.5.5 反向鏈接數策略73
2.5.6 OPIC策略 73
2.6 反爬蟲和反反爬蟲73
2.6.1 反爬蟲73
2.6.2 反反爬蟲77
2.7 網絡基礎79
2.7.1 網絡體繫結構79
2.7.2 網絡協議79
2.7.3 Socket編程86
2.8 本章小結88
練習題88
第3章 Python常用庫89
3.1 Python庫的介紹89
3.1.1 常用標準庫89
3.1.2 安裝使用第三方庫91
3.2 urllib庫92
3.2.1 urlopen()函數用法93
3.2.2 urlretrieve()函數用法95
3.2.3 URL編碼和URL解碼96
3.2.4 urlparse()和urlsplit()函數用法97
3.3 request庫99
3.3.1 request庫的基本使用99
3.3.2 request庫的*級用法109
3.4 lxml庫113
3.4.1 lxml庫的安裝和使用113
3.4.2 XPath介紹114
3.4.3 XPath語法116
3.4.4 lxml和XPath的結合使用119
3.5 Beautiful Soup庫122
3.5.1 Beautiful Soup庫的安裝和使用123
3.5.2 提取數據125
3.5.3 CSS選擇器131
3.6 實戰案例134
3.6.1 使用Beautiful Soup解析wangye134
3.6.2 *公眾號爬蟲135
3.6.3 爬取豆瓣讀書TOP500136
3.6.4 使用urllib庫爬取百度貼吧137
3.7 本章小結139
練習題139
第4章 正則表達式140
4.1 概念介紹140
4.2 正則表達式語法141
4.2.1 正則模式的字符141
4.2.2 運算符優先級142
4.3 匹配規則143
4.3.1 單字符匹配規則143
4.3.2 多字符匹配規則144
4.3.3 邊界匹配146
4.3.4 分組匹配147
4.4 re模塊常用函數150
4.4.1 re.match函數150
4.4.2 re.search函數152
4.4.3 re.compile函數153
4.4.4 re.sub函數155
4.4.5 re.findall函數156
4.4.6 re.finditer函數157
4.4.7 re.split函數157
4.5 本章小結158
練習題158
第5章 驗證碼159
5.1 PIL庫159
5.1.1 PIL庫的安裝159
5.1.2 PIL庫的常用函數160
5.1.3 PIL庫的應用163
5.1.4 應用PIL到實際開發169
5.2 Tesseract庫172
5.2.1 Tesseract庫的安裝172
5.2.2 Tesseract庫的使用174
5.2.3 Tesseract庫的識別訓練174
5.3 TensorFlow庫180
5.3.1 TensorFlow庫的安裝180
5.3.2 TensorFlow基本操作184
5.3.3 TensorFlow基礎架構186
5.3.4 TensorFlow創建線性回歸模型189
5.3.5 TensorFlow識別知乎驗證碼190
5.4 4種驗證碼的解決思路191
5.5 OCR處理驗證碼194
5.6 實戰案例195
5.7 本章小結199
練習題199
第6章 抓包利器Fiddler200
6.1 Fiddler簡介200
6.2 Fiddler的安裝和配置200
6.2.1 Fiddler的安裝201
6.2.2 Fiddler的配置202
6.3 Fiddler捕獲會話205
6.4 QuickExec命令行的使用207
6.5 Fiddler斷點功能209
6.6 Fiddler的實用工具210
6.7 實戰案例212
6.7.1 使用Fiddler抓取數據並分析212
6.7.2 使用Fiddler抓取HTTPS流量214
6.7.3 使用Fiddler抓取手機應用215
6.8 本章小結219
練習題219
第7章 數據存儲220
7.1 數據的基本存儲220
7.1.1 數據存儲到TXT220
7.1.2 數據存儲到CSV222
7.1.3 數據存儲到JSON223
7.2 數據存儲到MySQL數據庫227
7.2.1 配置MySQL服務227
7.2.2 安裝PyMySQL228
7.2.3 創建示例項目230
7.2.4 PyMySQL基本操作231
7.3 數據存儲到MongoDB數據庫231
7.4 數據存儲到XML234
7.5 常見數據存儲方式的比較235
7.6 本章小結237
練習題237
第8章 Scrapy爬蟲框架238
8.1 Scrapy框架介紹238
8.2 Scrapy框架詳解239
8.2.1 框架內組件及作用239
8.2.2 Scrapy運行流程240
8.2.3 數據流向240
8.3 Scrapy框架中的Selector240
8.4 Beautiful Soup庫的使用246
8.4.1 簡單示例246
8.4.2 四大對像種類247
8.4.3 遍歷文檔樹249
8.4.4 搜索文檔樹249
8.4.5 CSS選擇器253
8.5 CrawlSpider的使用254
8.5.1 Spider的簡單用法254
8.5.2 CrawlSpider概述254
8.5.3 使用CrawlSpider獲取rules256
8.5.4 使用CrawlSpider進行模擬登錄257
8.6 Scrapy Shell的使用257
8.6.1 啟動Scrapy Shell258
8.6.2 功能函數258
8.6.3 Scrapy對像258
8.6.4 Scrapy Shell示例258
8.7 Scrapyrt的使用259
8.7.1 GET請求259
8.7.2 POST請求261
8.8 Scrapy對接Selenium262
8.9 實戰案例264
8.9.1 Scrapy知乎信息爬取264
8.9.2 Scrapy微博信息爬取268
8.9.3 Scrapy機票信息爬取272
8.10 本章小結274
練習題274
第9章 多線程爬蟲275
9.1 多線程和Threading模塊275
9.1.1 多線程定義和特點275
9.1.2 Threading模塊276
9.2 使用Thread類創建實例277
9.2.1 可傳遞函數的Thread類實例277
9.2.2 可調用的Thread類實例278
9.2.3 派生Thread子類279
9.3 多線程方法的使用280
9.3.1 多線程創建280
9.3.2 多線程衝突及解決283
9.3.3 使用Semaphore調度線程285
9.3.4 生產者-消費者模式286
9.3.5 共享全局變量及鎖機制288
9.4 Queue線程安全隊列289
9.5 實戰案例291
9.5.1 多線程爬取糗事百科292
9.5.2 多線程爬取wangzhan圖片296
9.6 本章小結298
練習題298
*10章 動態wangye爬蟲299
10.1 瀏覽器*發者工具299
10.1.1 調試工具的介紹299
10.1.2 調試工具的使用示例306
10.2 異步加載技術309
10.2.1 異步加載技術介紹309
10.2.2 AJAX數據爬取310
10.3 表單交互與模擬登錄314
10.3.1 表單交互314
10.3.2 模擬登錄315
10.4 Selenium模擬瀏覽器316
10.4.1 Selenium操作瀏覽器316
10.4.2 Selenium和ChromeDriver的配合使用332
10.5 實戰案例337
10.5.1 Selenium職位信息爬取338
10.5.2 Selenium直播平臺數據爬取339
10.6 本章小結341
練習題341
*11章 分布式爬蟲342
11.1 分布式爬蟲概述342
11.1.1 主從分布式爬蟲343
11.1.2 對等分布式爬蟲343
11.2 Scrapy-redis分布式組件345
11.2.1 Scrapy-redis簡介346
11.2.2 Scrapy-redis工作機制348
11.2.3 Scrapy-redis安裝配置349
11.2.4 Scrapy-redis常用配置356
11.2.5 Scrapy-redis鍵名介紹357
11.2.6 Scrapy-redis簡單示例357
11.3 redis數據庫358
11.4 Scrapy-redis源碼分析364
11.5 通過scrapy_redis實現分布式爬蟲369
11.6 實戰案例371
11.7 本章小結376
練習題377
*12章 電商wangzhan商品信息爬蟲項目378
12.1 商品信息爬蟲功能分析378
12.1.1 商品信息爬蟲接口分析378
12.1.2 商品信息爬蟲頁面分析380
12.2 商品信息爬蟲實現思路380
12.2.1 Selenium環境配置380
12.2.2 pyquery環境配置381
12.3 電商wangzhan商品信息編寫實戰381
12.3.1 獲取電商wangzhan商品信息列表381
12.3.2 電商wangzhan商品信息列表解析383
12.3.3 保存爬取的商品信息385
12.3.4 電商wangzhan商品信息的頁碼遍歷386
12.4 pyquery解析電商wangzhan商品信息388
12.4.1 pyquery調用CSS選擇器389
12.4.2 pyquery使用parent()獲取父節點391
12.4.3 pyquery遍歷商品信息393
12.4.4 pyquery獲取商品信息內部文本395
12.4.5 CSS選擇器398
12.5 運行代碼399
12.5.1 爬蟲的Chrome Headless模式400
12.5.2 爬蟲對接Firefox400
12.5.3 爬蟲對接PhantomJS400
12.6 本章小結401
練習題401
*13章 生活娛樂點評類信息爬蟲項目402
13.1 功能分析402
13.1.1 項目描述402
13.1.2 靜態wangye抓取402
13.1.3 動態wangye抓取404
13.2 請求-響應關繫410
13.2.1 請求對像410
13.2.2 請求方法410
13.3 請求頭和請求體411
13.3.1 請求頭412
13.3.2 響應412
13.3.3 保存響應結果412
13.4 通過Selenium模擬瀏覽器抓取413
13.4.1 Selenium的安裝413
13.4.2 Selenium的實踐案例414
13.4.3 Selenium獲取文章的所有評論414
13.5 實戰演練Scrapy框架實例415
13.5.1 編寫spider416
13.5.2 編寫item.py417
13.5.3 為items對像賦值417
13.5.4 編寫piplines.py418
13.5.5 配置setting.py418
13.5.6 完整代碼及結果419
13.6 調試與運行421
13.7 本章小結422
練習題422
*14章 圖片信息類爬蟲項目423
14.1 功能分析423
14.2 實現思路423
14.2.1 urllib模塊的使用424
14.2.2 Scrapy框架的使用426
14.3 程序執行429
14.4 實戰演練圖片驗證碼429
14.4.1 開發環境與工具429
14.4.2 Anaconda3的安裝430
14.4.3 問題步驟434
14.4.4 解決步驟434
14.4.5 圖片預處理代碼435
14.4.6 圖片切割437
14.4.7 KNN訓練437
14.4.8 CNN加載數據439
14.4.9 訓練CNN模型440
14.4.10 CNN模型預測442
14.5 調試運行443
14.6 本章小結444
練習題444
練習題答案445