●章理解網絡爬蟲1
1.1爬蟲的定義1
1.2爬蟲的類型2
1.3爬蟲的原理2
1.4爬蟲的搜索策略4
1.5爬蟲的合法性與開發流程5
1.6本章小結6
第2章爬蟲開發基礎7
2.1HTTP與HTTPS7
2.2請求頭9
2.3Cookies10
2.4HTML11
2.5JavaScript12
2.6JSON14
2.7Ajax14
2.8本章小結15
第3章Chrome分析網站16
3.1Chrome開發工具16
3.2Elements標簽17
3.3Network標簽18
3.4分析QQ音樂20
3.5本章小結23
第4章Fiddler抓包24
4.1Fiddler介紹24
4.2Fiddler安裝配置24
4.3Fiddler抓取手機應用26
4.4Toolbar工具欄29
4.5WebSession列表30
4.6View選項視圖32
4.7Quickexec命令行33
4.8本章小結34
第5章爬蟲庫Urllib35
5.1Urllib簡介35
5.2發送請求36
5.3復雜的請求37
5.4代理IP38
5.5使用Cookies39
5.6證書驗證40
5.7數據處理41
5.8本章小結42
第6章爬蟲庫Requests43
6.1Requests簡介及安裝43
6.2請求方式44
6.3復雜的請求方式45
6.4與上傳47
6.5本章小結49
第7章Requests-Cache爬蟲緩存50
7.1簡介及安裝50
7.2在Requests中使用緩存50
7.3緩存的存儲機制53
7.4本章小結54
第8章爬蟲庫Requests-HTML55
8.1簡介及安裝55
8.2請求方式56
8.3數據清洗56
8.4Ajax動態數據抓取59
8.5本章小結61
第9章網頁操控與數據爬取62
9.1了解Selenium62
9.2安裝Selenium63
9.素定位66
9.素操控70
9.5常用功能73
9.6實戰：百度自動答題80
9.7本章小結85
0章手機App數據爬取86
10.1Appium簡介及原理86
10.2搭建開發環境87
10.3連接Android繫統92
10.4A素定位97
10.5A素操控99
10.6實戰：淘寶商品采集102
10.7本章小結107
1章Splash、Mitmproxy與Aiohttp109
11.1Splash動態數據抓取109
11.1.1簡介及安裝109
11.1.2使用Splash的API接口112
11.2Mitmproxy抓包116
11.2.1簡介及安裝116
11.2.2用Mitmdump抓取愛奇藝視頻116
11.3Aiohttp高並發抓取119
11.3.1簡介及使用119
11.3.2Aiohttp異步爬取小說排行榜123
11.4本章小結126
2章驗證碼識別128
12.1驗證碼的類型128
12.2OCR技術129
12.3第三方平臺131
12.4本章小結134
3章數據清洗136
13.1字符串操作136
13.1.1截取136
13.1.2替換137
13.1.3查找137
13.1.4分割138
13.2正則表達式139
13.2.1正則語法140
13.2.2正則處理函數141
13.3BeautifulSoup數據清洗144
13.3.1BeautifulSoup介紹與安裝144
13.3.2BeautifulSoup的使用示例146
13.4本章小結149
4章文檔數據存儲150
14.1CSV數據的寫入和讀取150
14.2Excel數據的寫入和讀取151
14.3Word數據的寫入和讀取154
14.4本章小結156
5章ORM框架158
15.1SQLAlchemy介紹與安裝158
15.1.1操作數據庫的方法158
15.1.2SQLAlchemy框架介紹158
15.1.3SQLAlchemy的安裝159
15.2連接數據庫160
15.3創建數據表162
15.4添加數據164
15.5更新數據165
15.6查詢數據166
15.7本章小結168
6章MongoDB數據庫操作169
16.1MongoDB介紹169
16.2MogoDB的安裝及使用170
16.2.1MongoDB的安裝與配置170
16.2.2MongoDB可視化工具172
16.2.3PyMongo的安裝173
16.3連接MongoDB數據庫173
16.4添加文檔174
16.5更新文檔175
16.6查詢文檔176
16.7本章小結178
7章實戰：爬取51Job招聘信息180
17.1項目分析180
17.2獲取城市編號180
17.3獲取招聘職位總頁數182
17.4爬取每個職位信息184
17.5數據存儲188
17.6爬蟲配置文件190
17.7本章小結191
8章實戰：分布式爬蟲——QQ音樂193
18.1項目分析193
18.2歌曲194
18.3歌手的歌曲信息198
18.4分類歌手列表201
18.5全站歌手列表203
18.6數據存儲204
18.7分布式爬蟲205
18.7.1分布式概念205
18.7.2並發庫concurrent.futures206
18.7.3分布式策略207
18.8本章小結209
9章實戰：12306搶票爬蟲211
19.1項目分析211
19.2驗證碼驗證211
19.3用戶登錄與驗證214
19.4查詢車次219
19.5預訂車票225
19.6提交訂單227
19.7生成訂單233
19.8本章小結236
第20章實戰：玩轉微博244
20.1項目分析244
20.2用戶登錄244
20.3用戶登錄（帶驗證碼）253
20.4關鍵詞搜索熱門微博259
20.5發布微博264
20.6關注用戶268
20.7點贊和轉發評論271
20.8本章小結277
第21章實戰：微博爬蟲軟件開發278
21.1GUI庫及PyQt5的安裝與配置278
21.1.1GUI庫278
21.1.2PyQt5安裝及環境搭建279
21.2項目分析281
21.3軟件主界面284
21.4相關服務界面288
21.5微博采集界面292
21.6微博發布界面297
21.7微博爬蟲功能308
21.8本章小結315
第22章Scrapy爬蟲開發317
22.1認識與安裝Scrapy317
22.1.1常見爬蟲框架介紹317
22.1.2Scrapy的運行機制318
22.1.3安裝Scrapy319
22.2Scrapy爬蟲開發示例320
22.3Spider的編寫326
22.4Items的編寫329
22.5ItemPipeline的編寫330
22.5.1用MongoDB實現數據入庫330
22.5.2用SQLAlchemy實現數據入庫332
22.6Selectors的編寫333
22.7文件336
22.8本章小結339
第23章Scrapy擴展開發341
23.1剖析Scrapy中間件341
23.1.1SpiderMiddleware中間件342
23.1.2DownloaderMiddleware中間件344
23.2自定義中間件347
23.2.1設置代理IP服務347
23.2.2動態設置請求頭350
23.2.3設置隨機Cookies353
23.3實戰：Scrapy+Selenium爬取豆瓣電影評論355
23.3.1網站分析355
23.3.2項目設計與實現357
23.3.3定義Selenium中間件359
23.3.4開發Spider程序360
23.4實戰：Scrapy+Splash爬取B站動漫信息362
23.4.1Scrapy_Splash實現原理363
23.4.2網站分析363
23.4.3項目設計與實現365
23.4.4開發Spider程序367
23.5實戰：Scrapy+Redis分布式爬取貓眼排行榜369
23.5.1Scrapy_Redis實現原理369
23.5.2安裝Redis數據庫371
23.5.3網站分析372
23.5.4項目設計與實現373
23.5.5開發Spider程序375
23.6分布式爬蟲與增量式爬蟲377
23.6.1基於管道實現增量式378
23.6.2基於中間件實現增量式381
23.7本章小結384
第24章實戰：爬取鏈家樓盤信息386
24.1項目分析386
24.2創建項目389
24.3項目配置389
24.4定義存儲字段391
24.5定義管道類392
24.6編寫爬蟲規則396
24.7本章小結400
第25章實戰：QQ音樂全站爬取402
25.1項目分析402
25.2項目創建與配置403
25.2.1項目創建403
25.2.2項目配置403
25.3定義存儲字段和管道類405
25.3.1定義存儲字段405
25.3.2定義管道類405
25.4編寫爬蟲規則408
25.5本章小結413
第26章爬蟲的上線部署415
26.1非框架式爬蟲部署415
26.1.1創建可執行程序415
26.1.2制定任務計劃程序417
26.1.3創建服務程序421
26.2框架式爬蟲部署424
26.2.1Scrapyd部署爬蟲服務424
26.2.2Gerapy爬蟲管理框架429
26.3本章小結434
第27章反爬蟲的解決方案435
27.1常見的反爬蟲技術435
27.2基於驗證碼的反爬蟲436
27.2.1驗證碼出現的情況437
27.2.2解決方案438
27.3基於請求參數的反爬蟲439
27.3.1請求參數的數據來源439
27.3.2請求參數的查找440
27.4基於請求頭的反爬蟲441
27.5基於Cookies的反爬蟲443
27.6本章小結447
第28章自己動手開發爬蟲框架449
28.1框架設計說明449
28.2異步爬取方式450
28.3數據清洗機制455
28.4數據存儲機制457
28.5實戰：用自制框架爬取豆瓣電影463
28.6本章小結468