1. 內容全面，結構清晰：本書詳細介紹了網絡爬蟲技術的方方面面，討論了數據抓取、數據處理和數據分析的整個流程。全書結構清晰，堅持理論知識與實踐操作結合。 2. 循序漸進，生動簡潔：從*簡單的Python程序示例開始，在網絡爬蟲的核心主題之下一步步深入，兼顧內容的廣度與深度。在行文中，使用生動簡潔的闡述方式，力爭詳略得當。3. 示例豐富，實戰性強：網絡爬蟲是實踐性、操作性非常強的技術，本書將提供豐富的代碼來作為讀者的參考，同時對必要的術語和代碼進行解釋。從生活實際出發，選取實用性、趣味性兼具的主題等

●第1章 Python與網絡爬蟲11.1 Python語言1 1.1.1 什麼是Python1 1.1.2 Python的應用現狀21.2 Python的安裝與開發環境配置3 1.2.1 在Windows上安裝3 1.2.2 在Ubuntu和Mac OS上安裝4 1.2.3 PyCharm的使用5 1.2.4 Jupyter Notebook91.3 Python基本語法12 1.3.1 HelloWorld與數據類型12 1.3.2 邏輯語句19 1.3.3 Python中的函數與類22 1.3.4 Python從0到1251.4 互聯網、HTTP與HTML25 1.4.1 互聯網與HTTP25 1.4.2 HTML271.5 Hello, Spider!29 1.5.1 第一個爬蟲程序29 1.5.2 對爬蟲的思考311.6 調研網站33 1.6.1 網站的robots.txt與Sitemap33 1.6.2 查看網站所用技術36 1.6.3 查看網站所有者信息37 1.6.4 使用開發者工具檢查網頁391.7 本章小結42第2章 數據采集432.1 從抓取開始432.2 正則表達式44 2.2.1 初見正則表達式44 2.2.2 正則表達式的簡單使用462.3 BeautifulSoup49 2.3.1 安裝與上手49 2.3.2 BeautifulSoup的基本使用522.4 XPath與lxml55 2.4.1 XPath55 2.4.2 lxml與XPath的使用572.5 遍歷頁面59 2.5.1 抓取下一個頁面59 2.5.2 完成爬蟲602.6 使用API63 2.6.1 API簡介63 2.6.2 API使用示例652.7 本章小結68第3章 文件與數據存儲693.1 Python中的文件69 3.1.1 基本的文件讀寫69 3.1.2 序列化723.2 字符串723.3 Python與圖片74 3.3.1 PIL與Pillow74 3.3.2 Python與OpenCV簡介763.4 CSV文件77 3.4.1 CSV簡介77 3.4.2 CSV的讀寫773.5 使用數據庫79 3.5.1 使用MySQL80 3.5.2 使用SQLite381 3.5.3 使用SQLAlchemy83 3.5.4 使用Redis853.6 其他類型的文檔863.7 本章小結90第4章 JavaScript與動態內容914.1 JavaScript與AJAX技術91 4.1.1 JavaScript語言91 4.1.2 AJAX954.2 抓取AJAX數據96 4.2.1 分析數據96 4.2.2 數據提取1004.3 抓取動態內容107 4.3.1 動態渲染頁面107 4.3.2 使用Selenium107 4.3.3 PyV8與Splash1144.4 本章小結118第5章 表單與模擬登錄1195.1 表單119 5.1.1 表單與 T119 5.1.2 T發送表單數據1215.2 Cookie124 5.2.1 什麼是Cookie124 5.2.2 在Python中使用Cookie1255.3 模擬登錄網站128 5.3.1 分析網站128 5.3.2 通過Cookie模擬登錄1295.4 驗證碼133 5.4.1 圖片驗證碼133 5.4.2 滑動驗證1345.5 本章小結139第6章 數據的進一步處理1406.1 Python與文本分析140 6.1.1 什麼是文本分析140 6.1.2 jieba與SnowNLP141 6.1.3 NLTK145 6.1.4 文本分類與聚類1496.2 數據處理與科學計算150 6.2.1 從MATLAB到Python150 6.2.2 NumPy151 6.2.3 Pandas156 6.2.4 Matplotlib163 6.2.5 SciPy與SymPy1676.3 本章小結167第7章 更靈活的爬蟲1687.1 更靈活的爬蟲—以數據抓取為例168 7.1.1 用Selenium抓取Web信息168 7.1.2 基於Python的API工具1727.2 更多樣的爬蟲175 7.2.1 在BeautifulSoup和XPath之外175 7.2.2 在線爬蟲應用平臺179 7.2.3 使用urllib1817.3 爬蟲的部署和管理190 7.3.1 配置遠程主機190 7.3.2 編寫本地爬蟲192 7.3.3 部署爬蟲198 7.3.4 查看運行結果199 7.3.5 使用爬蟲管理框架2007.4 本章小結203第8章 瀏覽器模擬與網站測試2048.1 關於測試204 8.1.1 什麼是測試204 8.1.2 什麼是TDD2058.2 Pytho測試205 8.2.1 使用unittest205 8.2.2 其他方法2088.3 使用Python爬蟲測試網站2098.4 使用Selenium測試212 8.4.1 Selenium測試常用的網站交互212 8.4.2 結合Selenium測試2148.5 本章小結215第9章 更強大的爬蟲2169.1 爬蟲框架216 9.1.1 Scrapy是什麼216 9.1.2 Scrapy安裝與入門218 9.1.3 編寫Scrapy爬蟲221 9.1.4 其他爬蟲框架2239.2 網站反爬蟲224 9.2.1 反爬蟲的策略224 9.2.2 偽裝headers225 9.2.3 使用代理228 9.2.4 訪問頻率2329.3 多進程與分布式233 9.3.1 多進程編程與爬蟲抓取233 9.3.2 分布式爬蟲2359.4 本章小結235第10章 爬蟲實踐：火車票餘票實時提醒23610.1 程序設計236 10.1.1 分析網頁236 10.1.2 理解返回的JSON格式數據的意義238 10.1.3 消息推送238 10.1.4 運行並查看消息24310.2 本章小結244第11章 爬蟲實踐：爬取二手房數據並繪制熱力圖24511.1 數據抓取245 11.1.1 分析網頁245 11.1.2 地址轉換成經緯度247 11.1.3 編寫代碼248 11.1.4 數據下載結果25211.2 繪制熱力圖25211.3 本章小結259第12章 爬

《Python 網絡爬蟲從入門到精通》的主旨是介紹如何結合Python進行網絡爬蟲程序的開發，從Python語言的基本特性入手，詳細介紹了Python網絡爬蟲開發的各個方面，涉及HTTP、HTML、JavaScript、正則表達式、自然語言處理、數據科學等不同領域的內容。全書共15章，包括Python基礎知識、網站分析、網頁解析、Python文件讀寫、Python與數據庫、AJAX技術、模擬登錄、文本與數據分析、網站測試、Scrapy爬蟲框架、爬蟲性能等多個主題。本書內容覆蓋網絡抓取與爬蟲編程中的主要知識和技術，在重視理論基礎的前提下，從實用性和豐富性出發，結合實例演示了爬蟲編寫的核心流程。 《Python 網絡爬蟲從入門到精通》適合Python語言初學者、網絡爬蟲技術愛好者、數據分析從業人士以及高等院校計算機科學、軟件工程等相關專業的師生閱讀。

網絡爬蟲又叫網絡蜘蛛，是指按照某種規則在網絡上爬取所需內容的腳本程序。它們被廣泛應用於互聯網搜索引擎及各種網站的開發中，同時也是大數據和數據分析領域中的重要角色。眾所周知，每個網頁通常包含其他網頁的入口，網絡爬蟲則通過一個網址依次進入其他網址獲取所需內容。爬蟲可以按一定邏輯大批量采集目標頁面內容，並對數據進行進一步處理，人們借此能夠更好、更快地獲取並使用他們感興趣的信息，從而方便地完成很多有價值的工作。 Python是一種解釋型、面向對像、動態數據類型的高級程序設計語言，其語法簡潔、功能強大，在眾多高級語言中擁有十分出色的編寫效率，同時還擁有活躍的開源社區和海量程序庫，十分適合用於網絡內容的抓取和處理。本書以Python語言為基礎，由淺入深地探討網絡爬蟲技術，同時，通過具體的程序編寫和實踐來幫助讀者了解和學習Python網絡爬蟲。 《Python 網絡爬蟲從入門到精通》共15章等