第1章   導論    1
1.1  計算傳播學概述    1
1.1.1  計算傳播學的發展    2
1.1.2  計算傳播學的概念    2
1.1.3計算傳播學的基本內容    3
1.1.4計算傳播學的應用    3
1.2大數據與人工智能    4
1.2.1大數據的概念與發展歷程    5
1.2.2人工智能的概念與發展歷程    6
1.2.3大數據和人工智能與計算傳播學的關繫    7
1.3  計算傳播學與網絡爬蟲的關繫    7
本章小結    8
第2章   網絡爬蟲概念綜述    9
2.1網絡爬蟲簡介    9
2.1.1概念與作用    9
2.1.2應用場景    10
2.2反爬蟲技術    11
2.3網絡爬蟲的算法分析    15
2.3.1深度優先搜索算法    16
2.3.2廣度優先搜索算法    16
2.3.3  優先搜索算法    17
2.4網絡爬蟲種類    17
2.4.1通用網絡爬蟲    17
2.4.2主題網絡爬蟲    19
2.4.3增量式網絡爬蟲    20
2.4.4深層網絡爬蟲    21
2.5網絡爬蟲工具    22
2.5.1八爪魚    22
2.5.2Python    23
2.5.3Puppeteer    25
本章小結    27
第3章   網絡爬蟲技術原理    28
3.1Chrome開發者工具    28
3.1.1  Elements面板    30
3.1.2Network面板    31
3.2網址分析    33
3.2.1HTTP介紹    34
3.2.2URL地址分析    37
3.3網頁構成    38
3.3.1HTML    38
3.3.2CSS與JavaScript    42
3.3.3網頁類型    45
3.4模擬登錄與驗證碼    46
3.4.1模擬登錄場景介紹    46
3.4.2登錄信息與Cookie簡介    46
3.4.3模擬登錄驗證處理    56
3.5代理    58
3.5.1IP地址    58
3.5.2代理的作用    59
3.5.3代理的獲取與使用    59
3.5.4  使用八爪魚軟件設置代理IP地址    61
3.6解析網頁內容    62
3.6.1XPath介紹    63
3.6.2XPath實例    67
本章小結    70
第4章   八爪魚軟件概述    71
4.1八爪魚軟件簡介    71
4.1.1八爪魚功能介紹    72
4.1.2  八爪魚工作界面介紹    73
4.2采集模式    78
4.2.1模板采集模式    78
4.2.2智能模式    82
4.2.3自定義模式    85
4.3步驟參數設置    89
4.3.1打開網頁    90
4.3.2素    92
4.3.3提取數據    93
4.3.4循環    95
4.3.5判斷條件    97
4.3.6輸入文本    98
4.3.7識別驗證碼    99
4.3.8切換下拉選項    100
4.3.9  移動素上    101
本章小結    102
第5章   基於關鍵字的新聞網頁爬取    103
5.1新聞簡介    103
5.1.1新聞的價值    104
5.1.2新聞的特點    104
5.1.3  新聞的作用    105
5.2新聞網頁采集需求分析    105
5.2.1人民網簡介    105
5.2.2需求介紹    108
5.3  新聞網頁采集流程設計    109
5.3.1新建任務    109
5.3.2搜索    110
5.3.3自動識別搜索頁    113
5.3.4自動識別詳情頁    119
5.3.5  字段介紹    122
5.3.6采集設置    123
5.4新聞網頁采集數據結果    125
本章小結    125
第6章   基於關鍵字的微信公眾號爬取    126
6.1微信公眾號簡介    126
6.1.1微信公眾號的作用    126
6.1.2微信公眾號與新媒體傳播    127
6.2微信公眾號采集需求分析    128
6.3微信公眾號采集流程設計    129
6.3.1新建任務    129
6.3.2登錄    130
6.3.3關鍵字列表循環    131
6.3.4設置翻頁循環    133
6.3.5循環列表    136
6.3.6點擊進入正文    139
6.3.7獲取正文信息    140
6.3.8采集設置    143
6.4微信公眾號采集數據結果查看    144
本章小結    144
第7章   微博博文評論爬取    145
7.1微博簡介    145
7.1.1微博的傳播特征    145
7.1.2微博的作用    147
7.2微博評論采集需求分析    148
7.2.1微博可獲取數據    148
7.2.2網址分析    149
7.2.3流程與步驟    150
7.3微博評論采集流程設計    150
7.3.1新建任務    150
7.3.2判斷是否要登錄    151
7.3.3循環翻頁    157
7.3.4循環列表    159
7.3.5  獲取正文信息    163
7.3.6  啟動采集    166
7.4微博評論采集數據結果查看    167
本章小結    168
第8章   網絡輿情熱點數據的獲取與追蹤    169
8.1背景說明    169
8.1.1輿情熱點發展的過程    169
8.1.2輿情熱點的獲取    170
8.2熱點數據采集需求分析    173
8.2.1百度指數    173
8.2.2百度搜索風雲榜    176
8.3熱點數據采集流程設計    178
8.3.1百度指數    178
8.3.2百度搜索風雲榜    184
8.4熱點數據采集數據結果查看    192
本章小結    193
參考文獻    194

 隨著數字化進程的推進，數據不僅改變了人類的生活方式和傳播行為，還改變了人類觀察和認識世界的方式。人工智能與大數據驅動的計算範式延伸至社會科學領域。受傳統傳播學定量研究範式、數據科學和網絡科學的影響，計算傳播學方興未艾，已經成為計算社會科學的重要分支學科之一。
  當前，進行計算傳播學研究的一個重要條件是海量的互聯網數據。雖然搜索引擎可以幫助人們尋找到這些數據，但有局限性。面對結構越來越復雜且信息量越來越密集的海量數據，計算傳播學的研究者需要能夠使用具有高度自主性、個性化的網絡爬蟲技術收集網上的行為數據。
  本書以網絡爬蟲技術為主題，采用深入淺出的敘述方式，簡明扼要地闡述了計算傳播學的發展、概念與應用，以及網絡爬蟲技術的概念、類型、工具，並對網絡爬蟲技術的基本原理、網頁構成、解析方式方法等做了進一步的闡述，目的是讓廣大讀者掌握網絡爬蟲技術相關的知識，從而能夠在計算傳播學的研究中不受網絡爬蟲技術的限制。
  在編寫原則上，本書既注重網絡爬蟲技術的繫統性和理論性，又通過八爪魚軟件詳細講解了計算傳播學網頁數據爬取的項目案例。讀者在學習的過程中，不僅能收獲理論知識，還能動手實操，從而真正掌握網絡爬蟲技術的方法。
  本書的出版得到中央引導地方科技發展資金項目（桂科AD20238065）、廣西自然科學基金項目（2018GXNSFDA050014）及廣西高等教育本科教學改革工程項目（2019JGA227）、廣西壯族自治區信息中心、廣西壯族自治區大數據研究院、廣西“八桂學者”建設工程專項經費、廣西高等學校高水平創新團隊及卓越學者計劃、南寧師範大學教材建設基金資助。
本書由徐健擔任主編，由梁穎濤、鄭振鋒、覃冠玉和王春峰擔任副主編。陳鳴、陳羽峰、郭琳、林秀梅、鄧科、周飛伶、陳喜鳳、陳秋凌、胡中全參與編寫。具體編寫分工如下：第1章由徐健和陳鳴編寫；第2章由梁穎濤和陳羽峰編寫；第3章由鄭振鋒和郭琳編寫；第4章由覃冠玉和林秀梅編寫；第5章由王春峰和鄧科編寫；第6章由周飛伶和陳喜鳳編寫；第7章由陳秋凌和胡中全編寫；第8章由鄧科和胡中全編寫。
  南師智能科技有限公司針對本書的內容從產業的角度給予指導性建議，並為本書項目案例的結構提供了部分素材。深圳視界信息技術有限公司提供了八爪魚軟件技術環境支持，在此一並致謝。
  由於編者水平有限，加之時間倉促，書中難免存在疏漏和不足之處，懇請廣大讀者批評指正。

                                                  編  者   
                                                 2021年5月