第1章情報大數據概述1
1.1大數據方法對情報的顛覆性影響1
1.1.1大數據時代的情報新特點1
1.1.2大數據時代情報工作新思維4
1.1.3情報大數據的分析流程6
1.2“稜鏡”計劃案例簡介6
1.2.1數據基礎7
1.2.2情報分析9
1.2.3情報目標10
1.3情報大數據平臺常用框架11
1.3.1數據源采集12
1.3.2大數據預處理13
1.3.3大數據存儲14
1.3.4大數據分析與挖掘14
1.3.5常見技術框架和工具16
1.3.6學習階段建議19
第2章網絡輿論情報大數據采集與分析21
2.1總體設計21
2.1.1需求分析21
2.1.2技術選型22
2.1.3框架軟件23
2.1.4開發流程24
2.2實戰環境搭建24
2.2.1準備操作繫統環境24
2.2.2搭建Hadoop平臺27
2.2.3數據采集工具Flume30
2.2.4數據倉庫Hive32
2.2.5數據導入導出工具Sqoop34
2.2.6配置數據庫MySQL35
2.3業務開發37
2.3.1數據采集與上傳至HDFS37
2.3.2數據存儲在Hive40
2.3.3Sqoop導出數據到MySQL41
2.3.4數據導成表格43
2.4可視化分析44
2.4.1熱門關鍵詞詞雲44
2.4.2熱門關鍵詞詞頻48
第3章社會事件情報關聯與可視化分析53
3.1總體設計53
3.1.1功能結構53
3.1.2業務流程54
3.1.3數據庫設計54
3.1.4數據庫選型59
3.2實戰環境搭建60
3.2.1安裝ClickHouse60
3.2.2配置ClickHouse61
3.2.3創建ClickHouse庫表64
3.2.4數據導入ClickHouse68
3.3業務開發71
3.3.1創建開源情報采集庫表72
3.3.2定時更新Gdelt記錄73
3.3.3下載gdeltv2文件75
3.3.4數據導入ClickHouse78
3.4可視化分析86
3.4.1國家/地區交互網絡構建87
3.4.2西方媒體對中國的情感分析89
3.4.3全球人物熱點分析93
3.4.4全球組織關繫熱點分析95
3.4.5全球熱點主題分析97
3.4.6抗議性事件情況分析100
第4章開源人物情報社會網絡構建103
4.1總體設計103
4.1.1需求分析103
4.1.2功能結構104
4.1.3業務流程104
4.1.4數據對像建模104
4.1.5技術選型105
4.2實戰環境搭建106
4.2.1部署Neo4j106
4.2.2安裝py2neo模塊109
4.2.3安裝scrapy模塊110
4.3業務開發111
4.3.1使用scrapy模塊爬取開源人物情報數據112
4.3.2使用SPARQL語句查詢人物117
4.3.3爬取已定義的所有關繫118
4.3.4爬取人物實體信息及關繫124
4.3.5提取親屬信息131
4.3.6通過工具導入批量數據132
4.3.7利用py2neo模塊導入數據136
4.4可視化分析142
4.4.1通過人物屬性值查找節點142
4.4.2通過人物屬性值查找相關聯的節點142
4.4.3監測時任美國總統羅斯福的親屬關繫144
4.4.4查詢時任美國總統約翰·肯尼迪的校友關繫144
4.4.5分析往屆美國總統的死亡原因146
第5章用戶行為情報分析及個性化推薦149
5.1總體設計149
5.1.1需求分析149
5.1.2技術選型150
5.1.3技術分析152
5.1.4開發流程153
5.2實戰環境搭建153
5.2.1搭建Scala環境154
5.2.2搭建Spark平臺155
5.2.3安裝Maven159
5.2.4搭建IDEA集成開發工具160
5.3業務開發166
5.3.1用戶視頻行為數據集166
5.3.2個性化視頻推薦166
5.3.3個性化推薦結果分析169
5.4可視化分析170
5.4.1觀影人員評價總體分析171
5.4.2觀影人員年齡段分布172
5.4.3觀影人員職業分布174
5.4.4視頻類型標簽分析176
第6章科技動態情報大數據搜索優化179
6.1總體設計179
6.1.1需求分析179
6.1.2技術選型180
6.1.3數據庫設計180
6.2實戰環境搭建181
6.2.1搭建Elasticsearch環境181
6.2.2Elasticsearch集成中文分詞器182
6.2.3Elasticsearch集成拼音分詞器182
6.2.4搭建SpringBoot應用框架183
6.2.5SpringBoot集成MySQL數據庫184
6.2.6SpringBoot集成Elasticsearch搜索引擎186
6.3業務開發188
6.3.1科技新聞爬蟲模塊188
6.3.2搜索引擎實現190
6.3.3Elasticsearch搜索優化195
6.4日志可視化197
6.4.1搭建Kibana環境197
6.4.2搭建Logstash環境198
6.4.3日志可視化分析200
6.5可視化分析202
6.5.1靜態資源準備202
6.5.2後臺管理頁集成202
6.5.3新聞列表頁集成206
6.5.4靜態頁面優化207
第7章視頻圖像情報深度學習車牌識別209
7.1總體設計209
7.1.1需求分析209
7.1.2技術分析210
7.1.3開發流程211
7.2實戰環境搭建211
7.2.1人工神經網絡庫Keras212
7.2.2數值計算擴展NumPy212
7.2.3Python庫Theano213
7.2.4安裝Sklearn213
7.2.5安裝OpenCV213
7.3業務開發215
7.3.1卷積神經網絡215
7.3.2車牌定位與截取222
7.3.3車牌號碼識別232
第8章公共衛生情報可視化態勢展示237
8.1總體設計237
8.1.1技術選型237
8.1.2技術分析238
8.1.3數據庫設計238
8.2實戰環境搭建239
8.2.1搭建Zookeeper環境239
8.2.2搭建Kafka環境240
8.2.3搭建Elasticsearch MySQL環境241
8.2.4後端框架搭建241
8.3業務開發242
8.3.1請求疫情接口數據242
8.3.2發布數據到Kafka244
8.3.3整合MySQL和Elasticsearch245
8.3.4數據持久化247
8.4可視化分析250
8.4.1印度疫情發展趨勢折線圖252
8.4.2印度疫情發展趨勢柱狀圖254
8.4.3歐洲疫情南丁格爾玫瑰圖255
參考文獻259

“知己知彼,百戰不殆”,情報領域開山之作和集大成者《孫子兵法》如是說。無論軍事、商貿還是工業,詳盡的情報分析一直是重大決策之前不可或缺的步驟,古今中外，概莫能外。進入到大數據時代,各行各業都毫無懸念地迎來了巨大變革,情報的采集、存儲和管理以及分析方法等都正在發生天翻地覆的變化。
古人雲: “吹盡狂沙始到金”,如何從海量數據中快速有效地提煉出高價值的情報,一直是決策者面臨的問題。比起常規大數據分析而言,情報大數據分析更為復雜,數據容量更大,要求結構設計更加合理,數據處理更為高效,能夠基於特定專業領域需求進行數據融合,產生專用的數據服務產品並予以直觀展現,同時還要注意信息防御和數據安全管理。
水無常形,大數據時代的情報獲取和分析方法更為豐富。一方面，采集手段不斷多樣化,數據來源渠道大為拓展,可獲取更多復雜維度的數據。另一方面,研究對像不斷擴大化,大量非結構化或半結構化數據湧入,包含樣式繁多的異構信息。這些多源異構情報數據聚合在一起形成巨大的數據流,同時也帶來種類龐雜、數量冗餘、業務紛擾、難以分析等棘手問題。
對於情報學科的研究和學習,目前普遍偏重於“信息”,例如信息計量、信息構建、知識管理、信息資源評價、可視化、資源共享、信息鴻溝、信息行為、信息政策、信息生態以及網絡傳播等。在掌握面向情報業務所需知識和技術手段方面略顯薄弱,對情報學科的前沿交叉性體現不足。關於重大決策所需的情報支持,小到具體基層單位的情報資料咨詢和戰略發展規劃,大到根據一繫列不穩定因素觸發可能引發社會衝突、制約經濟發展的預警機制,更是情報大數據的迫切現實需求。
為了適應情報大數據技術的發展,滿足相關人纔培養的迫切要求,作者團隊在多個應用工程的實踐基礎上,整理近的相關前沿科技資料,融彙有關教學科研成果,並結合行業需求背景和實現途徑,以實戰實訓為核心理念,全面繫統地描述了情報大數據采集、處理和分析的開發流程及關鍵技術,既注重知識框架的構建,也注重業務分析能力的培養。在內容組織上,力求學習體繫完整、邏輯結構合理、重點和要點突出,以有利於讀者掌握在海量數據中提煉出高價值情報的方法。
本書選取多個具有代表性的情報大數據領域,以網絡輿論情報、社會事件情報、開源人物情報、用戶行為情報、科技動態情報、公共衛生情報領域為實戰案例,圍繞大數據背景下情報的信息采集、存儲、管理、分析和展示等方面,分別從總體設計、環境搭建、業務開發和可視化分析等方面展開,多維度、多角度反映情報大數據的相關技術全貌,從技術實現的途徑全方位詳解Hadoop、MapReduce、HDFS、Hive、Elasticsearch、Spark、Kafka、Flink等的綜合運用和應用實施。
本書是跨域大數據智能分析與應用重點實驗室團隊協同努力的成果。整體由鄧勁生和黃金鋒進行框架設計,黎珍負責組織實施,主要內容分別由鄧勁生(第1章)、黎珍(第3章、第4章)、唐鈞中(第6章、第8章)、陶應娟(第2章)、熊煒林(第5章)、王良(第7章)執筆,喬鳳纔、李孟力、常春喜、劉娟、伏西平等參與其中部分章節的編寫,田野、賓潔、吳鐵軍等參與校對。部分內容來自於參考文獻和網絡資源,未能逐一溯源和說明引用,特在此向相關作者表示感謝。
由於作者的自身水平、項目經驗和表達能力有限,雖然力求盡量準確,仍然在所難免存在一些不足之處,還望各位讀者不吝賜教。聯繫郵箱是32491353@qq.com。

編者2020年10月於硯瓦池