了得網計算機/網絡_數據新聞實戰

編輯推薦

數據新聞隻是新聞報道中的一種形式，彌補傳統新聞或敘事性新聞無法呈現的效果。數據新聞采用可視化的方法將單調的數據用一種直觀、便於理解和更具說服力的方法呈獻給讀者。數據，特別是大量的數據比采訪幾十個對像獲取的抽樣信息做出的結論更客觀、更容易闡明觀點。

內容簡介

數據新聞作為一種新型的新聞報道形式，彌補了傳統新聞或敘事性新聞無法呈現的效果。數據新聞采用可視化的方法將單調的數據用一種直觀、便於理解、更具說服力的方法呈獻給讀者。大量的數據比采訪幾十個對像獲取的信息更多，做出的結論更客觀易懂，也更容易闡明觀點。

本書介紹在大數據環境下數據新聞的制作流程。以豐富的實踐案例解析數據新聞的制作理念和方法。緊密圍繞新聞人在制作數據新聞中的實際需求，全面介紹了數據新聞概述，獲取數據的工具和方法，使用Openrefine清理和分析數據，數據質量分析，使用Tableau實現數據分析及可視化，以及標簽雲、關繫圖制作、Echarts和HTML5等其他數據新聞制作工具。

本書理論與實踐結合，偏重數據新聞的具體制作方法。不僅包含的理論知識，而且包含具體的實踐案例，多角度啟發和引導讀者的創新思維，增強讀者對抽像數據的把握和綜合分析能力，幫助讀者快速掌握數據新聞的制作過程。內容通俗易懂，簡明實用，包含配套的電子教學輔助資料，可免費下載。

作者簡介

劉英華，1975年出生，女，博士，副教授。研究方向：數據挖掘、隱私保護、數字媒體。已出版專著《Java2程序設計》、《數字媒體傳播實務》和《基於數據發布的隱私保護模型研究》。

先後發表學術論文30餘篇，參與國家自然科學基金面上資助項目“基於大規模復雜結構知識庫的知識發現機理、模型與算法研究”和“基於多關繫的模糊認知圖挖掘模型、算法與評價機制研究”。

目錄

第1 章數據新聞概述 1
1.1 數據新聞的概念 . 2
1.2 制作數據新聞 . 8
1.2.1 人纔需求 9
1.2.2 技術需要 10
1.2.3 制作流程 11
1.3 數據新聞獎（DJA）獲獎作品 12

第2 章獲取數據 22
2.1 政府、國際組織與第三方機構的公開數據 . 23
2.2 政府信息公開數據的申請 . 26
2.3 眾包搜集數據 . 29目錄

第1 章數據新聞概述 1
1.1 數據新聞的概念 . 2
1.2 制作數據新聞 . 8
1.2.1 人纔需求 9
1.2.2 技術需要 10
1.2.3 制作流程 11
1.3 數據新聞獎（DJA）獲獎作品 12

第2 章獲取數據 22
2.1 政府、國際組織與第三方機構的公開數據 . 23
2.2 政府信息公開數據的申請 . 26
2.3 眾包搜集數據 . 29
2.4 搜索引擎的使用 . 30
2.4.1 搜索指令 30
2.4.2 百度搜索工具 33
2.4.3 百度高級搜索頁面 34
2.5 數據存儲 . 34
2.5.1 PDF 格式轉換為Excel 格式 . 35
2.5.2 在線轉換工具Zamzar . 37
2.5.3 瀏覽器插件 38
2.5.4 結構化信息表格化 40
2.5.5 批量下載文件 42
2.6 綜合案例 . 44
2.6.1 使用聯合國數據庫 44
2.6.2 獲取北京市2014 年常住人口數量 . 46

第3 章清理和分析數據 49
3.1 “髒數據”（Dirty Data） 50
3.1.1 “髒數據”的成因 50
3.1.2 “髒數據”的表現形式 . 51
3.2 數據清理/分析工具 52
3.3 清理“髒數據” . 53
3.3.1 安裝OpenRefine 環境 . 53
3.3.2 創建項目（導入數據） . 55
3.3.3 主界面 . 56
3.3.4 歸類（Facet） 57
3.3.5 文本過濾器（Text filter） . 63
3.3.6 格（Edit cells） 64
3.3.7 編輯列（Edit column） . 66
3.3.8 變換（Transpose） 68
3.3.9 排序（Sort） 70
3.3.10 視圖（View） 71
3.3.11 導出（Export） 71
3.3.12 函數 . 72
3.3.13 正則表達式 77
3.4 使用Excel 簡單分析數據 81
3.4.1 常用函數 81
3.4.2 篩選 . 84
3.4.3 數據透視表（PivotTable） . 85
3.4.4 在透視表裡做篩選 86
3.5 數據清理原則 . 87
3.6 綜合案例 . 87
3.6.1 查找重復記錄 87
3.6.2 使用OpenRefine 清理數據 . 90

第4 章數據質量分析 102
4.1 數據合理性 . 103
4.1.1 內部合理性 104
4.1.2 外部合理性 109
4.2 遊程檢驗 112
4.3 抽樣分析 113
4.4 缺失數據的預測 115
4.5 時間序列預測 117
4.5.1 移動平均 117
4.5.2 指數平滑 119
4.5.3 回歸 . 122

第5 章數據分析及可視化工具應用 124
5.1 數據可視化 . 125
5.2 數據可視化工具 . 125
5.3 Tableau 下載和安裝 . 128
5.4 創建個可視化作品 . 131
5.4.1 首次數據連接 131
5.4.2 首次創建多種圖表 132
5.4.3 首次創建儀表板 135
5.4.4 首次輸出 136
5.5 連接數據 . 138
5.5.1 在圖表中查看數據 138
5.5.2 簡單數據連接 139
5.5.3 連接多個數據源 141
5.5.4 連接一個數據源的多個表 . 143
5.5.5 提取數據 144
5.5.6 數據類型 146
5.6 數據視圖 . 146
5.6.1 工作表和工作簿 147
5.6.2 數據視圖界面 148
5.6.3 文本表、壓力圖和突出顯示表 . 149
5.6.4 條形圖 150
5.6.5 線圖 . 157
5.6.6 地圖 . 163
5.6.7 餅圖 . 166
5.6.8 樹地圖 169
5.6.9 填充氣泡圖 170
5.6.10 甘特圖 171
5.6.11 散點圖 173
5.6.12 雙組合圖和面積圖 175
5.6.13 盒須圖 179
5.6.14 標靶圖 180
5.7 高級分析 . 182
5.7.1 函數 . 182
5.7.2 聚合 . 184
5.7.3 注釋 . 184
5.7.4 計算 . 186
5.7.5 簡單預測 194
5.7.6 合計 . 194
5.7.7 參數 . 196
5.7.8 分層 . 199
5.7.9 分組 . 200
5.7.10 “頁面”功能區 201
5.7.11 數據桶和直方圖 . 203
5.7.12 背景圖像 204
5.8 儀表板 . 206
5.8.1 創建儀表板 206
5.8.2 布局容器 210
5.8.3 編輯儀表板 211
5.8.4 儀表板和工作表 212
5.8.5 操作 . 213
5.9 故事 . 219
5.10 作品發布 . 221
5.10.1 工作簿和工作表 221
5.10.2 發布 . 222
5.10.3 打印 . 223
5.11 Tableau 作品 . 225
5.11.1 Is Your Country Good at Reducing CO2 Emissions 225
5.11.2 Cabs in NYC . 227
5.11.3 Analysis of Twitter Hashtags Following the Paris Attacks 228

第6 章其他數據新聞制作工具 231
6.1 圖表繪制工具庫ECharts . 232
6.1.1 獲取ECharts 232
6.1.2 繪制一個簡單的圖表. 232
6.1.3 編輯圖表 234
6.1.4 圖表中的地圖 237
6.2 標簽雲 . 241
6.2.1 標簽雲制作工具Tagul 242
6.2.2 標簽雲制作工具Tagxedo 245
6.3 關繫圖制作工具PeoplePlotr . 249
6.4 語義萬維網服務Open Calais 257
6.5 HTML5 網站制作模板 . 261

前言

寫作目的
· 文本編輯器，如 Windows 中的記事本或者 EditPlus。
· 微軟 Office 工具包中的 Excel，版本不限。
· 安裝 Java 環境，具體參見本書 3.3.1 小節。
· 如果是大中專學生，可以提前申請 Tableau 免費一年使用權。排版約定
· 代碼使用 Courier New 字體並增加陰影，例如：
series: [{ //設置繫列列表
name: '銷量', //設置圖表繫列的名稱
type: 'line', //設置圖表類型是折線圖

寫作目的

在
大數據環境下，數據新聞作為一種新的報道形態受到了讀者的認可和追捧。新聞工作者需要全面提升自己的專業技能，其中之一就是具備數據分析和數據呈現的能
力。但無論是國內還是國外，大多數新聞工作者缺乏數據方面的知識，因為傳統高校缺乏相應的課程，市場上也難以尋覓相應的圖書。

現有的數據新聞方面的書籍主要研究的是數據新聞理論、點評數據新聞作品，缺少數據新聞的實戰流程。本書正是為學習數據新聞制作的讀者準備的，通過閱讀本書可以快速獲取數據、清理數據、可視化數據，獨立完成數據新聞制作的全過程。

本書內容

第1 章數據新聞概述。本章闡述數據新聞的概念、數據新聞制作人纔的需求、數據新聞技術要求和制作流程，後展示並點評了近期數據新聞獎的獲獎作品。

第2 章獲取數據。本章講解獲取數據的方法和具體途徑，包括政府、國際組織與第三方機構數據的獲取，政府信息公開數據的申請，眾包搜集數據及搜索引擎的使用，後講解數據的存儲和綜合案例。

第3 章清理和分析數據。本章分析“髒數據”的成因及其表現形式，基於OpenRefine 環境清理“髒數據”，使用Excel 簡單分析數據，闡明數據清理原則和綜合案例。

第4 章數據質量分析。本章講解評估數據合理性的外部合理性檢查和內部合理性檢查，以及遊程檢驗、抽樣分析、缺失數據的預測和時間序列預測。

第
5 章數據分析及可視化工具應用。本章闡明了數據可視化的概念，介紹常見的數據可視化工具。以Tableau
為例詳細講解了數據可視化的具體方法，包括創建個可視化作品、連接數據、數據視圖、高級分析、儀表板、故事和發布，後分析了三個優秀的
Tableau 作品。

第6 章其他數據新聞制作工具。本章講解其他常用的數據新聞制作工具，包括圖表繪制工具庫ECharts、標簽雲、關繫圖制作工具PeoplePlotr 和語義萬維網服務Open Calais，後使用 HTML5 網站制作模板將所有作品整合。

本書內容全面翔實，操作細節清楚，案例典型，方便學習，素材豐富，有利於強化讀者操作能力，提高專業技能。

讀前準備

    · Windows 操作繫統，互聯網接入， IE 瀏覽器、 Firefox 瀏覽器和 Chrome 瀏覽器。
    · 文本編輯器，如 Windows 中的記事本或者 EditPlus。
    · 微軟 Office 工具包中的 Excel，版本不限。
    · 安裝 Java 環境，具體參見本書 3.3.1 小節。
    · 如果是大中專學生，可以提前申請 Tableau 免費一年使用權。

排版約定

    · 菜單項的名稱放在【】中，如單擊【分析】 |【創建計算字段】選項。
    · 代碼使用 Courier New 字體並增加陰影，例如：
    series: [{ //設置繫列列表
    name: '銷量', //設置圖表繫列的名稱
    type: 'line', //設置圖表類型是折線圖
    data: [5, 20, 36, 10, 10, 20]//設置繫列數據}]
    · 使用“ ”表示快捷鍵的組合，如按【Ctrl】【C】快捷鍵。
    · 沒有特殊說明時，單擊和雙擊分別表示鼠標左鍵單擊和雙擊。

感謝

首先，感謝購買本書的讀者。您的閱讀是我寫作動力的源泉。數據新聞發展較快，真心希望您在閱讀本書後提出寶貴的意見，我們可以共同分析探討問題，為後續圖書的撰寫提供素材和經驗。

其次，感謝我的愛人和父母。在寫作困難的時候，是他們為我鼓勁加油，支持我完成書稿。父母年邁，但很開心地戴著老花鏡幫我校稿。

後，感謝電子工業出版社的張慧敏編輯、楊嘉媛編輯和戴新編輯，她們的嚴謹細致和辛勤努力保證了本書的順利出版。

聯繫作者

如果您對本書有想法和意見，或者想與作者探討某個問題，請發送電子郵件至yinghliu@163.com。

劉英華

2016 年8 月於北京

在線試讀

1.數據新聞制作入門級工具
圖片、音頻和視頻編輯工具。數據新聞中往往包含多媒體信息，對新聞圖片處理的常用操`作包括裁剪照片；加光和減光，即將照片的局部加黑或增亮；修掉照片上由於洗印、掃描、打印而產生的污點Excel 是所有數據新聞工作者必須掌握的一個入門級數據分析工具。它用於對數據做簡單的清理，如使用函數、分類彙總清理重復記錄（案例參見本書3.6.1 小節“查找重復記錄”），使用函數刪除多餘空格、轉換數據類型等，使用分類彙總、排序、數據透視表等完成初步數據分析。
可視化工具Tableau。Tableau 是一個數據發現、數據分析和數據敘事的數據可視化平臺，是數據新聞工作者的入門可視化工具。Tableau 將數據運算與美觀的圖表完美地結合在一起。它方便地實現了數據連接，無需編程就可以創建地圖、條形圖、散點圖和其他圖形，還可以制作數據地圖等。
可視化工具Datawrapper。Datawrapper 是一個在線工具，它可以幫助用戶創建交互式數據可視化。這是一個開源工具，能在幾分鐘內創建可嵌入的圖標。因為它是開源的，任何人都可以貢獻代碼，軟件會不斷改進。它還包含一個非常棒的圖表庫，可以查看其他人使用Datawrapper 完成的作品。
2．數據新聞制作高級工具
爬蟲編寫工具Python。Python 是一種面向對像、語法簡潔、大小寫敏感的解釋型計算機程序設計語言。它完全免費，簡單易學。如果完成同一個任務，假設用C 語言要編寫1000 行代碼，用Java可能隻需要編寫100 行，而用Python 可能隻需要編寫20 行。讀者可以到官方網站1下載程序並安裝，有很多文檔資源也可以在官方網站上找到。制作數據新聞時經常使用Python 語言編寫爬蟲程序，從其他網站抓取數據。對數據新聞工作者來說，學習Python 語言的難點是理解正則表達式，可以參考本書3.3.13 小節“正則表達式”。
數據分析工具SPSS。SPSS（Statistical Product and Service Solutions）是世界上早的統計分析軟件之一，它是一個專業級的統計分析、數據挖掘、預測分析和決策支持任務的軟件產品。數據新聞制作中經常使用SPSS 實現專業級統計分析和統計圖標。有時候獲取的數據存在亂碼，導入SPSS中再導出即可完美解決該問題。例如，本書2.5.4 小節“結構化信息表格化”中使用import.io 下載抓取CSV 的文件有亂碼，就可以用上述方法解決。
數據分析工具R 語言。R 語言是用於統計分析、繪圖的語言和操作環境。R 語言屬於GNU 繫統，是完全免費而且源代碼開放的軟件，數據新聞制作時經常使用R 語言進行統計計算、數據分析和統計制圖。

1.數據新聞制作入門級工具

圖
片、音頻和視頻編輯工具。數據新聞中往往包含多媒體信息，對新聞圖片處理的常用操`作包括裁剪照片；加光和減光，即將照片的局部加黑或增亮；修掉照片上由
於洗印、掃描、打印而產生的污點Excel
是所有數據新聞工作者必須掌握的一個入門級數據分析工具。它用於對數據做簡單的清理，如使用函數、分類彙總清理重復記錄（案例參見本書3.6.1
小節“查找重復記錄”），使用函數刪除多餘空格、轉換數據類型等，使用分類彙總、排序、數據透視表等完成初步數據分析。

可
視化工具Tableau。Tableau 是一個數據發現、數據分析和數據敘事的數據可視化平臺，是數據新聞工作者的入門可視化工具。Tableau
將數據運算與美觀的圖表完美地結合在一起。它方便地實現了數據連接，無需編程就可以創建地圖、條形圖、散點圖和其他圖形，還可以制作數據地圖等。

可
視化工具Datawrapper。Datawrapper
是一個在線工具，它可以幫助用戶創建交互式數據可視化。這是一個開源工具，能在幾分鐘內創建可嵌入的圖標。因為它是開源的，任何人都可以貢獻代碼，軟件會
不斷改進。它還包含一個非常棒的圖表庫，可以查看其他人使用Datawrapper 完成的作品。

2．數據新聞制作高級工具

爬
蟲編寫工具Python。Python
是一種面向對像、語法簡潔、大小寫敏感的解釋型計算機程序設計語言。它完全免費，簡單易學。如果完成同一個任務，假設用C 語言要編寫1000
行代碼，用Java可能隻需要編寫100 行，而用Python 可能隻需要編寫20
行。讀者可以到官方網站1下載程序並安裝，有很多文檔資源也可以在官方網站上找到。制作數據新聞時經常使用Python
語言編寫爬蟲程序，從其他網站抓取數據。對數據新聞工作者來說，學習Python 語言的難點是理解正則表達式，可以參考本書3.3.13
小節“正則表達式”。

數據分析工具SPSS。SPSS（Statistical
Product and Service
Solutions）是世界上早的統計分析軟件之一，它是一個專業級的統計分析、數據挖掘、預測分析和決策支持任務的軟件產品。數據新聞制作中經常使用
SPSS 實現專業級統計分析和統計圖標。有時候獲取的數據存在亂碼，導入SPSS中再導出即可完美解決該問題。例如，本書2.5.4
小節“結構化信息表格化”中使用import.io 下載抓取CSV 的文件有亂碼，就可以用上述方法解決。

數據分析工具R 語言。R 語言是用於統計分析、繪圖的語言和操作環境。R 語言屬於GNU 繫統，是完全免費而且源代碼開放的軟件，數據新聞制作時經常使用R 語言進行統計計算、數據分析和統計制圖。

數
據可視化工具D3.js。JavaScript 是一種直譯式腳本語言，而D3.js 是一個JavaScript
庫，可以通過數據來操作文檔。D3.js 通過使用HTML、SVG 和CSS 把數據鮮活、形像地展現出來。D3.js 嚴格遵循Web
標準，所以其開發的程序兼容主流瀏覽器。數據新聞制作時經常使用D3.js 編寫代碼，實現在網絡上呈現數據的可視化效果，如使用D3.js
制作動態圖表和漂亮的動態網頁地圖等。學習D3.js 對非IT 人士的確是個挑戰，但ECharts2完美地解決了這個問題。ECharts
開源來自百度商業前

端數據可視化團隊，基於HTML5 Canvas，是一個純JavaScript 圖表庫，提供直觀、生動、可交互、可個性化定制的數據可視化圖表。用戶可以簡單修改代碼完成數據可視化，內容詳見本書6.1 節“圖表繪制工具庫ECharts”。

書摘插畫

商品搜索

商品分类

【醫學】

【各大出版社】