作者攜手數據領域的強大智囊團為讀者貢獻的一本處理噪音數據的指南。

本書囊括眾多真實世界的應用案例以及高水平的方法和策略。

本書彙集國外數據社區的技術骨干和活躍分子的集體智慧，多位數據領域的專家共同揭示了如何處理棘手的數據問題的奧秘。

噪音數據就是那些"給你惹麻煩的數據"，從蹩腳的存儲到糟糕的說明，再到令人誤解的策略，有多重情況可能導致噪音數據。

那麼什麼纔是決定性因素呢？有人認為是技術方面的問題，比如缺失值或格式不對的記錄，但是噪音數據包含更多的問題。

本書介紹了多種有效的方式來應對噪音數據。在本書中，多位數據領域的專家共同揭示了如何處理棘手的數據問題的奧秘。

通過閱讀本書，你將學會：

測試你的數據，判斷它是否適合分析；

將電子表格數據轉變成可用的格式；

處理潛藏在文本數據裡的編碼問題；

進行一種成功的網絡搜集嘗試；

利用自然語言處理（NLP, Natural Language Processing）工具揭露線上評論的真實情感；

處理可以影響分析工作的雲計算問題；

避免那些制造數據分析障礙的策略；

采用一種繫統的數據質量分析方法。

Q．Ethan McCallum，是一位顧問、作家，也是一名科技愛好者。他幫助很多公司在數據和技術方面做出明智的決策，他為The O’Relly Network 和Java.net撰寫文章，並且為《C/C++Users Journal》《Doctor Dobb’s Journal》和《Linux Magazine》撰稿。

第1章 從頭說起：什麼是噪音數據\t1
第2章 是我的問題還是數據的問題\t4
2．1 理解數據結構\t5
2．2 校驗\t8
2．2．1 字段校驗\t8
2．2．2 值校驗\t9
2．2．3 簡單統計的物理解釋\t10
2．3 可視化\t11
2．3．1 關鍵詞競價排名示例\t13
2．3．2 搜索來源示例\t18
2．3．3 推薦分析\t19
2．3．4 時間序列數據\t22
2．4 小結\t27
第3章 數據是給人看的不是給機器看的\t28
3．1 數據\t28
3．1．1 問題：數據是給人看的\t29
3．1．2 對數據的安排\t29
3．1．3 數據分散在多個文件中\t32
3．2 解決方案：編寫代碼\t34
3．2．1 從糟糕的數據格式中讀取數據\t34
3．2．2 從多個文件中讀取數據\t36
3．3 附言\t42
3．4 其他格式\t43
3．5 小結\t45
第4章 純文本中潛在的噪音數據\t46
4．1 使用哪種純文本編碼？\t46
4．2 猜測文本編碼格式\t50
4．3 對文本規範化處理\t53
4．4 問題：在純文本中摻入了特定應用字符\t55
4．5 通過Python處理文本\t59
4．6 實踐練習題\t60
第5章 重組Web數據\t62
5．1 你能獲得數據嗎\t63
5．1．1 一般工作流程示例\t64
5．1．2 Robots 協議\t65
5．1．3 識別數據組織模式\t66
5．1．4 存儲離線版本\t68
5．1．5 網頁抓取信息\t69
5．2 真正的困難\t73
5．2．1 下載原始內容\t73
5．2．2 表單、對話框和新建窗口\t73
5．2．3 Flash\t74
5．3 不利情況的解決辦法\t75
5．4 小結\t75
第6章 檢測撒謊者以及相互矛盾網上評論的困惑\t76
6．1 Weotta公司\t76
6．2 獲得評論\t77
6．3 情感分類\t77
6．4 極化語言\t78
6．5 創建語料庫\t80
6．6 訓練分類器\t81
6．7 分類器驗證\t82
6．8 用數據設計\t84
6．9 經驗教訓\t84
6．10 小結\t85
6．11 信息資源\t86
第7章 請噪音數據站出來\t87
7．1 實例1：在制造業中減少缺陷\t87
7．2 實例2：誰打來的電話\t90
7．3 實例3：當“典型的”不等於“平均的”\t92
7．4 經驗總結\t95
7．5 到工廠參觀能成為試驗的一部分嗎\t96
第8章 血、汗和尿\t97
8．1 書獃子戲劇性工作交換\t97
8．2 化學家如何整理數字\t98
8．3 數據庫都是我們的\t99
8．4 仔細檢查\t102
8．5 生命短暫的漂亮代碼庫\t103
8．6 改變化學家（和其他電子表單濫用者）\t104
8．7 傳遞線（tl）和數據記錄器（dr）\t105
第9章 當數據與現實不匹配\t107
9．1 到底是誰的報價機\t108
9．2 股票分割、股利和調整\t110
9．3 糟糕的現實\t112
9．4 小結\t114
第10章 偏差和誤差的來源\t115
10．1 估算上的偏差：一般性的問題\t117
10．2 報告上的誤差：一般性的問題\t118
10．3 其他偏差來源\t121
10．3．1 頂層編碼/底部編碼\t121
10．3．2 Seam偏差\t122
10．3．3 代理報告\t123
10．3．4 樣本選擇\t123
10．4 結論\t124
參考文獻\t124
第11章 不要把完美和正確對立起來：噪音數據真是噪音嗎\t128
11．1 回憶學校生活\t128
11．2 向著專業領域前進\t129
11．2．1 政府工作\t130
11．2．2 政府數據非常真實\t131
11．3 應用實例—服務電話\t132
11．4 繼續前進\t133
11．5 經驗與未來展望\t134
第12章 數據庫攻擊：什麼時候使用文件\t135
12．1 歷史\t135
12．2 建立我的工具箱\t136
12．3 數據存儲—我的路障\t136
12．4 將文件作為數據存儲器\t137
12．4．1 簡單的文件\t138
12．4．2 文件處理一切\t138
12．4．3 文件可包含任何數據形式\t138
12．4．4 局部數據破壞\t139
12．4．5 文件擁有很棒的工具\t139
12．4．6 沒有安裝稅\t139
12．5 文件的概念\t140
12．5．1 編碼\t140
12．5．2 文本文件\t140
12．5．3 二進制數據\t140
12．5．4 內存映射文件\t140
12．5．5 文件格式\t140
12．5．6 分隔符\t142
12．6 文件支持的網絡框架\t143
12．6．1 動機\t143
12．6．2 實現\t145
12．7 反饋\t145
第13章 臥庫表，隱網絡\t146
13．1 成本分配模型\t147
13．2 組合展開微妙的作用\t150
13．3 隱藏網絡的浮現\t151
13．4 存儲圖表\t151
13．5 利用Gremlin遍歷圖表\t152
13．6 在網絡屬性裡尋找價值\t154
13．7 從多重數據模型角度考慮並使用正確的工具\t155
13．8 致謝\t155
第14章 雲計算神話\t156
14．1 關於雲的介紹\t156
14．2 何謂“雲”\t156
14．3 雲和大數據\t157
14．4 Fred的故事\t157
14．4．1 起初一切都好\t157
14．4．2 基礎結構全部放在雲端\t158
14．4．3 隨著規模增長，最初的擴展很輕松\t158
14．4．4 麻煩出現了\t158
14．4．5 需要提高性能\t158
14．4．6 關鍵要提高RAID 10性能\t158
14．4．7 重要的局部運行中斷引發長期停機\t159
14．4．8 有代價的RAID 10\t159
14．4．9 數據規模增大\t160
14．4．10 地理冗餘成為首選\t160
14．4．11 水平擴展並不像想像得那麼簡單\t160
14．4．12 成本顯著增長\t160
14．5 Fred的荒唐事\t161
14．5．1 神話1：雲是所有基礎設施組件的解決方案\t161
該神話與Fred故事的聯繫\t161
14．5．2 神話2：雲可以節約成本\t161
該神話與Fred的故事的聯繫\t162
14．5．3 神話3：通過RAID可以將cloud 10的性能提高至可接受的水平\t163
該神話與Fred故事的聯繫\t163
14．5．4 神話4：雲計算使水平擴展輕松\t163
該神話與Fred故事的聯繫\t164
14．6 結論和推薦\t164
第15章 數據科學的陰暗面\t165
15．1 避開這些陷阱\t165
15．1．1 對數據一無所知\t166
15．1．2 應該隻為數據科學家提供一種工具來解決所有問題\t167
15．1．3 應該為了分析而分析\t169
15．1．4 應該學會分享\t169
15．1．5 應該期望數據科學家無所不能\t170
15．2 數據學家在機構中的位置\t170
15．3 最後的想法\t171
第16章 如何雇傭機器學習專家\t172
16．1 確定問題\t172
16．2 模型測試\t173
16．3 創建訓練集\t174
16．4 選擇特征\t175
16．5 數據編碼\t176
16．6 訓練集、測試集和解決方案集\t176
16．7 問題描述\t177
16．8 回答問題\t178
16．9 整合解決方案\t178
16．10 小結\t179
第17章 數據的可追蹤性\t180
17．1 原因\t180
17．2 個人經驗\t181
17．2．1 快照\t181
17．2．2 保存數據源\t181
17．2．3 衡量數據源\t182
17．2．4 逆向恢復數據\t182
17．2．5 分階段處理數據並保持各階段的獨立性\t182
17．2．6 識別根源\t183
17．2．7 尋找要完善的區域\t183
17．3 不變性：從函數程序設計借來的理念\t183
17．4 案例\t184
17．4．1 網絡爬蟲\t184
17．4．2 改變\t185
17．4．3 聚類\t185
17．4．4 普及度\t185
17．5 小結\t186
第18章 社交媒體：是可抹去的印記嗎\t187
18．1 社交媒體：到底是誰的數據\t188
18．2 管控\t188
18．3 商業重組\t190
18．4 對溝通和表達的期望\t190
18．5 新的最終用戶期望的技術含義\t192
18．6 這個行業是做什麼的\t194
18．6．1 驗證API\t195
18．6．2 更新通知API\t195
18．7 最終用戶做什麼\t195
18．8 我們怎樣一起工作\t196
第19章 揭秘數據質量分析：了解什麼時候數據足夠優質\t197
19．1 框架介紹：數據質量分析的4個C\t198
19．1．1 完整性\t199
19．1．2 一致性\t201
19．1．3 準確性\t203
19．1．4 可解釋性\t205
19．2 結論\t208