第1章 將表格數據導入Pandas中 1
1.1 技術要求 1
1.2 導入CSV文件 2
1.2.1 準備工作 2
1.2.2 實戰操作 3
1.2.3 原理解釋 5
1.2.4 擴展知識 6
1.2.5 參考資料 7
1.3 導入Excel文件 7
1.3.1 準備工作 8
1.3.2 實戰操作 8
1.3.3 原理解釋 13
1.3.4 擴展知識 13
1.3.5 參考資料 14
1.4 從SQL數據庫中導入數據 14
1.4.1 準備工作 15
1.4.2 實戰操作 15
1.4.3 原理解釋 19
1.4.4 擴展知識 21
1.4.5 參考資料 21
1.5 導入SPSS、Stata和SAS數據 21
1.5.1 準備工作 22
1.5.2 實戰操作 22
1.5.3 原理解釋 28
1.5.4 擴展知識 29
1.5.5 參考資料 30
1.6 導入R數據 30
1.6.1 準備工作 30
1.6.2 實戰操作 31
1.6.3 原理解釋 33
1.6.4 擴展知識 34
1.6.5 參考資料 34
1.7 保留表格數據 35
1.7.1 準備工作 36
1.7.2 實戰操作 36
1.7.3 原理解釋 39
1.7.4 擴展知識 39
第2章 將HTML和JSON導入Pandas中 41
2.1 技術要求 41
2.2 導入簡單的JSON數據 41
2.2.1 準備工作 42
2.2.2 實戰操作 42
2.2.3 原理解釋 47
2.2.4 擴展知識 48
2.3 通過API導入更復雜的JSON數據 48
2.3.1 準備工作 49
2.3.2 實戰操作 50
2.3.3 原理解釋 52
2.3.4 擴展知識 53
2.3.5 參考資料 53
2.4 從網頁中導入數據 53
2.4.1 準備工作 54
2.4.2 實戰操作 55
2.4.3 原理解釋 58
2.4.4 擴展知識 59
2.5 持久保存JSON數據 59
2.5.1 準備工作 60
2.5.2 實戰操作 60
2.5.3 原理解釋 62
2.5.4 擴展知識 63
第3章 衡量數據好壞 65
3.1 技術要求 66
3.2 初步了解數據 66
3.2.1 準備工作 66
3.2.2 實戰操作 67
3.2.3 原理解釋 70
3.2.4 擴展知識 71
3.2.5 參考資料 71
3.3 選擇和組織列 71
3.3.1 準備工作 72
3.3.2 實戰操作 72
3.3.3 原理解釋 77
3.3.4 擴展知識 77
3.3.5 參考資料 78
3.4 選擇行 79
3.4.1 準備工作 79
3.4.2 實戰操作 79
3.4.3 原理解釋 86
3.4.4 擴展知識 87
3.4.5 參考資料 87
3.5 生成分類變量的頻率 87
3.5.1 準備工作 88
3.5.2 實戰操作 88
3.5.3 原理解釋 91
3.5.4 擴展知識 92
3.6 生成連續變量的摘要統計信息 92
3.6.1 準備工作 92
3.6.2 實戰操作 93
3.6.3 原理解釋 95
3.6.4 參考資料 96
第4章 識別缺失值和離群值 97
4.1 技術要求 97
4.2 尋找缺失值 97
4.2.1 準備工作 98
4.2.2 實戰操作 98
4.2.3 原理解釋 101
4.2.4 參考資料 101
4.3 用一個變量識別離群值 102
4.3.1 準備工作 102
4.3.2 實戰操作 102
4.3.3 原理解釋 109
4.3.4 擴展知識 109
4.3.5 參考資料 110
4.4 識別雙變量關繫中的離群值和意外值 110
4.4.1 準備工作 111
4.4.2 實戰操作 112
4.4.3 原理解釋 118
4.4.4 擴展知識 119
4.4.5 參考資料 119
4.5 檢查變量關繫中的邏輯不一致情況 119
4.5.1 準備工作 119
4.5.2 實戰操作 120
4.5.3 原理解釋 126
4.5.4 參考資料 126
4.6 使用線性回歸來確定具有重大影響的數據點 126
4.6.1 準備工作 127
4.6.2 實戰操作 127
4.6.3 原理解釋 129
4.6.4 擴展知識 130
4.7 使用k近鄰算法找到離群值 130
4.7.1 準備工作 130
4.7.2 實戰操作 131
4.7.3 原理解釋 133
4.7.4 擴展知識 133
4.7.5 參考資料 134
4.8 使用隔離森林算法查找異常 134
4.8.1 準備工作 134
4.8.2 實戰操作 134
4.8.3 原理解釋 137
4.8.4 擴展知識 138
4.8.5 參考資料 138
第5章 使用可視化方法識別意外值 139
5.1 技術要求 139
5.2 使用直方圖檢查連續變量的分布 140
5.2.1 準備工作 140
5.2.2 實戰操作 141
5.2.3 原理解釋 146
5.2.4 擴展知識 147
5.3 使用箱形圖識別連續變量的離群值 147
5.3.1 準備工作 148
5.3.2 實戰操作 148
5.3.3 原理解釋 153
5.3.4 擴展知識 153
5.3.5 參考資料 153
5.4 使用分組的箱形圖發現特定組中的意外值 154
5.4.1 準備工作 154
5.4.2 實戰操作 154
5.4.3 原理解釋 159
5.4.4 擴展知識 159
5.4.5 參考資料 160
5.5 使用小提琴圖檢查分布形狀和離群值 160
5.5.1 準備工作 160
5.5.2 實戰操作 161
5.5.3 原理解釋 165
5.5.4 擴展知識 166
5.5.5 參考資料 166
5.6 使用散點圖查看雙變量關繫 166
5.6.1 準備工作 167
5.6.2 實戰操作 167
5.6.3 原理解釋 172
5.6.4 擴展知識 173
5.6.5 參考資料 173
5.7 使用折線圖檢查連續變量的趨勢 173
5.7.1 準備工作 173
5.7.2 實戰操作 173
5.7.3 原理解釋 178
5.7.4 擴展知識 179
5.7.5 參考資料 179
5.8 根據相關性矩陣生成熱圖 179
5.8.1 準備工作 180
5.8.2 實戰操作 180
5.8.3 原理解釋 182
5.8.4 擴展知識 183
5.8.5 參考資料 183
第6章 使用Series操作清洗和探索數據 185
6.1 技術要求 186
6.2 從Pandas Series中獲取值 186
6.2.1 準備工作 186
6.2.2 實戰操作 187
6.2.3 原理解釋 190
6.3 顯示Pandas Series的摘要統計信息 190
6.3.1 準備工作 191
6.3.2 實戰操作 191
6.3.3 原理解釋 193
6.3.4 擴展知識 195
6.3.5 參考資料 195
6.4 更改Series值 195
6.4.1 準備工作 195
6.4.2 實戰操作 195
6.4.3 原理解釋 198
6.4.4 擴展知識 199
6.4.5 參考資料 199
6.5 有條件地更改Series值 199
6.5.1 準備工作 199
6.5.2 實戰操作 200
6.5.3 原理解釋 203
6.5.4 擴展知識 205
6.5.5 參考資料 206
6.6 評估和清洗字符串Series數據 206
6.6.1 準備工作 206
6.6.2 實戰操作 206
6.6.3 原理解釋 210
6.6.4 擴展知識 211
6.7 處理日期 211
6.7.1 準備工作 211
6.7.2 實戰操作 212
6.7.3 原理解釋 216
6.7.4 參考資料 217
6.8 識別和清洗缺失的數據 217
6.8.1 準備工作 217
6.8.2 實戰操作 217
6.8.3 原理解釋 221
6.8.4 擴展知識 221
6.8.5 參考資料 221
6.9 使用k近鄰算法填充缺失值 222
6.9.1 準備工作 222
6.9.2 實戰操作 222
6.9.3 原理解釋 223
6.9.4 擴展知識 224
6.9.5 參考資料 224
第7章 聚合時修復混亂數據 225
7.1 技術要求 226
7.2 使用itertuples遍歷數據 226
7.2.1 準備工作 226
7.2.2 實戰操作 227
7.2.3 原理解釋 229
7.2.4 擴展知識 230
7.3 使用NumPy數組按組計算彙總 231
7.3.1 準備工作 231
7.3.2 實戰操作 231
7.3.3 原理解釋 233
7.3.4 擴展知識 234
7.3.5 參考資料 234
7.4 使用groupby組織數據 234
7.4.1 準備工作 234
7.4.2 實戰操作 234
7.4.3 原理解釋 237
7.4.4 擴展知識 237
7.5 通過groupby使用更復雜的聚合函數 237
7.5.1 準備工作 238
7.5.2 實戰操作 238
7.5.3 原理解釋 242
7.5.4 擴展知識 243
7.5.5 參考資料 244
7.6 結合groupby使用用戶定義的函數 244
7.6.1 準備工作 244
7.6.2 實戰操作 244
7.6.3 原理解釋 247
7.6.4 擴展知識 247
7.6.5 參考資料 248
7.7 使用groupby更改DataFrame的分析單位 248
7.7.1 準備工作 249
7.7.2 實戰操作 249
7.7.3 原理解釋 250
第8章 組合DataFrame 251
8.1 技術要求 252
8.2 垂直組合DataFrame 252
8.2.1 準備工作 252
8.2.2 實戰操作 253
8.2.3 原理解釋 256
8.2.4 參考資料 256
8.3 進行一對一合並 256
8.3.1 準備工作 258
8.3.2 實戰操作 258
8.3.3 原理解釋 262
8.3.4 擴展知識 263
8.4 按多列進行一對一合並 263
8.4.1 準備工作 263
8.4.2 實戰操作 263
8.4.3 原理解釋 266
8.4.4 擴展知識 266
8.5 進行一對多合並 266
8.5.1 準備工作 267
8.5.2 實戰操作 267
8.5.3 原理解釋 271
8.5.4 擴展知識 271
8.5.5 參考資料 271
8.6 進行多對多合並 271
8.6.1 準備工作 272
8.6.2 實戰操作 272
8.6.3 原理解釋 276
8.6.4 擴展知識 277
8.7 開發合並例程 277
8.7.1 準備工作 277
8.7.2 實戰操作 278
8.7.3 原理解釋 279
8.7.4 參考資料 280
第9章 規整和重塑數據 281
9.1 技術要求 282
9.2 刪除重復的行 282
9.2.1 準備工作 282
9.2.2 實戰操作 283
9.2.3 原理解釋 285
9.2.4 擴展知識 286
9.2.5 參考資料 286
9.3 修復多對多關繫 286
9.3.1 準備工作 287
9.3.2 實戰操作 287
9.3.3 原理解釋 291
9.3.4 擴展知識 292
9.3.5 參考資料 292
9.4 使用stack和melt將數據由寬變長 292
9.4.1 準備工作 293
9.4.2 實戰操作 293
9.4.3 原理解釋 297
9.5 使用wide_to_long處理多列 297
9.5.1 準備工作 297
9.5.2 實戰操作 297
9.5.3 原理解釋 299
9.5.4 擴展知識 299
9.6 使用unstack和pivot將數據由長變寬 300
9.6.1 準備工作 300
9.6.2 實戰操作 300
9.6.3 原理解釋 302
第10章 用戶定義的函數和類 303
10.1 技術要求 303
10.2 用於查看數據的函數 303
10.2.1 準備工作 304
10.2.2 實戰操作 304
10.2.3 原理解釋 307
10.2.4 擴展知識 308
10.3 用於顯示摘要統計信息和頻率的函數 308
10.3.1 準備工作 308
10.3.2 實戰操作 309
10.3.3 原理解釋 313
10.3.4 擴展知識 313
10.3.5 參考資料 313
10.4 識別離群值和意外值的函數 314
10.4.1 準備工作 314
10.4.2 實戰操作 315
10.4.3 原理解釋 319
10.4.4 擴展知識 319
10.4.5 參考資料 319
10.5 聚合或合並數據的函數 319
10.5.1 準備工作 320
10.5.2 實戰操作 320
10.5.3 原理解釋 325
10.5.4 擴展知識 325
10.5.5 參考資料 326
10.6 包含更新Series值邏輯的類 326
10.6.1 準備工作 326
10.6.2 實戰操作 326
10.6.3 原理解釋 330
10.6.4 擴展知識 331
10.6.5 參考資料 331
10.7 處理非表格數據結構的類 331
10.7.1 準備工作 332
10.7.2 實戰操作 333
10.7.3 原理解釋 336
10.7.4 擴展知識 336

本書是一本實用的數據清洗指南。從廣義上說，數據清洗被定義為準備數據進行分析所需的所有任務。它通常由在數據清洗過程中完成的任務組成，即導入數據、以診斷方式查看數據、識別異常值和意外值、估算和填充缺失值、規整數據等。本書每個秘笈都會引導讀者對原始數據執行特定的數據清洗任務。
目前市面上已經有許多非常好的Pandas書籍，但是本書有自己的特色，我們將重點放在實戰操作和原理解釋上。
由於Pandas還相對較新，因此我們所學到的有關清洗數據的經驗是受使用其他工具的經驗影響的。大約在2012年，作者開始使用Python和R適應其時的工作需要，在21世紀初主要使用的是C#和T-SQL，在20世紀90年代主要使用的是SAS和Stata，在20世紀80年代主要使用的是FORTRAN和Pascal。本書的大多數讀者可能都有使用各種數據清洗和分析工具的經驗。
無論你喜歡使用什麼工具，其重要性都比不上數據準備任務和數據屬性。如果讓作者撰寫《SAS數據清洗秘笈》或《R數據清洗秘笈》，那麼討論的主題也幾乎是一樣的。本書隻是采用與Python/Pandas相關的方法來解決分析師數十年來面臨的相同數據清洗挑戰。
在討論如何使用Python生態繫統中的工具（Pandas、NumPy、Matplotlib和SciPy等）進行處理之前，作者會在每章的開頭介紹如何思考特定的數據清洗任務。在每個秘笈中，作者會介紹它對於數據發現的含義。
本書嘗試將工具和目的連接起來。例如，我們闡釋偏度和峰度之類的概念，這對於處理離群值是非常重要的，同時我們又介紹箱形圖等可視化工具，強化讀者對於偏度和峰度等概念的理解。
本書讀者
本書適合那些尋求使用不同的Python工具和技術處理混亂數據的讀者。本書采用基於秘笈的方法來幫助讀者學習如何清洗和管理數據。要充分理解本書操作，你應該掌握一定的Python編程知識。
內容介紹
本書共包含10章，具體內容如下。
第1章“將表格數據導入Pandas中”，探討將CSV文件、Excel文件、關繫數據庫表、SPSS、Stata和SAS文件以及R文件等加載到Pandas DataFrame中的工具。
第2章“將HTML和JSON導入Pandas中”，討論讀取和規範化JSON數據以及從網頁抓取數據的技術。
第3章“衡量數據好壞”，介紹在DataFrame中定位、選擇列和行以及生成摘要統計信息的常用技術。
第4章“識別缺失值和離群值”，探討如何采用不同的策略來識別整個DataFrame和選定組中的缺失值和離群值。
第5章“使用可視化方法識別意外值”，演示如何使用Matplotlib和Seaborn工具來可視化關鍵變量的分布方式，常見的可視化方法包括直方圖、箱形圖、散點圖、折線圖和小提琴圖等。
第6章“使用Series操作清洗和探索數據”，討論如何基於一個或多個Series的值，使用標量、算術運算和條件語句更新Pandas繫列。
第7章“聚合時修復混亂數據”，演示按分組彙總數據的多種方法，並討論多種聚合方法之間的區別。
第8章“組合DataFrame”，探討用於連接和合並數據的不同策略，以及合並數據時可能遇到的常見問題。
第9章“規整和重塑數據”，詳細介紹若干種用於刪除重復數據、堆疊、合並和旋轉的策略。
第10章“用戶定義的函數和類”，探討如何通過函數和類的形式將前9章中的許多技術轉變為可重用的代碼。
充分利用本書
要充分利用本書，你需要具備有關Python編程的一些基礎知識。另外，也可以使用Google Colab（免費的Jupyter Notebook環境，雲端運行，通過瀏覽器即可使用，可以編寫和執行代碼，保存和共享分析結果）。
編寫體例
本書大多數章節以秘笈形式編寫，每一節就是一個秘笈，每個秘笈中又分別包括“準備工作”“實戰操作”“原理解釋”“擴展知識”“參考資料”小節（部分秘笈不包含“擴展知識”和“參考資料”），使讀者既能學習Pandas實用操作，又能了解其相關知識和原理，真正理解和掌握數據清洗技巧。