●第1章 數據預處理概述11.1  數據預處理的背景與目的11.1.1 數據預處理的背景：數據質量11.1.2 數據預處理的目的31.2  數據預處理的流程31.2.1 數據清洗31.2.2 數據集成51.2.3 數據變換61.2.4 數據歸約91.2.5 數據預處理的注意事項141.3  數據預處理的工具14本章習題15第2章 Kettle工具的初步使用162.1  Kettle的安裝162.1.1 Java的安裝162.1.2 Kettle的下載安裝與Spoon的啟動202.2  Kettle的使用212.2.1 轉換的基本概念212.2.2 第一個轉換案例23本章習題42第3章 數據的導入與導出433.1  基於文件的數據導入與導出433.1.1 文本文件的導入與導出433.1.2 文本文件的導入與導出案例453.1.3 Excel文件的導入與導出513.1.4 Excel文件的導入與導出案例513.1.5 XML文件的導入與導出593.1.6 XML文件的導入與導出案例593.1.7 JSON文件的導入與導出643.1.8 JSON文件的導入與導出案例653.2  基於數據庫的數據導入與導出693.2.1 關繫數據庫的數據導入與導出693.2.2 MySQL數據庫的數據導入與導出案例713.3  基於Web的數據導入與導出783.3.1 HTML數據的導入與導出783.3.2 HTML數據的導入與導出案例793.3.3 基於HTTP GET請求的導入與導出833.3.4 基於HTTP GET請求的導入與導出案例833.4  基於CDC變更數據的導入與導出863.4.1 基於源數據的CDC863.4.2 基於源數據的CDC案例873.4.3 基於觸發器的CDC983.4.4 基於觸發器的CDC案例993.4.5 基於快照的CDC1093.4.6 基於快照的CDC案例1093.4.7 基於日志的CDC1133.4.8 基於日志的CDC案例113本章習題116第4章 數據清洗1174.1  數據清洗概述1174.1.1 Kettle常用的數據清洗步驟1174.1.2 字符串清理1194.1.3 字段清理1234.1.4 使用參照表清理數據1304.1.5 數據校驗1364.2  數據排重1414.2.1 如何識別重復數據1414.2.2 去除接近重復數據1424.2.3 去除不接近重復數據1444.3  使用腳本組件進行數據清洗1474.3.1 使用JavaScript代碼組件清理數據1474.3.2 使用正則表達式組件清理數據1494.3.3 使用其他腳本組件清理數據152本章習題156第5章 數據標注1575.1  數據標注簡介1575.1.1 數據標注是什麼1575.1.2 數據標注分類簡介1585.1.3 數據標注流程簡介1595.2  數據標注分類1605.2.1 圖像標注1615.2.2 文本標注1645.2.3 語音標注1665.3  數據標注質量檢驗1675.3.1 數據標注質量的影響1675.3.2 數據標注的質量標準1695.3.3 數據標注質量檢驗方法1725.4  圖像數據標注實戰1755.4.1 車輛車牌標注1755.4.2 遙感影像標注1805.4.3 醫療影像標注1845.4.4 行人數據標注1885.4.5 基於行人標注數據集的行人檢測1925.5  文本標注實戰198本章習題207第6章 Kettle作業設計2086.1  作業的概念及組成2096.1.1 作業項2096.1.2 跳2106.1.3 注釋2106.2  作業的執行方式2106.2.1 回溯2106.2.2 多路徑和回溯2116.2.3 並行執行2116.3  作業的創建及常用作業項2126.3.1 創建作業2136.3.2 “START”作業項2136.3.3 “作業”作業項2136.3.4 “轉換”作業項2156.4  變量2166.4.1 定義變量2166.4.2 使用變量2186.5  監控2186.5.1 日志2196.5.2 郵件通知2206.6  命令行啟動2216.7  作業實驗223本章習題252第7章 基於Kettle構建數據倉庫2537.1  數據倉庫的介紹2537.1.1 數據倉庫的起因2537.1.2 數據倉庫的發展2547.1.3 數據倉庫的定義2557.1.4 數據倉庫的特點2557.1.5 數據倉庫的結構2557.1.6 數據倉庫建模2567.1.7 數據倉庫與ETL的關繫2577.2  構建維度表2587.2.1 管理各種鍵2587.2.2 維度表的加載2627.2.3 緩慢變化維度2637.3  構建事實表2687.3.1 批量加載2687.3.2 查找維度2717.3.3 事實表的處理271本章習題280第8章 基於Python的數據導入與導出2818.1  Pandas2818.1.1 Series2828.1.2 DataFrame2848.2  文本文件的導入與導出2868.2.1 導入CSV文件2868.2.2 導出CSV文件2908.2.3 JSON格式數據的導入與導出2918.3  Excel文件的導入與導出2928.4  數據庫的導入與導出2928.4.1 關繫數據庫的導入與導出2938.4.2 非關繫數據庫的導入與導出294本章習題297第9章 基於Python的數據整理2989.1  合並多個數據集2989.1.1 使用鍵進行DataFrame合並2989.1.2 使用inde行DataFrame合並3029.1.3 沿著橫軸或縱軸串接3039.2  數據重塑3059.2.1 多級索引數據的重塑3059.2.2 應用pivot方法重塑數據3079.3  數據轉換3109.3.1 移除重復數據3109.3.2 利用函數或映射進行數據轉換3129.3.3 值轉換3129.3.4 重命名軸索引3139.3.5 離散劃分3149.3.6 檢測或過濾異常值3179.3.7 排列和隨機采樣3189.3.8 計算指標/啞變量319本章習題322

本書從實用的角度出發，采用理論與實踐相結合的方式，介紹樣本數據處理的基礎知識，力求培養讀者使用Python語言及Kettle軟件進行數據處理的能力。全書內容分別為數據預處理概述、Kettle工具的初步使用、數據的導入與導出、數據清洗、數據標注、Kettle作業設計、基於Kettle構建數據倉庫、基於Python的數據導入與導出、基於Python的數據整理。 本書作為人工智能學科相關的樣本數據處理技術的入門教材，目的不在於是覆蓋樣本數據處理技術的所有知識點，而是介紹樣本數據處理的主要應用，使讀者了解樣本數據處理的基本構成，以及如何應對不同數據類型的數據預處理工作。為了增強實踐效果，本書中引入了多個基礎技術案例及綜合實踐案例，以幫助讀者了解樣本數據處理涉及的基本技術的知識和技能。 本書可作為高等院校數據科學與大數據技術、計算機、信息管理等相關專業課程的教材，也可供對樣本數據處理技術感興趣的讀者等