了得網計算機/網絡_大數據預處理技術

編輯推薦

數據預處理是數據挖掘中必不可少的關鍵一步，更是進行數據挖掘前的準備工作，一方面保證挖掘數據的正確性和有效性；另一方面通過對數據格式和內容的調整，使數據更符合挖掘的需要。

內容簡介

作者針對大數據問題，分析如何進行大數據的導入，如何使用大數據工具進行快速的數據預處理，以及如何構建數據倉庫。詳細講解了Kettle工具的使用、數據集成、Kettle作業項設計等。

作者簡介

許桂秋男，85年出生，計算機學士，工商管理碩士。 2009年-2012年，中國石油天然氣股份有限公司，負責項目管理工作，企業內部高級講師； 2012年-2015年，曙光信息產業股份有限公司，負責項目管理與企業內部培訓工作，企業內部高級講師； 2016年至今，曙光瑞翼教育合作中心，教學運營總監，負責各高校合作項目部的具體運營管理及指導工作。

第1章數據預處理概述1

1.1數據預處理的背景與目的1

1.1.1數據預處理的背景：數據質量1

1.1.2數據預處理的目的3

1.2數據預處理的流程3

1.2.1數據清理3

1.2.2數據集成5
第1章數據預處理概述1

1.1數據預處理的背景與目的1

1.1.1數據預處理的背景：數據質量1

1.1.2數據預處理的目的3

1.2數據預處理的流程3

1.2.1數據清理3

1.2.2數據集成5

1.2.3數據變換6

1.2.4數據歸約8

1.2.5數據預處理的注意事項12

1.3數據預處理的工具12

第2章Kettle工具的初步使用14

2.1Kettle的安裝14

2.1.1Java的安裝14

2.1.2Kettle的下載安裝與Spoon的啟動19

2.2Kettle的使用19

2.2.1轉換的基本概念19

2.2.2個轉換案例21

第3章基於Kettle的數據導入與導出42

3.1基於文件的數據導入與導出42

3.1.1文本文件的導入與導出42

3.1.2文本文件的導入與導出案例43

3.1.3Excel文件的導入與導出49

3.1.4Excel文件的導入與導出案例50

3.1.5XML文件的導入與導出57

3.1.6XML文件的導入與導出案例57

3.1.7JSON文件的導入與導出62

3.1.8JSON文件的導入與導出案例62

3.2基於數據庫的數據導入與導出66

3.2.1關繫型數據庫的數據導入與導出67

3.2.2MySQL數據庫的數據導入與導出案例69

3.3基於Web的數據導入與導出75

3.3.1HTML數據的導入與導出76

3.3.2HTML數據的導入與導出案例76

3.3.3基於HTTP GET請求的導入與導出80

3.3.4基於HTTP GET請求的導入與導出案例80

3.4基於CDC變更數據的導入與導出83

3.4.1基於源數據的CDC83

3.4.2基於源數據的CDC案例84

3.4.3基於觸發器的CDC95

3.4.4基於觸發器的CDC案例95

3.4.5基於快照的CDC105

3.4.6基於快照的CDC案例105

3.4.7基於日志的CDC109

3.4.8基於日志的CDC案例109

第4章數據清理112

4.1數據清理概述112

4.1.1常用的數據清理步驟112

4.1.2字符串清理113

4.1.3字段清理118

4.1.4使用參照表清理數據125

4.1.5數據校驗130

4.2數據排重134

4.2.1如何識別重復數據135

4.2.2去除完全重復數據135

4.2.3去除不完全重復數據136

4.3使用腳本組件進行數據清理140

4.3.1使用JavaScript代碼組件清理數據140

4.3.2使用正則表達式組件清理數據142

4.3.3使用其他腳本組件清理數據145

第5章Kettle作業設計150

5.1作業的概念及組成151

5.1.1作業項151

5.1.2跳152

5.1.3注釋152

5.2作業的執行方式152

5.2.1回溯152

5.2.2多路徑和回溯153

5.2.3並行執行153

5.3作業的創建及常用作業項154

5.3.1創建作業155

5.3.2“START”作業項155

5.3.3“作業”作業項156

5.3.4“轉換”作業項158

5.4變量158

5.4.1定義變量159

5.4.2使用變量160

5.5監控161

5.5.1日志161

5.5.2郵件通知162

5.6命令行啟動163

5.7作業實驗165

第6章構建數據倉庫193

6.1構建維度表193

6.1.1管理各種鍵193

6.1.2維度表的加載197

6.1.3緩慢變化維度198

6.2構建事實表203

6.2.1批量加載203

6.2.2查找維度206

6.2.3事實表的處理207

第7章基於Python的數據導入與導出216

7.1Pandas216

7.1.1Series216

7.1.2DataFrame219

7.2文本文件的導入與導出220

7.2.1導入CSV文件221

7.2.2導出CSV文件223

7.2.3JSON格式數據的導入與導出224

7.3二進制文件的導入與導出225

7.4數據庫的導入與導出226

7.4.1關繫型數據庫的導入與導出226

7.4.2非關繫型數據庫的導入與導出227

第8章基於Python的數據整理231

8.1合並多個數據集231

8.1.1使用key進行DataFrame合並231

8.1.2使用index進行DataFrame合並234

8.1.3沿著橫軸或縱軸串接235

8.2數據重塑237

8.2.1多級索引數據的重塑238

8.2.2應用pivot方法重塑數據239

8.3數據轉換242

8.3.1移除重復數據242

8.3.2利用函數或映射進行數據轉換243

8.3.3值轉換243

8.3.4重命名軸索引244

8.3.5離散劃分245

8.3.6檢測或過濾異常值247

8.3.7排列和隨機采樣248

8.3.8計算指標/啞變量249

參考文獻253

商品搜索

商品分类

【醫學】

【各大出版社】