第1章 緒論

1.1 數據挖掘產生的背景

1.1.1 技術背景

1.1.2 理論基礎

1.1.3 數據挖掘相關概念

1.2 數據挖掘知識基礎

1.2.1 基本概念及特點

1.2.2 數據集

1.2.3 功能與分類

1.2.4 任務與過程

1.2.5 方法與步驟

1.3 數據挖掘簡史與現狀

1.3.1 簡史

1.3.2 現狀

1.4 數據挖掘的技術工具

1.4.1 技術工具

1.4.2 工具選擇

1.5 數據挖掘的應用

1.5.1 典型應用

1.5.2 高級應用

1.6 技術難點與發展趨勢

1.6.1 常見誤解

1.6.2 技術難點

1.6.3 發展趨勢

1.7 本章小結

思考題

第2章 概率統計理論基礎

2.1 引言

2.2 概率統計知識基礎

2.3 隨機變量的分布函數

2.3.1 多維隨機變量

2.3.2 條件分布

2.4 統計推理

2.5 參數估計

2.5.1 估計理論

2.5.2 似然估計

2.5.3 貝葉斯估計

2.6 假設檢驗

2.7 數據采樣方法

2.8 本章小結

思考題

第3章 數據挖掘效果評價

3.1 引言

3.2 模型的評分函數

3.2.1 基本概念

3.2.2 預測模型的評分函數

3.2.3 描述模型的評分函數

3.3 模型的比較與驗證

3.3.1 模型比較

3.3.2 模型驗證

3.4 模型的性能提升

3.4.1 增量學習

3.4.2 半監督學習

3.4.3 遷移學習

3.4.4 反模型

3.4.5 Boosting

3.5 模型的建立與使用

3.5.1 模型的建立

3.5.2 模型的理解

3.5.3 模型的使用

3.6 本章小結

思考題

第4章 數據預處理

4.1 引言

4.2 數據預處理知識基礎

4.3 數據清理

4.3.1 遺漏值

4.3.2 噪聲數據

4.3.3 不一致數據

4.4 數據集成

4.5 數據轉換

4.6 數據規約

4.6.1 數據方聚集

4.6.2 維歸約

4.6.3 數據壓縮

4.6.4 數值歸約

4.7 數據離散

4.8 應用實例分析

4.8.1 腹圍空缺數值歸一化彌補方法

4.8.2 Ⅱ型糖尿病數據預處理

4.9 本章小結

思考題

第5章 數據倉庫

5.1 引言

5.2 數據倉庫知識基礎

5.2.1 基本概念

5.2.2 基本作用

5.2.3 與數據挖據的關繫

5.3 數據倉庫中的模型

5.3.1 概念模型

5.3.2 物理模型

5.3數據模型

5.3.4 多維數據模型

5.4 數據倉庫繫統結構

5.4.1 組成

5.4.2 數據倉庫概念結構

5.4.3 數據倉庫結構類型

5.5 OLAP分析

5.5.1 知識基礎

5.5.2 多維分析

5.5.3 OLAP結構

5.5.4 多維數據庫

5.5.5 關繫數據庫

5.6 本章小結

思考題

第6章 數據分類分析

6.1 引言

6.2 分類分析知識基礎

6.2.1 基本概念

6.2.2 基本作用

6.2.3 評價方法

6.3 主要技術方法及分析

6.4 貝葉斯分類

6.4.1 樸素貝葉斯分類法

6.4.2 貝葉斯網絡

6.4.3 動態貝葉斯網絡

6.5 基於決策樹的算法

6.5.1 基本思想

6.5.2 ID3算法

6.5.3 C4.5算法

6.5.4 SLIQ算法

6.5.5 SPRINT算法

6.6 神經網絡與遺傳算法

6.6.1 神經網絡

6.6.2 遺傳算法

6.7 支持向量機

6.8 粗糙集與模糊集

6.8.1 粗糙集

6.8.2 模糊集

6.9 熵模型

6.10 應用實例分析

6.10.1 漢語句義類型識別

6.10.2 特定音頻事件識別

6.11 本章小結

思考題

第7章 數據聚類分析

7.1 引言

7.2 聚類分析知識基礎

7.2.1 基本概念

7.2.2 基本作用

7.2.3 近鄰測度

7.2.4 評價方法

7.3 主要技術方法及分析

7.4 基於劃分的算法

7.4.1 基本思想

7.4.2 K-means算法

7.4.3 K-medoids算法

7.4.4 CLARANS算法

7.5 基於層次的算法

7.5.1 基本思想

7.5.2 BIRCH算法

7.5.3 CURE算法

7.5.4 ROCK算法

7.5.5 Chameleon算法

7.6 基於密度的算法

7.6.1 基本思想

7.6.2 DBSCAN算法

7.6.3 OPTICS算法

7.6.4 DENCLUE算法

7.7 基於網格的算法

7.7.1 基本思想

7.7.2 STING算法

7.7.3 Wave Cluster算法

7.7.4 CLIQUE算法

7.8 基於模型的算法

7.8.1 基本思想

7.8.2 EM算法

7.8.3 COBWEB算法

7.8.4 自組織神經網絡

7.9 應用實例分析

7.9.1 鏡頭聚類

7.9.2 文本聚類

7.10 本章小結

思考題

第8章 關聯規則發現

8.1 引言

8.2 關聯規則發現知識基礎

8.2.1 基本概念

8.2.2 評價方法

8.2.3 注意事項

8.3 主要技術方法及分析

8.4 關聯規則的基本算法

8.4.1 Apriori算法

8.4.2 FP-樹頻集算法

8.4.3 CloSpan

8.5 並行和分布式關聯規則算法

8.5.1 並行關聯規則

8.5.2 分布式關聯規則

8.6 多層次關聯規則算法

8.7 數量關聯規則算法

8.8 應用實例分析——蠕蟲檢測

8.9 本章小結

思考題

第9章 統計預測方法

9.1 引言

9.2 統計預測方法知識基礎

9.3 主要技術方法及分析

9.4 回歸預測方法

9.4.1 線回歸

9.4.2 非線性回歸

9.5 Box-Jenkins回歸

9.6 隱馬模型

9.6.1 隱馬爾可夫模型

9.6.2 隱半馬爾可夫模型

9.7 應用實例分析

9.7.1 Ⅱ型糖尿病發病危險狀態預測

9.7.2 關鍵人物判定

9.8 本章小結

思考題

參考文獻

數據挖掘涉及內容非常廣泛，學科間相互交叉，互融關繫復雜，本書梳理了數據挖掘理論與技術的知識點，注重領域內核心思想、原理、方法的論述及國內外研究進展的融入，內容上繫統、全面、先進。在討論算法的同時引入應用實例，強調其應用方法包括算法特點、參數選擇、結果評價等方面的分析，理論聯繫實際，有利於算法的快速掌握和有效運用。


前    言

數據挖掘所涉及的內容非常廣泛，學科間相互交叉，互融關繫復雜。本書梳理了數據挖掘理論與技術的知識點，注重領域內核心思想、原理、方法的論述及國內外研究進展的融入，內容上繫統、全面、先進；在討論算法的同時引入應用實例，強調應用方法包括算法特點、參數選擇、結果評價等方面的分析，理論聯繫實際，有利於算法的快速掌握和有效運用。


本書經過長期醞釀，在總結多年的教學、應用經驗的基礎上認真構架而成，便於學生對數據挖掘技術的充分利用。全書共9章，各章的主要內容安排如下。


第1章緒論：包括數據挖掘的產生背景、知識基礎、歷史現狀，技術工具、典型應用、技術難點與發展趨勢等。

第2章概率統計理論基礎：包括概率統計知識基礎、隨機變量的分布函數、統計推理、參數估計、假設檢驗、數據采樣方法等。

第3章數據挖掘效果評價：包括模型的評分函數、模型的比較與驗證、模型性能提升方法、模型的建立與理解等。

第4章數據預處理：包括數據預處理知識基礎以及數據清理、數據集成、數據轉換、數據規約、數據離散、應用實例分析等。

第5章數據倉庫：包括數據倉庫知識基礎、數據倉庫中的模型、數據倉庫繫統結構、OLAP分析等。

第6章數據分類分析：主要包括分類分析的知識基礎、主要技術方法及分析、貝葉斯分類、基於決策樹的算法、神經網絡與遺傳算法、支持向量積、粗糙集與模糊集，熵模型、應用實例分析等。


第7章數據聚類分析：包括聚類分析的知識基礎、主要技術方法及分析，基於劃分、層次、密度、網格和模型的算法，應用實例分析等。

第8章關聯規則發現：包括關聯規則發現的知識基礎、主要技術方法及分析、關聯規則的基本算法、並行和分布式關聯規則算法、多層次關聯規則算法、數量關聯規則算法，應用實例分析等。


第9章統計預測方法：包括統計預測的知識基礎、主要技術方法及分析、回歸預測方法、時間序列預測、隱馬爾可夫模型、應用實例分析等。


本書由羅森林、馬俊、潘麗敏共同撰寫，羅森林負責整書的章節設計、內容規劃和統稿，其中第4、5、6章由潘麗敏負責撰寫，第7、8、9章由馬俊負責撰寫，其餘部分由羅森林負責撰寫。本書的應用實例分析主要為課題組科研成果，詳細內容可查閱相關學術論文或學位論論文。


在本書的編寫過程中，得到了仲順安教授、楊煜祥老師的幫助，陳功、郭峰、郭偉東、李金玉、劉盈盈、劉崢、韓磊、王坤、韓龍飛、張蕾、王倩、陳燕穎等也做了很多工作，在此一並表示衷心的感謝。同時，衷心感謝電子工業出版社曲昕編輯對本書詳細、認真的修改和熱情幫助。


由於時間所限，加之編著者能力範圍的限制，對於書中的不足和錯誤之處敬請廣大讀者批評指正，以便日漸完善。謝謝！

羅森林        

2012年10月於北京理工大學