第1章
大數據、數據挖掘與智慧運營綜述 1

1.1 數據挖掘的發展史 2

1.1.1 數據挖掘的定義與起源 2

1.1.2 數據挖掘的早期發展 3

1.1.3 數據挖掘的算法前傳 4

1.1.4 數據挖掘的個裡程碑 8

1.1.5 近十年的發展與應用 11

1.2 數據挖掘的主要流程與金字塔模型 13

1.2.1 數據挖掘的任務 14

1.2.2 數據挖掘的基本步驟 16

1.2.3 數據挖掘的架構——雲計算 17

1.2.4 “金字塔”模型 20

1.3 數據挖掘對智慧運營的意義 22

1.3.1 “互聯網 ”時代的來臨及其對運營商的衝擊和挑戰 22

1.3.2 大數據時代的來臨及其對運營商的挑戰和機遇
24

1.3.3 電信運營商運營發展面臨的主要瓶頸 26

1.3.4 電信運營商發展的“三條曲線” 27

1.3.5 智慧運營與大數據變現 29

1.3.6 數據挖掘對於提升智慧運營效率的意義 30

1.4 大數據時代已經來臨 31

1.4.1 大數據的定義 31

1.4.2 大數據的“4V”特征32

1.4.3 結構化數據與非結構化數據33

1.5 非結構化數據挖掘的研究進展  34

1.5.1 文本挖掘34

1.5.2 模式識別36

1.5.3 語音識別40

1.5.4 視頻識別44

1.5.5 其他非結構化數據挖掘48

1.6 數據挖掘與機器學習、深度學習、人工智能及雲計算  50

1.6.1 機器學習51

1.6.2 深度學習53

1.6.3 人工智能55

1.6.4 雲計算56

1.7 現有數據挖掘的主要分析軟件與繫統  61

1.7.1 Hadoop61

1.7.2 Storm 
63

1.7.3 Spark 
65

1.7.4 SPASS（SPSS） 66

1.7.5 SAS 
68

參考文獻  70

第2章數據統計與數據預處理73

2.1 數據屬性類型  74

2.1.1 數據屬性定義74

2.1.2 離散屬性74

2.1.3 連續屬性75

2.2 數據的統計特性  77

2.2.1 中心趨勢度量77

2.2.2 數據散布度量78

2.2.3 數據相關性82

2.3 數據預處理  87

2.3.1 數據預處理概述87

3.6 基於網格的聚類：CLIQUE  140

3.6.1 基於網格的聚類算法概述140

3.6.2 CLIQUE算法的基本原理141

3.6.3 CLIQUE算法的優勢與劣勢142

參考文獻  143

第4章分類分析 145

4.1 分類分析概述  146

4.2 分類分析的評估  148

4.3 決策樹分析  152

4.3.1 決策樹算法的基本原理152

4.3.2 CHAID決策樹160

4.3.3 ID3決策樹 167

4.3.4 C4.5決策樹171

4.3.5 CART 決策樹175

4.3.6 決策樹中的剪枝問題179

4.3.7 決策樹在SPSS中的應用180

4.4 近鄰分析（KNN）  185

4.4.1 KNN算法的基本原理185

4.4.2 KNN算法流程186

4.4.3 KNN算法的若干問題187

4.4.4 KNN分類器的特征188

4.4.5 KNN算法在SPSS中的應用 188

4.5 貝葉斯分析  191

4.5.1 貝葉斯定理191

4.5.2 樸素貝葉斯分類192

4.5.3 貝葉斯網絡195

4.6 神經網絡  199

4.6.1 感知器200

4.6.2 多重人工神經網絡201

4.6.3 人工神經網絡的特點203

4.7 支持向量機  204

第6章關聯分析 245

6.1 關聯分析概述  246

6.2 關聯分析的評估指標  247

6.2.1 支持度247

6.2.2 置信度248

6.2.3 算法復雜度248

6.3 Apriori 算法  249

6.3.1 頻繁項集的定義與產生249

6.3.2 先驗原理251

6.3.3 基於支持度的計數與剪枝252

6.3.4 候選項集生成253

6.3.5 基於置信度的剪枝259

6.3.6 Apriori算法規則生成 259

6.4 FP-tree 算法 261

6.4.1 頻繁模式樹261

6.4.2 FP-tree算法頻繁項集的產生263

6.4.3 FP-tree算法規則生成263

6.4.4 算法性能對比與評估264

6.5 SPSS Modeler 關聯分析實例  265

參考文獻  269

第7章增強型數據挖掘算法 271

7.1 增強型數據挖掘算法概述  272

7.1.1 組合方法的優勢272

7.1.2 構建組合分類器的方法272

7.2 隨機森林  273

7.2.1 隨機森林的原理273

7.2.2 隨機森林的優缺點276

7.2.3 隨機森林的泛化誤差276

7.2.4 輸入特征的選擇方法277

7.3 Bagging 算法  277

8.4.線性回歸建模350

8.4.5 制定層次化、個性化精準營銷方案351

8.4.6 落地效果評估與模型調優352

8.5 客戶保有  353

8.5.1 總結客戶流失的歷史規律354

8.5.2 細分潛在流失客戶群體357

8.5.3 客戶保有效益建模與決策359

8.5.4 落地效果評估361

8.6 投訴預警  363

8.6.1 客戶投訴現像分析363

8.6.2 挖掘潛在客戶群體366

8.6.3 制定個性化關懷方案368

8.7 網絡質量柵格化呈現  368

8.7.1 柵格化呈現的基本原理369

8.7.2 覆蓋柵格化370

8.7.3 基於流量聚簇的網絡優化策略372

8.8 無線室內定位  376

8.8.1 傳統室內定位方法376

8.8.2 基於Wi-Fi 信號的指紋定位算法 378

8.8.3 基於數據挖掘算法的改進定位方法379

參考文獻  383

第9章面向未來大數據的數據挖掘與機器學習發展趨勢 385

9.1 大數據時代數據挖掘與機器學習面臨的新挑戰  386

9.2 IEEE ICDM 會議數據挖掘與機器學習的研究進展  395

9.3 “計算機奧運會”——Sort
Benchmark  400

參考文獻  402

數據挖掘（Data Mining），是指從數據中發現知識的過程（Knowledge Discovery

in Databases，KDD)。狹義的數據挖掘一般指從大量的、不完全的、有噪聲的、模糊

的、隨機的實際應用數據中，提取隱含其中的、人們事先不知道的、但又是潛在有用

知識的過程。自從計算機發明之後，科學家們先後提出了許多優秀的數據挖掘算法。

2006年12月，在數據挖掘領域的權威學術會議the IEEE International Conference on

Data Mining（ICDM）上，科學家們評選出了該領域的十大經典算法：C4.5、K-Means、

SVM、Apriori、EM、PageRank、 AdaBoost、kNN、Naive Bayes和CART。這是數據

挖掘學科的一個重要裡程碑，從此數據挖掘在理論研究和實際應用兩方面均進入飛速

發展時期，並得到廣泛關注。

在實際生產活動中，許多問題都可以用數據挖掘方法來建模，從而提升運營效率。

例如，某企業在其移動終端應用（App）上售賣各種商品，它希望向不同的客戶群體

精準推送差異化的產品和服務，從而提升銷售業績。在這個案例中，如何將千萬量級

的客戶劃分為不同的客戶群體，可以由數據挖掘中的聚類分析算法來完成；針對某個

客戶群體，如何判斷某個產品是否是他們感興趣的，可以由數據挖掘中的分類分析算

法來完成；如何發現某個客戶群體感興趣的各種產品之間的關聯性，應該把哪些產品

打包為套餐，可以由數據挖掘中的關聯分析算法來完成；如何發現某個客戶群體的興

趣愛好的長期趨勢，可以由數據挖掘中的回歸算法來完成；如何綜合考慮公司的KPI

指標、營銷政策和App頁面限制等條件，制訂終的落地營銷方案，可以基於數據

挖掘中的ROC曲線建立數學模型求得解來解決。

當前，許多企業正面臨前所未有的競爭壓力。以運營商企業為例，從政策層面看，

國家提出了“提速降費”的戰略指示：一方面要提高網絡連接速度、提供更好的服務，

這意味著公司成本的提高；另一方面要降低資費標準，這意味著單個產品收入的下降，

運營商該如何化解這對矛盾？從運營商內部數據統計看，傳統的語音和短信、彩信業務收入占比正不斷下降，傳統的利潤點已經風光不再；流量收入目前已占據主要位置

並保持上漲趨勢，但單純的流量經營又將面臨“管道化”壓力；未來的利潤增長點要

讓位於被稱為“第三條曲線”的數字化服務。運營商該如何經營這一新鮮事物？從外

部環境看，互聯網和電子商務企業借助其在各方面的優勢，已經對運營商形成了巨大

的壓力，特別是在數字化服務營銷領域，傳統運營商企業已經不再具備優勢，又該如

何應對互聯網企業的全面競爭？

隨著移動互聯網和物聯網時代的來臨，人和萬事萬物被廣泛地聯繫在一起。人

們在聯繫的過程產生了大量的數據，例如用戶基礎信息、網頁瀏覽記錄、歷史消費記

錄、視頻監控影像，等等。據此，以Google 為首的互聯網公司提出了“大數據”（Big

Data）的概念，並聲稱人類已經脫離了信息時代（Information
Time，IT），進入了大

數據時代（Data Time，DT）。顯然，海量數據包含了非常豐富的淺層次信息和深層

次知識。對於同一競爭領域的企業，誰能獲取量的數據，展開精準的數據挖掘

與建模分析，並加以精細化的落地實施，誰便能在行業競爭中取得優勢。對於運營商

企業而言，其具備的一個顯著優勢便是手握海量數據資源。如果能運用先進的數據挖

掘技術找出客戶的行為規律，從傳統的經驗式、粗放式、“一刀切”式的運營決策向

數據化、精細化、個性化的運營決策轉型，運營商將迎來新的騰飛。上述運營模式轉

型的目標，便是所謂的“智慧運營”。

目前，人類對大數據尚沒有統一的、公認的定義，但幾乎所有學者和企業都認同

大數據具備四大特征（四大挑戰）：體量巨大（Volume ）、類型繁多（Variety ）、價

值密度低（Value ）、需要實時處理（Velocity ）。這其中重要的一點是類型繁多，

即過去人類的數據儲備以結構化數據為主，而未來將以非結構化數據為主。回到之前

提到的App 營銷案例，企業基於用戶的基礎信息、歷史消費信息、簡單的網絡行為

信息等結構化數據展開挖掘建模，被認為是傳統的“基於數據挖掘的智慧運營”。隨

著時代的發展，企業還掌握了用戶觀看在線視頻的內容數據、在營業網點接受營業員

推薦的表情信息和語言交流數據、用戶在客服熱線中的語音咨詢數據等。這些數據被

統稱為非結構化數據，隨著語音識別、人臉識別、語義識別等新技術的發展成熟，對

非結構化數據的分析挖掘已成為可能，並將獲得廣闊的商業應用空間。基於非結構化

數據的挖掘建模又被稱為“基於人工智能的智慧運營”。考慮當前大部分企業的實際

運營現狀，本書將主要圍繞“基於數據挖掘的智慧運營”展開討論，“基於人工智能

的智慧運營”將在後續書籍中展開討論。

本書共分為九章：第1 章大數據、數據挖掘與智慧運營綜述，講述數據挖掘的基

本概念和發展史、大數據的時代特征、當前結構化數據挖掘進展、非結構化數據挖掘