第1篇 基礎篇
第1章 緒論 2
1.1 量化投資與數據挖掘的關繫 2
1.1.1 什麼是量化投資 2
1.1.2 量化投資的特點 3
1.1.3 量化投資的核心——量化模型 4
1.1.4 量化模型的主要產生方法——數據
挖掘 6
1.2 數據挖掘的概念和原理 7
1.2.1 什麼是數據挖掘 7
1.2.2 數據挖掘的原理 8
1.3 數據挖掘在量化投資中的應用 9
1.3.1 宏觀經濟分析 9
1.3.2 估價 11
1.3.3 量化選股 11
1.3.4 量化擇時 11
1.3.5 算法交易 12
1.4 本章小結 13
參考文獻 13
第2章 數據挖掘的內容、過程及
工具 14
2.1 數據挖掘的內容 14
2.1.1 關聯 14
2.1.2 回歸 15
2.1.3 分類 16
2.1.4 聚類 17
2.1.5 預測 18
2.1.6 診斷 19
2.2 數據挖掘的過程 20
2.2.1 數據挖掘過程的概述 20
2.2.2 目標的定義 20
2.2.3 數據的準備 21
2.2.4 數據的探索 22
2.2.5 模型的建立 24
2.2.6 模型的評估 27
2.2.7 模型的部署 28
2.3 數據挖掘工具 29
2.3.1 MATLAB 29
2.3.2 SAS 30
2.3.3 SPSS 31
2.3.4 WEKA 32
2.3.5 R 33
2.3.6 工具的比較與選擇 34
2.4 本章小結 35
參考文獻 35
第3章 MATLAB快速入門及
實用技巧 36
3.1 MATLAB快速入門 36
3.1.1 MATLAB概要 36
3.1.2 MATLAB的功能 37
3.1.3 快速入門案例 38
3.1.4 入門後的提高 45
3.2 MATLAB常用技巧 45
3.2.1 常用標點的功能 45
3.2.2 常用操作指令 45
3.2.3 指令編輯操作鍵 46
3.2.4 MATLAB中的數據類型 46
3.3 MATLAB的開發模式 47
3.3.1 命令行模式 47
3.3.2 腳本模式 47
3.3.3 面向對像模式 47
3.3.4 三種模式的配合 48
3.4 本章小結 48
第2篇 技術篇
第4章 數據的準備 51
4.1 數據的收集 51
4.1.1 認識數據 51
4.1.2 數據挖掘的數據源 52
4.1.3 數據抽樣 53
4.1.4 量化投資的數據源 54
4.1.5 從雅虎獲取交易數據 56
4.1.6 從大智慧獲取公司財務數據 58
4.1.7 從Wind中獲取高質量數據 59
4.2 數據質量分析 61
4.2.1 數據質量分析的必要性 61
4.2.2 數據質量分析的目的 61
4.2.3 數據質量分析的內容 61
4.2.4 數據質量分析的方法 62
4.2.5 數據質量分析的結果及應用 66
4.3 數據預處理 66
4.3.1 為什麼需要數據預處理 66
4.3.2 數據預處理的主要任務 67
4.3.3 數據清洗 68
4.3.4 數據集成 71
4.3.5 數據歸約 72
4.3.6 數據變換 73
4.4 本章小結 74
參考文獻 75
第5章 數據的探索 76
5.1 衍生變量 77
5.1.1 衍生變量的定義 77
5.1.2 變量衍生的原則和方法 77
5.1.3 常用的股票衍生變量 78
5.1.4 評價型衍生變量 82
5.1.5 衍生變量數據的收集與集成 83
5.2 數據的統計 84
5.2.1 基本描述性統計 85
5.2.2 分布描述性統計 86
5.3 數據可視化 86
5.3.1 基本可視化方法 86
5.3.2 數據分布形狀可視化 87
5.3.3 數據關聯情況可視化 89
5.3.4 數據分組可視化 90
5.4 樣本選擇 91
5.4.1 樣本選擇的方法 91
5.4.2 樣本選擇應用實例 91
5.5 數據降維 93
5.5.1 主成分分析（PCA）的基本原理 93
5.5.2 PCA應用實例：企業綜合實力
排序 96
5.5.3 相關繫數降維 98
5.6 本章小結 99
第6章 關聯規則方法 101
6.1 關聯規則概要 101
6.1.1 關聯規則的提出背景 101
6.1.2 關聯規則的基本概念 102
6.1.3 關聯規則的分類 103
6.1.4 關聯規則挖掘常用算法 104
6.2 Apriori算法 104
6.2.1 Apriori算法的基本思想 104
6.2.2 Apriori算法的步驟 105
6.2.3 Apriori算法的實例 105
6.2.4 Apriori算法的程序實現 107
6.2.5 Apriori算法的優缺點 110
6.3 FP-Growth算法 110
6.3.1 FP-Growth算法的步驟 110
6.3.2 FP-Growth算法的實例 111
6.3.3 FP-Growth算法的優缺點 113
6.4 應用實例：行業關聯選股法 113
6.5 本章小結 114
參考文獻 115
第7章 數據回歸方法 116
7.回歸 117
7.1.線性回歸 117
7.1.非線性回歸 120
7.1.多項式回歸 124
7.回歸 125
7.2.線性回歸 125
7.2.多項式回歸 127
7.3 逐步回歸 130
7.3.1 逐步回歸的基本思想 130
7.3.2 逐步回歸的步驟 131
7.3.3 逐步回歸的MATLAB方法 131
7.4 邏輯斯蒂回歸 133
7.4.1 邏輯斯蒂回歸模型 133
7.4.2 邏輯斯蒂回歸實例 134
7.5 應用實例：多因子選股模型的
實現 136
7.5.1 多因子模型的基本思想 136
7.5.2 多因子選股模型的實現 137
7.6 本章小結 140
第8章 分類方法 141
8.1 分類方法概要 141
8.1.1 分類的概念 141
8.1.2 分類的原理 142
8.1.3 常用的分類方法 143
8.2 K-近鄰分類 143
8.2.1 K-近鄰分類的原理 143
8.2.2 K-近鄰分類的實例 145
8.2.3 K-近鄰分類的特點 147
8.3 貝葉斯分類 147
8.3.1 貝葉斯分類的原理 147
8.3.2 樸素貝葉斯分類的原理 148
8.3.3 樸素貝葉斯分類的實例 150
8.3.4 樸素貝葉斯分類的特點 150
8.4 神經網絡 151
8.4.1 神經網絡的原理 151
8.4.2 神經網絡的實例 153
8.4.3 神經網絡的特點 153
8.5 邏輯斯蒂分類 154
8.5.1 邏輯斯蒂分類的原理 154
8.5.2 邏輯斯蒂分類的實例 154
8.5.3 邏輯斯蒂分類的特點 154
8.6 判別分析 155
8.6.1 判別分析的原理 155
8.6.2 判別分析的實例 156
8.6.3 判別分析的特點 156
8.7 支持向量機（SVM） 156
8.7.1 SVM的基本思想 157
8.7.2 SVM的理論基礎 157
8.7.3 SVM的實例 159
8.7.4 SVM的特點 160
8.8 決策樹 160
8.8.1 決策樹的基本概念 160
8.8.2 決策樹建構的步驟 161
8.8.3 決策樹的實例 164
8.8.4 決策樹的特點 164
8.9 分類的評判 165
8.9.1 正確率 165
8.9.2 ROC曲線 166
8.10 應用實例：分類選股法 168
8.10.1 實例背景 168
8.10.2 實現方法 169
8.11 延伸閱讀：其他分類方法 171
8.12 本章小結 172
第9章 聚類方法 173
9.1 聚類方法概要 173
9.1.1 聚類的概念 173
9.1.2 類的度量方法 175
9.1.3 聚類方法的應用場景 176
9.1.4 聚類方法的分類 177
9.2 K-means聚類 177
9.2.1 K-means算法的原理和步驟 177
9.2.2 K-means聚類實例1：自主編程 178
9.2.3 K-means聚類實例2：集成函數 180
9.2.4 K-means算法的特點 183
9.3 層次聚類 183
9.3.1 層次聚類的原理和步驟 183
9.3.2 層次聚類的實例 185
9.3.3 層次聚類的特點 187
9.4 神經網絡聚類 187
9.4.1 神經網絡聚類的原理和步驟 187
9.4.2 神經網絡聚類的實例 187
9.4.3 神經網絡聚類的特點 188
9.5 模糊C均值（FCM）方法 188
9.5.1 模糊C均值的原理和步驟 188
9.5.2 模糊C均值方法的應用實例 189
9.5.3 模糊C均值算法的特點 190
9.6 高斯混合聚類方法 190
9.6.1 高斯混合聚類的原理和步驟 190
9.6.2 高斯聚類的實例 192
9.6.3 高斯聚類的特點 193
9.7 類別數的確定方法及實例 193
9.7.1 類別數的確定方法 193
9.7.2 類別數的確定實例 194
9.8 應用實例：股票聚類分池 196
9.8.1 聚類的目標和數據描述 196
9.8.2 實現過程 196
9.8.3 結果及分析 198
9.9 延伸閱讀 199
9.9.1 目前聚類分析研究的主要內容 199
9.9.2 SOM智能聚類算法 200
9.10 本章小結 201
參考文獻 201
第10章 預測方法 202
10.1 預測方法概要 202
10.1.1 預測的概念 202
10.1.2 預測的基本原理 202
10.1.3 量化投資中預測的主要內容 203
10.1.4 預測的準確度評價及影響因素 204
10.1.5 常用的預測方法 205
10.2 灰色預測 206
10.2.1 灰色預測的原理 206
10.2.2 灰色預測的實例 208
10.3 馬爾可夫預測 209
10.3.1 馬爾可夫預測的原理 209
10.3.2 馬爾可夫過程的特性 210
10.3.3 馬爾可夫預測的實例 211
10.4 應用實例：大盤走勢預測 214
10.4.1 數據的選取及模型的建立 214
10.4.2 預測過程 216
10.4.3 預測結果與分析 216
10.5 本章小結 217
參考文獻 218
第11章 診斷方法 219
11.1 離群點診斷概要 219
11.1.1 離群點診斷的定義 219
11.1.2 離群點診斷的作用 220
11.1.3 離群點診斷方法的分類 221
11.2 基於統計的離群點診斷 221
11.2.1 理論基礎 221
11.2.2 應用實例 223
11.2.3 優點與缺點 224
11.3 基於距離的離群點診斷 225
11.3.1 理論基礎 225
11.3.2 應用實例 226
11.3.3 優點與缺點 227
11.4 基於密度的離群點診斷 227
11.4.1 理論基礎 227
11.4.2 應用實例 228
11.4.3 優點與缺點 229
11.5 基於聚類的離群點診斷 230
11.5.1 理論基礎 230
11.5.2 應用實例 230
11.5.3 優點與缺點 232
11.6 應用實例：離群點診斷量化
擇時 232
11.7 延伸閱讀：新興的離群點挖掘診斷
方法 233
11.7.1 基於關聯的離群點挖掘 233
11.7.2 基於粗糙集的離群點挖掘 2

前言|

中國金融業飛速發展，尤其是2010年股指期貨的推出，使得量化投資和對衝基金逐步進入國內投資者的視野。2012年丁鵬博士所著的《量化投資——策略與技術》出版後，更是推動了量化投資技術在國內的普及。目前，量化投資、對衝基金已經成為中國資本市場熱門的話題之一，各投資機構紛紛開始著手打造各自的量化投資精英團隊。
量化投資將投資理念及策略通過具體指標、參數的設計融入具體的模型中，用模型對市場進行不帶任何情緒的跟蹤，簡單而言，就是用數量化的方法對股票、期貨等投資對像進行估值，選取合適的對像進行投資。目前，量化投資的書籍主要集中在模型、策略及工具的使用上，但關於如何產生這些量化模型、量化策略的書籍的確非常少。金融市場瞬息萬變，為了更好地進行量化投資，我們要不斷去驗證既有模型的有效性，同時要想在金融行業保持自己的競爭力，又必須不斷開發新的模型，而驗證模型、開發模型這些量化投資的主要內容都需要數據的支撐。另外，金融領域是數據資源保存較好且較為豐富的行業，在金融領域已經積累了大量的數據，同時每天還在產生大量的交易數據、價格數據等信息。這些數據資源正好為量化投資提供了很好的數據基礎，那麼問題的關鍵就是如何利用金融行業豐富的數據資源更好地進行量化投資。
數據挖掘技術是從數據中挖掘有用知識的一門繫統性的技術，剛好解決了數據利用的問題，所以，數據挖掘與量化投資便很自然地結合在一起。但數據挖掘在國內是一個新的領域，所以還沒有關於量化投資與數據挖掘相結合的書籍。另外，目前關於數據挖掘的幾本書大多數是譯著，由於語言和文化的差異，國內讀者讀起來相對喫力。在這樣的背景下，能有一本書介紹如何利用數據挖掘技術進行量化投資還是很好的。
筆者在MathWorks平時的工作職責之一是支持金融客戶，相當比例的工作是關於量化投資的，另外的職責是支持其他商業客戶的數據挖掘，所以對這兩個領域都有一定的了解。在一次研討會上，丁鵬博士與筆者討論了數據挖掘在量化投資中的應用，他認為這是個非常好的課題，並建議筆者寫一本這樣的書。筆者對這個課題也非常感興趣，於是就開始了本書的創作。
本書的第1版於2015年6月出版，一年內印刷了四次，不少熱心的讀者發來電子郵件與作者討論書中的內容，並反饋一些建議和不足。為了回饋讀者，也為了讓本書質量更好，在原來的基礎上修改了一些問題，並加入一些新的內容。
本書內容
全書內容分為三篇。
第1篇為基礎篇，主要介紹一些基本概念和知識，包括量化投資與數據挖掘的關繫，以及數據挖掘的概念、實現過程、主要內容、主要工具等，並在第3章中介紹了MATLAB快速入門及實用技巧。
第2篇為技術篇，是本書的主體，繫統介紹了數據挖掘的相關技術及這些技術在量化投資中的應用實例。這部分又分為如下三個層次：
（1）數據挖掘前期的一些技術，包括數據的準備（收集數據、數據質量分析、數據預處理等）和數據的探索（衍生變量、數據可視化、樣本選擇、數據降維等）。
（2）數據挖掘的六大類核心方法，包括關聯規則、回歸、分類、聚類、預測和診斷。對於每類方法，詳細介紹了其包含的典型算法，包括基本思想、應用場景、算法步驟、MATLAB實現程序。同時，對每類方法還介紹了一個在量化投資中的應用案例，以強化這些方法在量化投資中的實用性。
（3）數據挖掘中特殊的實用技術，包含兩章內容，一是關於時序數據挖掘的時間序列方法，二是關於優化的智能優化方法。這個層次也是數據技術體繫中不可或缺的技術。時序數據是數據挖掘中的一類特殊數據，並且金融數據往往具有時序性，所以針對該類特殊的數據，介紹了時間序列方法。另外，數據挖掘離不開優化，量化投資也離不開優化，所以又以一章介紹了兩種比較常用的智能優化方法——遺傳算法和模擬退火算法。
第3篇為實踐篇，主要介紹數據挖掘技術在量化投資中的綜合應用實例，包括統計套利策略的挖掘與優化、配對交易策略的挖掘與實現、基於Wind數據的程序化交易、基於Quantrader平臺的量化投資、趨勢跟蹤策略及實現過程。後一章——基於數據挖掘技術的量化交易繫統，給出了集成主流數據挖掘技術的量化投資繫統的框架。讀者可以利用該框架，依據書中介紹的數據挖掘技術，結合自己的情況，開發出屬於自己的量化交易繫統，從而輕松實現從理論到實踐的跨越，更好地利用數據挖掘技術在量化投資領域乘風破浪，不斷創造佳績。
本書特色
縱觀全書，可發現本書的特點鮮明，主要表現在如下幾方面。
（1）方法務實，學以致用。本書介紹的方法都是數據挖掘中的主流方法，都經過實踐的檢驗，具有較強的實踐性。對於每種方法，本書都給出了完整、詳細的源代碼，這對讀者來說，具有非常大的參考價值，很多程序可供讀者直接套用並加以學習，讀者可以將其直接轉化為自己的量化投資實戰工具。
（2）知識繫統，易於理解。本書的知識體繫應該是當前數據挖掘書籍中較全、較完善的，不僅包含詳細的數據挖掘流程、數據準備方法、數據探索方法，還包含六大類數據挖掘核心方法、時序數據挖掘方法、智能優化方法。正因為有完整的知識體繫，讀者讀起來纔有很好的完整感，更利於讀者理解數據挖掘的知識體繫，這對於讀者學習本書內容非常有幫助。
（3）結構合理，易於學習。在講解方法時，由淺入深，循序漸進，讓初學者知道入門的切入點，讓專業人員又有值得借鋻的“干貨”。基礎篇、技術篇和實踐篇的結構部署也讓本書獨樹一幟，讓讀者在學習數據挖掘和量化投資的過程中有一個循序漸進的過程，使讀者在短時間內成為一位數據挖掘高手，同時成為一位量化投資高手。
（4）案例實用，易於借鋻。絕大多數案例是量化投資領域的實例。所以，縱觀全書，本書都在有意引導讀者思考如何讓數據挖掘在量化投資中產生更實際的價值。
（5）主線明晰，脈絡分明。本書涉及的知識面寬廣，以數據挖掘和量化投資為中心，輻射銀行、債券、營銷、零售等領域和學科。為了與書中主線保持一致，對於這些領域的介紹雖然隻是略微帶過，但是從側面折射出了數據挖掘技術真的正在廣泛服務於社會各個領域。在現代社會，某學科單打獨鬥的時代已經過去了，本書在無形之中已經樹立了一個意識：各學科的知識之間是相通的，運用知識的境界是各學科知識的大融合。
（6）理論與實踐相得益彰。對於本書的每種方法，除理論的講解外，都配有一個典型的應用案例，讀者可以通過案例加深對理論的理解，同時理論也讓案例的應用更有信服力。本書對技術的介紹都以實現為目的，同時提供大量技術實現的源程序，方便讀者學習，注重實踐和應用，秉承筆者務實、貼近讀者的寫作風格。
（7）內容獨特，趣味橫生。本書的很多方法和內容是同類書籍所沒有的，這無疑增強了本書的新穎性和趣味性。
（8）文字簡潔、明了，易於閱讀。本書在保證描述精準的前提下，摒棄那些刻板、索然無味的文字，讓文字充滿活力，更易於閱讀。
讀者對像
? 從事投資工作的專業人士，包括證券、基金、私募、信托、銀行、保險等領域的從業者。
? 從事數據挖掘、數據分析、數據管理工作的專業人士。
? 金融、經濟、管理、統計等專業的教師和學生。
? 從事量化投資或數據挖掘方向研究的科研工作者。
? 希望學習MATLAB的工程師或科研工作者。因為本書的代碼都是用MATLAB編寫的，所以對於希望學習MATLAB的讀者來說，本書也是一本很好的參考書。
致專業人士
對於從事量化投資工作的專業人士來說，書中的數據挖掘技術是值得借鋻的技術，至少會有助於挖掘量化策略。書中的實例都具有一定的實戰背景，含有一些數據挖掘層面的策略，大家可以嘗試將這些技術和策略融入自己的思想和策略中，讓自己的策略更強大。另外，對於書中介紹的各種方法的理論，如果你有很好的數學或計算機背景，且有時間或感興趣，可以認真閱讀，否則理論部分可以直接跳過。但是，對於每種方法的思想和應用場景，讀者一定要領悟，這樣當遇到合適的場景後，讀者可以馬上想到用哪種方法，然後直接借鋻書中的源代碼即可輕松地將這些方法應用到自己的量化投資實踐中。
對於從事數據挖掘工作的專業人士來說，大家可以關注整個數據挖掘知識體繫和數據挖掘的流程，因為本書的數據挖掘知識體繫在當前數據挖掘書籍中是比較全面和完善的。
致教師
本書繫統地介紹了數據挖掘技術的理論、方法和案例，可以作為金融、經濟、管理、統計等學科的本科生專業教材或研究生教材。相比一般的數據挖掘教材，本書更容易激發學生的學習興趣。興趣是好的老師，這對開展教學是非常有利的。
書中的內容雖然繫統，但也相對獨立，教師可以根據課程的學時安排和專業方向的側重，選擇合適的內容進行課堂教學，其他內容則可以作為參考章節。授課部分，一般包含篇的3章和第二篇的前8章，總共11章內容，如果課時較多，則可以增加其他章節，包括後面案例的學習內容。
在進行課程備課的過程中，如果您需要書中的一些電子資料作為課件或授課支撐材料，可以直接給筆者發電子郵件（70263215@qq.com）說明您需要的材料和用途，筆者會根據具體情況，為您提供力所能及的幫助。
致學生
作為21世紀的大學生，無論是什麼專業背景，都有必要學習數據挖掘和量化投資，原因如下：
，21世紀的信息非常豐富，很多都以數據形式存在，學習並掌握數據挖掘技術，有助於我們從更深層次了解這個社會，也有助於我們解決工作中遇到的問題。
第二，現代人無論從事什麼工作，都應具有一定的投資意識和投資能力。21世紀是和平而充滿競爭的時代，失業對每個人來說都有可能發生，當我們失業的時候怎麼辦？如果懂得投資，那麼至少讓自己生活得很好是沒有問題的。特別喜歡一句話，“喜歡做一名寬客，是因為可以自己掌握命運”，這裡的寬客就是指從事量化投資的人士。
所以，讀者無論現在學習什麼專業，都應好好讀一下這本書或同類的書籍。相信讀者一定會因為曾學習過數據挖掘和量化投資而備感欣慰！
資源下載方式
（一）配套程序和數據
為了方便讀者的學習，我們將提供書中使用的程序和數據，下載地址為：http://www. ilovematlab.cn/thread-486