第1章  作為獨立學科的金融機器學習

第1部分  數據分析
第2章  金融數據結構
第3章  標簽
第4章  樣本權重
第5章  分數微分特征

第2部分  模型
第6章  集成方法
第7章  交叉驗證在金融領域的應用
第8章  特征重要性
第9章  利用交叉驗證進行超參數調優

第3部分  回測
第10章  投注大小
第11章  回測的風險
第12章  通過交叉驗證進行回測
第13章  合成數據的回測
第14章  回測統計量
第15章  理解策略風險
第16章  基於機器學習的資產配置方法

第4部分  有用的金融特征
第17章  結構突變
第18章  熵特征
第19章  微觀結構特征
第5部分  高性能計算方法
第20章  多進程和矢量化
第21章  蠻力搜索和量子計算機
第22章  高性能計算智能與預測技術

致謝

第1章  作為獨立學科的金融機器學習
1.1寫作動機
機器學習正在徹底改變我們生活的方方面面。直到現在，依然是隻有專家纔能通過使用機器學習算法來完成任務。就金融領域而言，采用這樣一個具有顛覆性的，並將改變人們堅持了幾十年的投資方法的技術，令人尤為心潮澎湃。這本書將對我在過去20年中使用的可靠的機器學習工具進行科學解釋，而這些工具也幫助我為那些需求復雜的機構投資者管理了大規模的基金。
有關投資的書大多分為兩類。一類書的作者用極其簡化的數學方式描述了在現實中不存在的情況，對其闡述的東西並沒有實踐過。隻是因為在邏輯上是正確的原理，不一定意味著在現實世界中就能行得通。另一類書的作者提供的解釋缺乏邏輯嚴密的學術理論的支撐，不能使用正確的數學工具來解釋實際觀察，他們的模型在實現時就會出現過擬合並失敗的結果。學術性的調研和報告與金融市場的實際應用脫節，很多交易或投資領域中的應用也不以正確的科學方法為基礎。
創作本書的個動機是想要跨越學術界與產業界之間眾所周知的鴻溝。我曾經在這兩個領域都工作過，明白跨越的難度和隻堅持一方觀點的輕易。二者之間的平衡是一種美德。本書不會僅僅因為數學之美而鼓吹某個原理，也不會僅僅因為某個方案似乎可行就進行推薦。我的目標是傳授那些來源於經驗，並通過嚴格推導所形成的知識。
第二個動機是希望讓金融服務於某個目標。在過去幾年，我在一些學術報刊上發表的文章表達了我對金融在社會生活中扮演的角色的失望。投資者聽信了那些源自江湖騙子，又被大眾媒體鼓吹的假消息，拿自己的財富進行賭博。在不久的將來，機器學習將引領金融界，科學將戰勝猜測，投資將不再是賭博。我真誠希望我的讀者能參與到這場革命中來。
第三個動機源於很多投資者無法理解機器學習在投資應用中的復雜性。這一點在那些擁有完全支配權的投資公司向“量化”投資領域轉型時尤為突出。我擔心他們的高預期很難達到，不是因為機器學習失效了，而是因為他們用錯了機器學習。在未來幾年，很多公司可能會利用來自學術機構或者硅谷的現成的機器學習算法進行投資，我預測他們將賠錢（相對於更好的機器學習解決方案而言）。戰勝群眾的智慧比識別人臉或者駕駛汽車難得多。通過本書，我希望你能學會如何應對一些挑戰，這些挑戰使得金融成為機器學習算法難以攻克的領域，比如回測的過擬合問題。金融機器學習已成為一門學科，與標準機器學習既有關聯又有區別，本書將為你全面介紹金融機器學習。
1.2金融機器學習失敗的主要原因
量化金融領域的失敗率很高，其中的金融機器學習更是如此。隻有極少數成功的機構積累了大筆的資產，並持續為它們的投資者提供超乎尋常的業績回報。在過去的20年中，我已經見識了太多人進來又出去，一個個公司起來又倒下。從我個人的經驗看，那些失敗案例都犯了同一個致命錯誤。
1.2.1西西弗斯範式
全權委托投資組合管理人做投資決策時，不會遵循一個特別的定律或基本原則（如果有的話，那就是普通管理人）。他們獲取原始信息並進行分析，不過主要還是依賴他們自己的判斷或直覺。他們為這些決策找的借口是基於一些故事，但每一個決策都是一個故事。因為沒人能完全理解他們投注背後的邏輯，投資公司讓他們各自獨立工作，以化投資。如果你曾經參加過全權委托投資組合管理人的會議，很可能已注意到了他們的會議冗長並且缺乏目標導向。參會人各執一詞，巨大的分歧在沒有實證的情況下被忽視。當然，這並不意味著全權委托投資組合管理人不可能成功。相反，有些確實成功了。問題在於，他們天然地不能進行團隊工作：叫來50名全權委托投資組合管理人，他們的觀點會互相影響，終結果是老板不得不付50個人的工資，而他們完成的卻是一個人的工作。因此，讓他們獨立工作，盡可能減少他們之間的互相影響，是非常合理的。
不管在哪裡，很多公司采用全權委托投資組合管理人模式去做量化或機器學習的項目，終結果都很糟糕。董事會的心態是，全權委托投資組合管理人都在用這種方式，那我們就用這種模式做量化吧。雇用50個博士，要求他們每人在6個月內制定一套投資策略。這個方法往往事與願違，因為每個博士都會瘋狂地尋找投資機會，結果通常是：（1）擁有亮麗回測結果的過擬合；（2）標準的因子投資，一種低夏普比率（SR）的過飽和投資，但至少有理論支撐。這兩種結果都會讓投資委員會失望，致使項目終被取消。即使有5個博士發現了有效的投資策略，5個人的收益也無法支付50個博士的費用，因此這5個博士也要另謀高就。這就是所謂的讓每個員工日復一日搬石頭上山的西西弗斯（Sisyphus）範式，這種範式的投入產出比極低。
1.策略範式
如果你被要求自行制定一套機器學習策略，成功的概率是極其低的。制定一套真正的投資策略所付出的努力完全不亞於制定100套投資策略所付出的努力，而且復雜度是超乎想像的：數據策劃、處理、高性能計算架構、軟件開發、特征分析、執行模擬、回測等。即使公司在這些領域提供了共享服務，你的處境也如同寶馬公司的一個工人被要求利用身處的車間單獨造出一輛完整的汽車一樣困難。你必須在一星期內是一個高級的焊工，另一星期又必須成為一個電工，下一星期又需要成為一個機械工程師，然後是油漆工……你不得不不斷嘗試，失敗，然後又回到焊工。這種感覺如何？
我所了解的每個成功的量化公司都策略（Meta Strategy）範式［López de Prado（2014）］。因此，本書是為團隊而非個人編寫的研究手冊。通過本書各個章節，你將學到如何設立一個研究工廠以及裝配線上的各種崗位。每個數據分析師的角色應專注於特定的任務，成為該任務的人選，但同時也應該對整個過程有個全局的視野。本書概括了工廠計劃，其中團隊以可預測的速度產生新的發現，並且不依賴於運氣。這也是美國勞倫斯·伯克利國家實驗室以及其他美國國家實驗室在科學研究中常用的方法，素周期表上新增素，或者進行磁共振成像（MRI）以及正電子發射斷層掃描（PET）的基礎研究。因為新發現是團隊共同努力的結果，團隊中的個體都有所貢獻，所以沒有一個特定的個人需要為整個研究負責。當然，設立這樣的金融實驗室需要很多時間，也需要了解自己所從事的工作以及有經驗的從業者。但是，你認為哪個成功的機會更大呢？是這個已得到證明的組織協作範式，還是單打獨鬥的西西弗斯範式——讓每個量化分析師將他們手中的巨石推上山頂？
1.3本書的結構
本書將一堆互相關聯的主題打亂，並重新組織成了一個有序的結構。每個章節都假設讀者已經閱讀了之前章節的內容。第1部分將幫助讀者結構化金融數據以適合機器學習算法。第2部分討論利用數據來進行機器學習算法研究。這一部分的重點是做研究，如何通過科學過程得出實際發現，而不是沒有目標地進行研究直至某些（很可能是錯誤的）偶然結果出現。第3部分解釋如何回測以檢驗發現成果，並評估錯誤率。
這3個部分提供了一個完整過程的綜述，從數據分析、模型研究到發現評估。基於以上知識，第4部分回到數據本身並給出了新穎的方式來提取信息特征。後，因為所有這些工作都需要強大的計算能力，所以第5部分將給出一些有效的高性能計算方法。
1.4目標讀者
本書介紹的高級機器學習方法是為應對由金融數據集帶來的挑戰專門設計的。所謂的“高級”並不是指特別難以理解，或解釋zui新的深度、周期或卷積神經網絡。相反，本書旨在回答高級研究人員認為比較關鍵的問題，這些研究人員具有將機器學習算法應用到金融問題中的實際經驗。如果你剛接觸機器學習算法，並沒有復雜算法的使用經驗，那本書可能並不適合你。除非你曾經在實際中處理過書中談到的問題，否則要理解這些解決問題的工具可能有一定困難。在讀本書前，你可能需要學習近些年出版的優秀的機器學習入門書籍，我在“引用文獻”部分列了一些。
本書的核心讀者是具有深厚機器學習背景的專業投資人士。我的目標是讓你把從本書中學到的知識“變現”，幫助我們推進金融現代化進程，並為投資者真正創造價值。
那些成功將機器學習算法應用到金融以外的領域的數據科學家也是本書的目標群體。如果你在谷歌工作，並且已將深度神經網絡算法應用到人臉識別中，但是將該算法用在金融領域中似乎並不奏效，那麼本書將會幫到你。有時，你可能無法理解某些結構背後的基本金融原標簽、三邊界方法、分數階微分），但是請稍微忍忍：一旦你管理一個投資組合的時間足夠長，就會慢慢讀懂這些章節，其中的遊戲規則也將會變得很清晰。
1.5 閱讀前提
和這本書所反映的一樣，投資管理是一個涉及多學科的研究領域。理解書中各章節內容需要一定的實踐知識，包括機器學習、市場微觀結構、投資組合管理、數學金融、統計學、計量經濟學、線性代數、凸優化、離散數學、信號處理、信息論、面向對像編程、並行處理和超級計算等。
Python已經成為機器學習的業界標準語言，而我假設你是一位經驗豐富的開發者，那你應該熟悉scikitlearn（sklearn）、pandas、numpy、scipy、multiprocessing、matplotlib，以及一些其他的Python庫。代碼片段一般使用這些庫的常規前綴來調用函數，其中，pd表示pandas，np表示numpy，mpl表示matplotlib，等等。介紹這些庫的書籍很多，但是你不可能對每一個庫的內容都了如指掌。我們將在本書中討論這些庫在實現中的一些問題，也包括那些尚未解決的漏洞。