第1章  排序  1
1.1  研究動因：谷歌問題  1
1.2  研究結果  4
1.2.1  Perron-Frobenius定理  4
1.2.2  PageRank  8
1.3  案例研究：品牌忠誠度  14
1.4  練習  17
第2章  在線學習  19
2.1  研究動因：投資組合選擇  19
2.2  研究結果  22
2.2.1  在線鏡像下降  22
2.2.2  熵設定  29
2.3  案例分析：專家建議  33
2.4  練習  34
第3章  推薦繫統  37
3.1  研究動因：Netflix大賽  37
3.2  研究結果  38
3.2.1  基於近鄰的方法  38
3.2.2  基於模型的方法  41
3.3  案例分析：潛在語義分析  52
3.4  練習  54
第4章  分類  56
4.1  研究動因：信用調查  56
4.2  研究結果  57
4.2.1  Fisher判別規則  57
4.2.2  支持向量機  64
4.3  案例分析：質量控制  72
4.4  練習  74
第5章  聚類  77
5.1  研究動因：DNA測序  77
5.2  研究結果  79
5.2.1  k-均值算法  79
5.2.2  譜聚類  82
5.3  案例分析：主題抽取  88
5.4  練習  91
第6章  線性回歸  93
6.1  研究動因：計量經濟學分析  93
6.2  研究結果  95
6.2.1  最小二乘法  95
6.2.2  嶺回歸  102
6.3  案例分析：資本資產定價  107
6.4  練習  109
第7章  稀疏恢復  112
7.1  研究動因：變量選擇  112
7.2  研究結果  114
7.2.1  Lasso回歸  114
7.2.2  迭代閾值收縮算法  119
7.3  案例分析：壓縮感知  124
7.4  練習  126
第8章  神經網絡  127
8.1  研究動因：神經細胞  127
8.2  研究結果  129
8.2.1  邏輯回歸  129
8.2.2  感知機  135
8.3  案例分析：垃圾郵件過濾  140
8.4  練習  143
第9章  決策樹  145
9.1  研究動因：泰坦尼克號幸存率  145
9.2  研究結果  148
9.2.1  NP完全性  148
9.2.2  自上而下的和自下而上的啟發式算法  154
9.3  案例研究：國際像棋引擎  157
9.4  練習  160
第10章  練習題解  163
10.1  排序  163
10.2  在線學習  169
10.3  推薦繫統  174
10.4  分類  182
10.5  聚類  189
10.6  線性回歸  198
10.7  稀疏恢復  205
10.8  神經網絡  210
10.9  決策樹  216  
參考文獻  228
索引  231
英文索引  236

本書主題 
大數據分析（big data analytics）是一個相對現代的數據科學領域，這一領域專注探索如何分解和分析可用的數據集，以便更加繫統地收集信息和結論。大數據分析的特點是待處理的數據量太大、太復雜、變化太快、收集成本太高、數據間的關聯太弱，因此無法通過傳統的人工處理方法進行評估。這也就是我們常說的大數據5V（Five Vs）的概念：
* 數據量（Volume）是指公司、研究機構和家庭產生和存儲的大量數據；
* 多樣性（Variety）反映了數據類型和數據源的多樣性，包括消費者檔案、社會聯繫、文本、圖像、視頻、語音等；
* 速度（Velocity）意味著數據以很高的速度不斷生成、分析和再處理，以支持底層決策；
* 有效性（Validity）是數據質量的保證，或者說代表了數據的真實性和可信度，大數據中素往往遇到測量不準確等情況；
* 價值（Value）來自成本效益分析，它表示了繫統地收集和使用業務活動中的數據為公司產生的積極影響。
總體來說，大數據現在的5V挑戰是提出足夠的概念和算法，旨在有效地捕獲、存儲、處理或利用數據。
本書宗旨
本書介紹了大數據分析中使用的基本數學模型，並對相關實際問題進行了應用參考。本書使用了必要的數學工具，並將它們應用於當前的數據分析問題，進一步跨學科應用於生物學、語言學、社會學、電氣工程、計算機科學和人工智能等領域，本書給出的例子包括DNA測序、主題提取、社區檢測、壓縮感知、垃圾郵件過濾和國際像棋引擎等。對於模型，我們使用了大量的數學知識和方法------從基本的數值線性代數、統計學和優化到更專業的遊戲、圖甚至復雜性理論。本書涵蓋了大數據分析中所有常用的相關技術，在本書中體現為排序、在線學習、推薦繫統、分類、聚類、線性回歸、稀疏恢復、神經網絡和決策樹等章節。本書章節的結構和篇幅都是標準化的，以方便學生和教師使用。
本書的每一章都從一個具體的實際問題（研究動因）開始，其主要目的是激發對特定大數據分析技術的研究。接下來用數學方法闡述研究結果，包括重要的定義、輔助語句和由此產生的結論。案例分析則通過在跨學科背景下應用它來加深所獲得的知識。案例分析包括對逐步完成的任務的描述，並伴隨著有用的提示。練習部分作為讀者自學不可或缺的一部分，有助於提高讀者對基礎理論的理解。本書最後一章附有完整的習題解答，可供有興趣的讀者參考和查閱。對於一些算法，我們也提供了Python代碼作為補充材料。
目標讀者
本書的目標讀者群體包括學習大數據分析課程的高年級本科生及研究方向為大數據分析（包括其數學基礎和相關應用）的研究生。在過去的幾年裡，與大數據分析相關的碩士學位項目，如數據工程與分析、計算與數據科學、大數據與商業分析、管理與數據科學、社會與經濟數據科學、數據分析與決策科學、大數據管理、商業與經濟數據科學、機器學習等，在世界最好的大學中數量激增。通常，這些學位項目是由經濟學家、數學家、計算機科學家或工程師組織的，這意味著學生的背景和技能會有一定的多樣性。本書通過仔細闡述大數據分析的數學基礎，並且提供幾乎所有重要研究領域的應用，來迎合這種跨學科性。學習本書所需的前置數學知識水平與本科高等數學、線性代數、概率論與數理統計等課程的難度相當，適合各專業的學生學習。從事數據領域的專業人士都將從熟悉大數據分析中獲益，因為這個領域在各行各業中扮演著越來越重要的角色。此外，本書的研究生讀者可以更深入地了解數據科學領域，意識到這一領域已經對我們的社會產生了重大影響和改變，並有望在未來為其進一步的發展做出貢獻。
致謝
首先，感謝弗雷德裡希·希森（Friedrich Thie{\\ss}en）和彼得·格魯喬斯基（Peter Gluchowski），他們於2017年在德國開姆尼茨理工大學開始了“大數據分析的數學基礎”課程的開發。作為金融學項目碩士和商務智能與分析碩士項目的負責人，希森和格魯喬斯基要求我們設計一門跨學科的數據分析課程作為相應課程的一部分。希森在審閱與數據科學相關的實際問題與經濟利益問題方面，對本書的撰寫幫助很大。格魯喬斯基與我們進行了大量關於課程結構和材料選擇的討論，回過頭看，這些討論是至關重要的。
其次，感謝開姆尼茨理工大學數學繫的同事Oliver Ernst, Roland Herzog, Alois Pichler和Martin Stoll。早在2018年，我們就開始合作數據科學碩士項目，對“大數據分析的數學基礎”這門課程的教學進行不斷的嘗試和完善。通過與這些同事就數據科學的教學進行有趣的對話，我們對這門課的體悟也得到了提升，從而形成了現在這樣一本書。
再次，感謝施普林格出版社（Springer）的Iris Ruhmann在稿件準備過程中給予我們的建議和支持。她對於我們“將數學知識引入跨學科環境”的創新觀點非常支持。我們也要感謝Greta Marino和Rory Sarkissian仔細檢查了手稿的部分內容。
最後，我們的學生指出了本書的部分錯別字和不準確的表述，在此一並表示感謝。

作者
2020年8月於德國開姆尼茨