第1章  互聯網大數據概述 1
1.1  認識大數據 1
1.1.1  大數據的定義 1
1.1.2  大數據的特征 2
1.1.3  未來十年大數據分析的
發展趨勢 3
1.2  常用大數據處理、分析工具介紹 4
1.2.1  大數據的存儲工具 4
1.2.2  大數據的軟件開發工具 6
1.2.3  大數據的挖掘工具 7
1.2.4  大數據的可視化工具 9
小結 11
第2章  互聯網大數據采集與
獲取實戰要領 12
2.1  互聯網大數據采集與處理技術
概述 12
2.1.1  數據采集的基本流程與
關鍵技術 12
2.1.2  數據處理的基本流程與
關鍵技術 14
2.2  Web頁面數據獲取實戰方法 15
2.2.1  Jsoup技術與頁面數據
獲取 15
2.2.2  應對特定領域的
Deep Web數據獲取技術 20
2.3  利用爬蟲抓取互聯網大數據
實戰技巧 22
2.3.1  Python爬蟲工作原理 22
2.3.2  利用HtmlParser實現
網頁鏈接的提取實戰 25
小結 31
第3章  做好數據預處理的實戰
方法 33
3.1  數據預處理概述 33
3.1.1  數據預處理的目的 33
3.1.2  數據預處理的方法 33
3.2  從問題分析到數據清洗實戰
策略 35
3.2.1  數據清洗的步驟 36
3.2.2  缺失值的識別與處理
技巧 38
3.2.3  異常值的判斷、檢驗與
處理 40
3.3  數據集成與數據轉換實戰方法 44
3.3.1  數據集成常見方法 44
3.3.2  數據轉換過程中的
離散化 47
3.4  數據的特征選擇 49
3.4.1  常用數據特征選擇方法 49
3.4.2  Relief算法與費希爾
判別法的應用 57
3.5  數據預處理實戰案例分析 60
小結 69
第4章  數據相關性分析與回歸    
分析的黃金法則 70
4.1  什麼是數據集 70
4.1.1  數據集的概念與常見
類型 70
4.1.2  高效進行數據度量的
實戰技巧 72
4.2  做好數據相關性分析 75
4.2.1  進行數據相關性分析的
作用 75
4.2.2  常用的數據相關分析
方法 75
4.3  做好數據回歸分析實戰要領 82
4.3.1  數據回歸分析方法概述 83
4.3.2  數據回歸分析所能
解決的實際問題 85
小結 90
第5章  如何利用關聯規則進行
大數據挖掘 91
5.1  關聯規則 91
5.1.1  什麼是關聯規則 91
5.1.2  關聯規則挖掘的應用
場景 91
5.2  關聯規則挖掘實戰流程分析 94
5.2.1  關聯規則常見分類與
四個基本屬性 94
5.2.2  快速找出高頻
項目組的實戰技巧 95
5.3  關聯規則發掘中重要的Apriori
算法 97
5.3.1  Apriori算法的基本原理 97
5.3.2  Apriori算法運行的
基本流程 99
5.4  針對Apriori算法缺點的
其他關聯規則挖掘算法 101
5.4.1  Apriori算法的兩大缺點 101
5.4.2  基於劃分規則的算法 101
5.4.3  FP-Growth算法 102
小結 118
第6章  大數據分析中的四種常見
分類算法 119
6.1  分類算法概述 119
6.1.1  有關分類算法的
基本概念 119
6.1.2  分類算法的常見
應用場景 120
6.2  KNN算法 124
6.2.1  KNN算法的工作原理與
特點 124
6.2.2  快速找到k值的
實用策略 125
6.3  決策樹與隨機森林算法 127
6.3.1  決策樹算法 127
6.3.2  Bagging與Boosting的
區別 134
6.3.3  隨機森林分類算法的
優勢與應用場景 135
6.4  樸素貝葉斯分類算法 141
6.4.1  樸素貝葉斯分類算法
運行原理分析 141
6.4.2  貝葉斯網絡 144
6.4.3  貝葉斯決策理論 148
6.5  支持向量機 153
6.5.1  支持向量機的基本思想
與特點 153
6.5.2  分類面和廣義
分類面 154
6.5.3  非線性支持向量機與
核函數 157
小結 159
第7章  大數據分析中的四種常見 
聚類算法 160
7.1  大數據分析聚類算法概述 160
7.1.1  聚類分析的相關概念及
應用場景 160
7.1.2  聚類算法運行基礎：簇與
距離度量 162
7.2  K均值聚類算法 167
7.2.1  基於劃分的K均值聚類
算法 167
7.2.2  二分K均值聚類算
法運行原理 168
7.3  基於密度的DBSCAN聚類
方法 170
7.3.1  DBSCAN算法原理
解析 170
7.3.2  DBSCAN算法的基本
運行流程 171
7.4  高斯混合模型聚類算法 173
7.4.1  GMM算法原理分析 174
7.4.2  GMM的期望算法 176
7.5  層次聚類算法 179
7.5.1  層次聚類算法的算法
思想 179
7.5.2  層次聚類算法的運行
原理 179
小結 182
第8章  自組織神經網絡算法與     
人工神經網絡算法 183
8.1  自組織神經網絡算法 183
8.1.1  什麼是自組織神經網絡 183
8.1.2  自組織映射算法運行
原理 183
8.1.3  進行SOM網絡拓撲的
實戰方法 184
8.2  人工神經網絡算法 187
8.2.1  與人工神經網絡 187
8.2.2  BP算法的網絡結構與
反向傳播 189
小結 192
第9章  互聯網大數據分析應用——   
產品個性化推薦繫統 193
9.1  推薦算法基本邏輯與常用
推薦算法類型 193
9.1.1  推薦算法的基本運行
邏輯 193
9.1.2  五種常用的推薦算法 196
9.2  打造互聯網產品個性化推薦
引擎實戰攻略 198
9.2.1  基於內容關聯的個性化
推薦繫統打造方法 198
9.2.2  基於用戶行為的協同
過濾算法實戰流程 200
9.2.3  協同過濾推薦算法在電商
個性化推薦繫統中的應用
法則 205
9.3  經典互聯網產品個性化推薦
繫統案例分析 208
9.3.1  網易雲音樂推薦算法
機制分析 208
9.3.2  今日頭條推薦算法原理
深度解析 212
小結 218
第10章  大數據分析在具體
行業中的應用 219
10.1  大數據分析在商業銀行領域的
應用 219
10.1.1  利用大數據分析顯著
提升銀行精準營銷效率
實戰方法 219
10.1.2  如何利用大數據分析
提升金融風控安全性 222

10.1.3  利用大數據分析降低
信用卡套現概率實戰
技巧 225
10.2  大數據分析在交通領域的
應用 230
10.2.1  公共交通利用出行數據
分析合理分配運力
實戰策略 230
10.2.2  大數據分析實現城市的
智能交通 233
10.3  大數據分析在安防領域的
應用 234
10.3.1  大數據分析對實現快速
安檢過閘的提升作用 234
10.3.2  家庭安防繫統中的
大數據挖掘應用 235
小結 236
參考文獻 237

這是一個互聯網技術及應用高速發展的時代，那些隨手可得的互聯網應用深刻影響著社會經濟的發展，切實改變了人們生活的方方面面，互聯網已然成為人們不可或缺的信息工具。與此同時，基於互聯網技術的飛速發展，網絡數字化生活形態的形成，使得互聯網數據逐漸累積，因此大數據就成為互聯網時代的產物。阿裡巴巴集團創始人馬雲在演講中就提到，未來的時代將不是IT時代，而是DT的時代。DT就是Data  Technology(數據技術)，說明大數據對於阿裡巴巴集團來說舉足輕重。

有媒體稱：數據已經成為一種新的經濟資產類別，就像黃金和貨幣一樣！鋻於大數據巨大的商業價值，大數據專家在企業非常受重視。大數據處理的相關知識、技術及其應用與社會經濟各個領域的融合越來越深入，相關領域的專業技術人員迫切需要建立完整的互聯網大數據處理與應用的知識體繫，以適應大數據發展趨勢的要求。

本書內容以大數據理論基礎、大數據處理的實踐技術方法和大數據技術的具體應用為主線。本書內容結構清晰，案例多樣且時效性強，致力於通過理論及案例的講解幫助讀者掌握大數據處理及應用等方面的實戰方法，以達到“真正掌握互聯網大數據處理及應用實戰方法”的效果。

本書由湖南應用技術學院信息工程學院彭進香、張莉撰寫，作者團隊對互聯網企業從事數據挖掘有較深的研究，在大數據挖掘、分析及實戰場景應用方面具有深厚經驗。本書支持項目為湖南應用技術學院“十三五”校級首批重點建設學科：計算機應用技術，學科代碼為081203，項目編號為XKJSHY2017-3。在本書寫作過程中，作者還借鋻了目前大數據相關領域的參考資料、文獻及重要研究成果與案例，在此向相關文獻資料的作者一並表示感謝！

由於作者水平有限，書中難免有疏漏或錯誤之處，敬請廣大讀者批評指正。

作  者