了得網計算機/網絡_Spark機器學習進階實戰

產品特色

內容簡介

全書一共分三大部分：
基礎篇（1-2章）對Spark機器學習進行概述、並通過Spark機器學習開始進行數據分析；
算法篇（3-8章）針對分類、聚類、回歸、協同過濾、關聯規則、降維等算法進行詳細講解，並進行案例支持；
綜合案例篇（9-12章）重點通過異常檢測、用戶畫像、廣告點擊率預估、智慧交通大數據4個綜合場景，詳細講解基於Spark機器學習的綜合應用。

前言
篇基礎篇
第1章機器學習概述 2
1.1機器學習概述 2
1.1.1理解大數據 2
1.1.2機器學習發展過程 4
1.1.3大數據生態環境 5
1.2機器學習算法 6
1.2.1傳統機器學習 6
1.2.2深度學習 8
1.2.3其他機器學習 8
1.3機器學習分類 9
1.3.1監督學習 9
1.3.2無監督學習 10前言
篇基礎篇
第1章機器學習概述 2
1.1機器學習概述 2
1.1.1理解大數據 2
1.1.2機器學習發展過程 4
1.1.3大數據生態環境 5
1.2機器學習算法 6
1.2.1傳統機器學習 6
1.2.2深度學習 8
1.2.3其他機器學習 8
1.3機器學習分類 9
1.3.1監督學習 9
1.3.2無監督學習 10
1.3.3半監督學習 10
1.3.4強化學習 10
1.4機器學習綜合應用 11
1.4.1異常檢測 12
1.4.2用戶畫像 12
1.4.3廣告點擊率預估 12
1.4.4企業征信大數據應用 12
1.4.5智慧交通大數據應用 13
1.5本章小結 13
第2章數據分析流程和方法 14
2.1數據分析概述 14
2.2數據分析流程 15
2.2.1業務調研 16
2.2.2明確目標 16
2.2.3數據準備 16
2.2.4特征處理 17
2.2.5模型訓練與評估 21
2.2.6輸出結論 23
2.3數據分析的基本方法 24
2.3.1彙總統計 24
2.3.2相關性分析 25
2.3.3分層抽樣 26
2.3.4假設檢驗 26
2.4簡單的數據分析實踐 27
2.4.1環境準備 27
2.4.2準備數據 28
2.4.3數據分析 29
2.5本章小結 30
第二篇算法篇
第3章構建分類模型 32
3.1分類模型概述 32
3.2分類模型算法 34
3.2.1邏輯回歸 34
3.2.2樸素貝葉斯模型 36
3.2.3SVM模型 37
3.2.4決策樹模型 39
3.2.5K-近鄰 40
3.3分類效果評估 40
3.3.1正確率 41
3.3.2準確率、召回率和F1值 41
3.3.3ROC和AUC 42
3.4App數據的分類實現 44
3.4.1選擇分類器 44
3.4.2準備數據 45
3.4.3訓練模型 46
3.4.4模型性能評估 48
3.4.5模型參數調優 49
3.5其他分類模型 50
3.5.1隨機森林 50
3.5.2梯度提升樹 51
3.5.3因式分解機模型 51
3.6本章小結 52
第4章構建聚類模型 53
4.1聚類概述 53
4.2聚類模型 54
4.2.1KMeans聚類 54
4.2.2DBSCAN聚類 55
4.2.3主題聚類 56
4.3聚類效果評價 58
4.3.1集中平方誤差和 58
4.3.2Purity評價法 59
4.4使用KMeans對鳶尾花卉數據集聚類 59
4.4.1準備數據 59
4.4.2特征處理 60
4.4.3聚類分析 60
4.4.4模型性能評估 62
4.5使用DBSCAN對GPS數據進行聚類 62
4.5.1準備數據 63
4.5.2特征處理 64
4.5.3聚類分析 64
4.5.4模型參數調優 65
4.6其他模型 66
4.6.1層次聚類 66
4.6.2基於圖的聚類 67
4.6.3混合聚類模型 67
4.7本章小結 68
第5章構建回歸模型 69
5.1常用回歸模型 69
5.1.1線性回歸模型 70
5.1.2回歸樹模型 70
5.1.3其他回歸模型 71
5.2評估指標 73
5.3回歸模型優化 74
5.3.1特征選擇 74
5.3.2特征變換 74
5.4構建UCI裙子銷售數據回歸模型 75
5.4.1準備數據 75
5.4.2訓練模型 78
5.4.3評估效果 79
5.4.4模型優化 79
5.5其他回歸模型案例 80
5.5.1GDP影響因素分析 81
5.5.2大氣污染分析 81
5.5.3大數據比賽中的回歸問題 81
5.6本章小結 82
第6章構建關聯規則模型 83
6.1關聯規則概述 83
6.2常用關聯規則算法 84
6.2.1Apriori算法 84
6.2.2FP-Growth算法 85
6.3效果評估和優化 86
6.3.1效果評估 86
6.3.2效果優化 87
6.4使用FP-Growth對豆瓣評分數據進行挖掘 88
6.4.1準備數據 89
6.4.2訓練模型 89
6.4.3觀察規則 91
6.4.4參數調優 91
6.4.5使用算法 92
6.5其他應用場景 94
6.6本章小結 96
第7章協同過濾 97
7.1協同過濾概述 97
7.2常用的協同過濾算法 98
7.2.1基於用戶的協同過濾 99
7.2.2基於物品的協同過濾 100
7.2.3矩陣分解技術 101
7.2.4推薦算法的選擇 102
7.3評估標準 103
7.3.1準確率 103
7.3.2覆蓋率 103
7.3.3多樣性 104
7.3.4其他指標 104
7.4使用電影評分數據進行協同過濾實踐 104
7.4.1準備數據 105
7.4.2訓練模型 106
7.4.3測試模型 109
7.4.4使用ALS結果 111
7.5本章小結 112
第8章數據降維 113
8.1降維概述 113
8.2常用降維算法 114
8.2.1主成分分析 114
8.2.2奇異值分解 116
8.2.3廣義降維 117
8.2.4文本降維 118
8.3降維評估標準 121
8.4使用PCA對Digits數據集進行降維 122
8.4.1準備數據 122
8.4.2訓練模型 123
8.4.3分析降維結果 124
8.5其他降維方法 124
8.5.1線性判別分析 124
8.5.2局部線性嵌入 125
8.5.3拉普拉斯特征映射 125
8.6本章小結 126
第三篇綜合應用篇
第9章異常檢測 128
9.1異常概述 128
9.1.1異常的產生 129
9.1.2異常檢測的分類 129
9.2異常檢測方法 130
9.2.1基於模型的方法 130
9.2.2基於鄰近度的方法 131
9.2.3基於密度的方法 132
9.2.4基於聚類的方法 133
9.3異常檢測繫統 133
9.3.1異常檢測過程 133
9.

前言

上善若水，水善利萬物而不爭。
數據一如水，無色無味，非方非圓，以百態存於自然，於自然無違也。綿綿密密，微則無聲，巨則洶湧；與人無爭卻又容納萬物。生活離不開水，同樣離不開數據，我們被數據包圍，在數據中生活，體會著數據量爆炸式增長帶來的幸福和挑戰。
本書從《道德經》和《莊子》精選名言，並結合大數據機器學習相關內容，對名言加以講解，引導大家以老莊的思想認識大數據的內涵，使用機器學習進行大數據價值挖掘，探求老子道之路和莊子智慧之路。
為什麼要寫這本書
2014年春天，曾經和公司大數據團隊小伙伴一起聚焦研究大數據，為了解決國內資料匱乏、學習門檻較高的問題，著手編寫《Spark核心技術與高級應用》一書，並於2016年1月出版，取得了較好的反響，得到很多朋友的支持。上善若水，水善利萬物而不爭。
數據一如水，無色無味，非方非圓，以百態存於自然，於自然無違也。綿綿密密，微則無聲，巨則洶湧；與人無爭卻又容納萬物。生活離不開水，同樣離不開數據，我們被數據包圍，在數據中生活，體會著數據量爆炸式增長帶來的幸福和挑戰。
本書從《道德經》和《莊子》精選名言，並結合大數據機器學習相關內容，對名言加以講解，引導大家以老莊的思想認識大數據的內涵，使用機器學習進行大數據價值挖掘，探求老子道之路和莊子智慧之路。
為什麼要寫這本書
2014年春天，曾經和公司大數據團隊小伙伴一起聚焦研究大數據，為了解決國內資料匱乏、學習門檻較高的問題，著手編寫《Spark核心技術與高級應用》一書，並於2016年1月出版，取得了較好的反響，得到很多朋友的支持。
近年來，隨著收集、存儲和分析的數據量呈爆炸式增長，大規模的數據分析和數據價值挖掘能力已經成為影響企業生死存亡的關鍵，越來越多的企業必須面對這殘酷而美好的挑戰。基於大數據的機器學習有效解決了大數據帶來的數據分析和數據挖掘瓶頸。
如何讓更多的大數據從業人員更輕松地使用機器學習算法進行大數據價值挖掘，通過簡單的學習建立大數據環境下的機器學習工程化思維，在不必深究算法細節的前提下，實現大數據分類、聚類、回歸、協同過濾、關聯規則、降維等算法，並使用這些算法解決實際業務場景的問題。2016年秋天，在機械工業出版社高婧雅編輯的指導下，懷著一顆附庸風雅之心，我決定和小伙伴們一起朝著新的目標努力。
本書的寫作過程中，Spark版本也在不斷變化，秉承大道至簡的原則，我們一方面盡量按照新的版本進行統籌，另外一方面盡量做到和版本解耦，希望能拋磚引玉，以個人的一些想法和見解，為讀者拓展出更深入、更全面的思路。
本書隻是一個開始，如何使用機器學習算法從海量數據中挖掘出更多的價值，還需要無數的大數據從業人員前赴後繼，突破漫漫雄關，共同創造美好的大數據機器學習時代。
本書特色
本書介紹大數據機器學習的算法和實踐，同時對傳統文化進行了一次緬懷，吸收傳統文化的精華，精選了《道德經》和《莊子》部分名言，實現大數據和哲學思想的有效統一。結合老子的“無為”和莊子的“天人合一”思想，引導讀者以辯證法思考方式認識大數據機器學習的內涵。
從技術層面上，本書一方面基於Spark現有的機器學習庫講解，另一方面盡量做到和現有Spark版本中的機器學習庫解耦，突出對大數據機器學習的宏觀理解，並給出典型算法的工程化實現，使更多的人輕松使用機器學習進行大數據價值挖掘，從而建立大數據機器學習工程化思維，在不必深究算法細節的前提下有效解決實際問題。本書更加強調在實際場景中的應用，並有針對性地給出了綜合應用場景。
從適合讀者閱讀和掌握知識的結構安排上講，本書分“基礎篇”“算法篇”“綜合應用篇”三個維度層層推進，便於讀者在深入理解基礎上根據相應的解決思路找到適合自己的方案。
本書使用的機器學習算法和應用場景都是實際業務的抽像，並基於具體業務進行實現。作為本書的延續，接下來我們會聚焦應用實踐並提供更深層次的拓展，專注知識圖譜的技術與應用，以及Bot技術與構建實戰，期待相關圖書能和讀者盡早見面。
讀者對像
（1）對大數據感興趣的讀者
伴隨著大數據時代的到來，很多工作都和大數據息息相關，無論是傳統行業、互聯網行業，還是移動互聯網行業，都必須要了解大數據，通過大數據發現自身的價值。對這部分讀者來說，本書的內容能夠幫助他們加深對大數據/機器學習及其演進趨勢的理解，通過本書可以了解機器學習相關算法，以及Spark機器學習應用場景和存在價值，如果希望更深層次地掌握Spark機器學習相關知識，本書可以作為一個很好的開始。
（2）從事大數據機器學習算法的研究人員
本書基於分類、聚類、回歸、關聯規則、協同過濾、降維等算法，結合異常檢測、用戶畫像、廣告點擊率預估、企業征信大數據、智慧交通大數據等場景，繫統地講解了Spark機器學習相關知識，對從事大數據算法的研究人員來說，能夠身臨其境地體驗各種場景，了解各類算法在不同場景下的優缺點，減少自己的研究成本。本書對生產環境中遇到的算法建模、數據挖掘等問題有很好的借鋻作用。
（3）大數據工程開發人員
大數據工程開發人員可以從本書中獲取需要的機器學習算法工程化知識。對大數據工程開發人員來說，掌握並快速對算法進行工程化，是很重要的技能，本書為填補算法工程開發人員與算法研究人員之間的鴻溝、高效工作提供了更多可能。
（4）大數據架構設計人員
基於大數據的采集、存儲、清洗、實時計算、統計分析、數據挖掘等是大數據架構師技能。他們需要對Spark機器學習進行了解，纔能在架構設計中綜合考慮各種因素，構建穩定高效的大數據架構。
如何閱讀本書
本書分為三篇，共計13章內容。
基礎篇（第1和2章），對機器學習進行概述講解，並通過Spark機器學習進行數據分析。
算法篇（第3～8章），針對分類、聚類、回歸、關聯規則、協同過濾、降維等算法進行詳細講解，並進行算法建模應用實現。
綜合應用篇（第9～13章），綜合異常

商品搜索

商品分类

【醫學】

【各大出版社】