"全書分導論、方法論和進階應用三大部分，共10章，涵蓋數據分析的數據預處理、關聯規則分析方法、有標簽的數據分析方法、無標簽的數據分析方法、數據可視化技術、深度學習技術、Hadoop大數據分布式應用計算平臺等基礎知識。 本書內容以大數據分析流程為導引，結合一繫列案例和學生競賽作品，將數據分析技術的應用過程，由淺入深地把理論融入實踐，激發讀者濃厚的學習熱情，加深讀者對知識的認識、理解和掌握。 全書所有案例均采用Python語言編寫，不僅包括簡單程序的代碼，也包括較大應用程序代碼，所有代碼都全等

●第1章大數據挖掘及應用概論11.1大數據挖掘及應用的背景11.1.1從“小”到“大”的數據分析處理11.1.2大數據的智能分析與挖掘21.1.3大數據41.1.4雲計算51.2大數據挖掘的發展及挑戰71.2.1大數據的發展空間世界71.2.2大數據挖掘分析處理面臨的挑戰91.3數據挖掘概述111.3.1數據挖掘的概念111.3.2數據挖掘的功能111.3.3數據挖掘運用的技術131.3.4大數據挖掘與傳統數據挖掘的關繫131.3.5數據分析過程的5個原則141.4大數據挖掘分析處理框架151.4.1大數據挖掘計算平臺框架161.4.2大數據挖掘處理流程201.5小結221.6習題231.7參考文獻24第2章數據認知與預處理252.1數據挖掘的定義和流程262.1.1如何理解和描述數據挖掘的問題262.1.2數據獲取與準備272.1.3數據質量評估282.2數據類型282.2.1屬性的定義292.2.2標稱屬性292.2屬性302.2.4序值屬性302.2.5數值屬性302.3數據的統計描述方法302.3.1數據的中心趨勢度量302.3.2數據的離散趨勢度量322.4數據對像關繫的計算方法352.4.1對像相似性計算方法352.4.2數據相關性計算方法422.5數據準備442.5.1數據清洗與集成442.5.2數據歸約技術482.5.3數據轉換562.6數據統計分析常用工具介紹592.6.1Pandas統計分析工具592.6.2SPSS統計分析工具592.6.3SAS統計分析工具612.6.4R語言統計分析工具622.7Pandas案例分析652.7.1數據準備652.7.2數據錄入與編輯652.7.3數據清洗與轉換662.7.4數據方差分析682.7.5數據相關性分析692.7.6數據間距離分析712.8小結712.9習題722.10參考文獻73第3章數據可視化技術743.1可視化簡介743.2高維數據可視化753.2.1降維方法763.2.2非降維方法783.3網絡數據可視化843.3.1結點鏈接法843.3.2相鄰矩陣布局893.3.3混合布局913.4可視化案例分析923.4.1案例一： China VIS 2015 競賽題923.4.2案例二： VAST Challenge 2016競賽題993.5小結1123.6習題1133.7參考文獻113第4章數據關聯分析方法1144.1問題引入1144.2基本概念1164.2.1頻繁項集和關聯規則1174.2.2閉頻繁項集和極大頻繁項集1194.2.3稀有模式和負模式1204.3APriori算法1214.3.1APriori算法的核心思想1224.3.2APriori算法描述1234.3.3改進的APriori算法1244.4FPGrowth算法1304.4.1FPGrowth算法的核心思想1304.4.2FPGrowth算法描述1314.5關聯規則有效性的評估方法1344.5.1關聯規則興趣度評估1354.5.2關聯規則相關度評估1354.5.3其他的評估度量方法1364.6多維關聯規則的挖掘1394.7多層關聯規則挖掘1424.8案例分析(Python)1464.8.1APriori算法1464.8.2FPGrowth算法1494.9小結1544.10習題1554.11參考文獻156第5章數據分類分析方法1585.1基本概念和術語1585.1.1什麼是分類1585.1.2解決分類問題的一般方法1605.2決策樹算法1615.2.1決策樹歸納1615.2.2如何建立決策樹1625.2.3表示屬性測試條件的方法1655.2.4選擇很好劃分的度量1665.2.5決策樹歸納算法1705.2.6樹剪枝1715.2.7決策樹歸納的特點1735.3貝葉斯分類算法1755.3.1貝葉斯定理1765.3.2樸素貝葉斯分類1775.3.3貝葉斯信念網絡1795.4支持向量機算法1805.4.1數據線性可分的情況1815.4.2數據非線性可分的情況1845.5粗糙集分類算法1855.6分類器評估方法1865.6.1評估分類器性能的度量1875.6.2保持方法和隨機二次抽樣1905.6.3交叉驗證1905.6.4自助法1915.6.5使用統計顯著性檢驗選擇模型1915.7組合分類器技術1935.7.1組合分類方法簡介1935.7.2裝袋1935.7.3提升和Adaboost1945.7.4隨機森林1955.7.5提高類不平衡數據的分類準確率1965.8惰性學習法（k最近鄰分類）1975.9案例分析1985.9.1SVM案例分析1985.9.2決策樹案例分析2065.10小結2135.11習題2135.12參考文獻215第6章數據聚類分析方法2186.1基本概念和術語2186.1.1什麼是聚類分析2196.1.2對聚類的基本要求2196.1.3不同的聚類方法2206.2劃分方法2226.2.1kmeans算法2226.2.2k中心點算法2266.3層次方法2286.3.1凝聚的與分裂的層次聚類2286.3.2算法方法的距離度量2306.4基於密度的方法 2336.4.1傳統的密度: 基於中心的方法2346.4.2DBSCAN算法2366.5概率模型的聚類方法2376.5.1模糊聚類2376.5.2基於概率模型的聚類2396.5.3期望優選化算法2416.6聚類評估2436.6.1估計聚類趨勢2436.6.2確定正確的簇個數2456.6.3測定聚類質量2466.7案例分析2486.7.1使用kmeans算法進行西瓜品類分析2486.7.2使用層次聚類算法進行股票分析2526.8小結2596.9習題2596.10參考文獻260第7章深度學習2627.1引言2627.2前饋神經網絡（BP網絡）2637.3基本深度神經網絡比較2677.4深信網2687.4.1玻爾茲曼機2697.4.2受限玻爾茲曼機2697.4.3深信網2717.5深度玻爾茲曼機2757.6棧式自動編碼器2777.6.1自動編碼器2777.6.2棧式自動編碼器2787.7卷積神經網絡2807.7.1卷積2817.7.2池化2827.7.3CNN訓練過程2837.7.4CNN網絡構造的案例分析2877.8深度學習開源框架2887.8.1開源框架簡介2887.8.2開源案例分析2897.9深度學習應用技巧2947.10小結2957.11習題2967.12參考文獻296第8章Hadoop大數據分布式處理生態繫統2998.1Hadoop集群基礎2998.1.1Hadoop安裝3008.1.2Hadoop配置3018.2HDFS基礎操作3098.3MapReduce並行計算框架3168.3.1MapReduce程序實例: WordCount3178.3.2Hadoop Streaming3208.4基於Storm的分布式實時計算3218.4.1Storm簡介3218.4.2Storm基本概念3218.4.3Storm編程3258.5基於Spark Streaming的分布式實時計算3338.5.1Spark內存計算框架3348.5.2Spark Streaming簡介3358.5.3Spark Streaming 編程3378.6小結3418.7習題3428.8參考文獻342第9章Hadoop大數據分析應用3449.1典型數據挖掘算法並行化案例3449.1.1MR kmeans算法分析3449.1.2Mahout聚類算法案例3479.1.3Spark MLlib聚類算法案例3529.2大數據分析應用案例3549.2.1搜索引擎日志數據分析3549.2.2出租車軌跡數據分析3579.2.3新聞組數據分析3599.3小結3669.4習題3669.5參考文獻366第10章大數據挖掘及應用展望36810.1大數據挖掘的新數據36810.2大數據挖掘的新方法37010.2.1深度學習37110.2.2知識圖譜37310.2.3遷移學習37410.2.4強化學習37610.2.5社會計算37710.2.6特異群組挖掘37710.3互聯網時代的大數據挖掘應用37810.4大數據時代面臨的挑戰38010.4.1用戶隱私和安全問題38010.4.2數據分析算法的可解釋性問題38210.4.3人工智能的倫理問題38310.5小結38410.6參考文獻385

本書圍繞大數據背景下的數據挖掘及應用技術，從大數據挖掘的基本概念入手，由淺入深、循序漸進地介紹大數據挖掘分析過程中的數據認知與預處理、數據可視化技術、數據挖掘的基本方法、Hadoop大數據分布式處理生態繫統及分析應用等內容。其中數據挖掘的基本方法不僅包括數據關聯分析、數據分類分析及數據聚類分析，還包括深度學習等重要的數據挖掘研究和發展主題。作者對每一章的內容都盡量從不同的角度進行深入剖析，案例均采用Python語言編程。本書既可以面向計算機科學與技術、數據科學與技術、人工智能、智能科學與技術等信息類專業的本科生和研究生，也可以面向廣大的IT從業人員。全書不僅提供了全部案例的Python源代碼，還提供了豐富的習題和參考文獻，對讀者掌握大數據挖掘及應用領域的基本知識和進一步研究都具有參考價值。

王國胤、劉群、於洪、曾憲華、吳思遠 著