本書將圍繞大數據技術的基本原理與實踐,介紹了大數據獲取、存儲、分析、數據挖掘和機器學習。內容涵蓋以下主題：Hadoop、Mapreduce、關聯規則、大規模監督機器學習、數據流、集群、NoSQL繫統（Pig、Hive），以及包括推薦繫統、Web和安全性的應用程序。第1章重點闡述了大數據驅動的商業模式、技術生態體繫，大數據的類型、特點、獲取技術。第2章概要介紹了大數據的軟硬件架構，包括大數據技術基礎與軟硬件設施、大數據存儲與管理技術、大數據的分布式處理技術平臺等，包括MapReduce編程框架原理、Spark結構與原理、基於Storm的大規模數據流的分布式處理技術等。第3章介紹了Python編程基礎，包括基本數據類型、基本控制流程、Numpy、Scipy、Pandas等。第4章介紹了大數據分析技術，包括基於MapReduce基礎編程、文本大數據分析與處理技術、大數據關聯分析、相似項的發現、基於大數據的推薦繫統、基於大數據的圖與網絡分析、大數據聚類分析、時空大數據分析、非結構化大數據分析與處理、基於Storm的流數據分析技術等。第5章介紹了基於SparkMLlib/Mahout的大數據機器學習，包括機器學習基礎、典型機器學習問題、機器學習評價方法、並行機器學習算法，並進行了利用MLlib解決大數據並行分類問題、利用Mahout解決大數據推薦優化問題實踐。第6章介紹了基於大數據的深度學習技術，包括深度學習基本原理、深度學習典型應用、Keras 基礎入門及應用案例。第7章介紹了材料大數據材料熱導率預測、旅遊大數據分析、交通大數據分析、工業大數據分析、產品創新大數據分析等帶代碼、數據的案例。本書內容深入淺出，具有很強的理論與實踐指導作用，可作為數據科學與技術、人工智能、計算機科學、制造科學、機械工程等學科相關專業的本科生、研究生的教材或課程教學參考書，也是對工程技術人員、科研人員而言非常實用的工具書。

第1章大數據技術概覽（1）

1.1數據發展歷史（1）

1.2什麼是大數據（5）

1.3大數據的生命周期（8）

第2章Python編程基礎（28）

2.1基本數據類型（28）

2.2基本控制流程（38）

2.3Python的面向對像機制（43）

2.4Numpy、Scipy和Pandas（47）

2.5Matplotlib軟件包（56）

本章小結（60）

習題（60）

第3章大數據的軟硬件架構（61）

3.1大數據技術基礎與軟硬件設施概述（61）

3.2大數據存儲與管理技術（65）

3.3大數據的分布式處理平臺（72）

本章小結（88）

習題（90）

第4章基於Spark MLlib/Mahout的大數據機器學習（91）

4.1機器學習基礎（91）

4.2典型機器學習問題（92）

4.3機器學習評價方法（99）

4.4並行機器學習算法（102）

4.5利用Mahout解決大數據推薦優化問題實踐（104）

本章小結（107）

習題（108）

第5章大數據分析技術（109）

5.1MapReduce編程基礎（109）

5.2基於Storm的流數據分析（119）

5.3文本大數據分析與處理（128）

5.4大數據關聯分析（131）

5.5相似項的發現（134）

5.6基於大數據的推薦技術（138）

5.7基於大數據的圖與網絡分析（142）

5.8大數據聚類分析（150）

5.9時空大數據分析（158）

5.10非結構化大數據分析與處理（164）

5.11利用MLlib解決大數據並行分類問題實踐（169）

本章小結（173）

習題（173）

第6章大數據流式處理（175）

6.1流式處理概述（175）

6.2流式處理模型（183）

6.3流式處理引擎Apache Spark（190）

6.4新一代流式處理引擎 Apach Flink（200）

6.5基於Flink的人體生命體征數據分析與告警（218）

6.6本章小結（229）

6.7習題（230）

第7章基於大數據的深度學習技術與應用（231）

7.1深度學習基本原理（231）

7.2深度學習典型應用（233）

7.3Keras基礎入門（239）

7.4應 用 案 例（241）

本章小結（248）

習題（248）

第8章大數據安全與隱私保護關鍵技術（250）

8.1大數據安全（250）

8.1.2大數據時代的隱私安全挑戰（251）

8.2大數據安全隱私保護（252）

8.3大數據安全與隱私保護的關鍵技術（254）

8.3.1匿名化處理技術（255）

8.3.2加密存儲技術（257）

8.3.4訪問控制技術（260）

8.4大數據安全與隱私保護展望（262）

8.4.1網絡態勢感知：助力大數據發展（262）

8.4.2人工智能：為大數據發展護航（263）

8.5本章小結（263）

習題（264）

第9章帶代碼、數據的案例研究（265）

9.1材料大數據與材料熱導率預測（265）

9.2旅遊大數據分析（275）

9.3交通大數據分析（284）

9.4工業大數據分析（289）

9.4.5模型部署及可視化（313）

9.5產品創新大數據分析（322）

9.6基於醫藥網站數據的醫療知識圖譜（328）

9.7車間生產安全監測（337）

9.8人工智能安全案例（350）

9.9司法大數據分析案例（355）

本章小結（382）

習題（382）

參考文獻（383） 

當前，數據已成為新型生產要素。發展大數據技術已成為國家戰略。數據要素的專業化研究與應用的核心是高端人纔。不可否認的是，目前大數據人纔在世界範圍內仍處於緊缺狀態。大數據所具有的規模性、多樣性、流動性和價值高等特征，決定了大數據人纔必須是復合型人纔，需要具備超強的綜合能力。大數據的分析與應用，要求大數據人纔是多學科交叉型人纔，既有數據庫和軟件等計算機方面的知識，又有應用領域的學科專業知識能力。因此，各高等院校必須進一步改善人纔培養模式，修訂人纔培養方案和課程體繫，嘗試用多種形式培養跨界型大數據人纔。筆者基於國家大數據戰略需求，在數據科學與技術的基礎上，結合多學科交叉課程體繫建設、“新工科”建設，在總結近年來教學、科研及人纔培養實踐的基礎上，組織教學科研一線教師，合力完成了本書。本書為普通高等院校“新工科”創新教育精品課程繫列教材、*高等學校機械類專業教學指導委員會推薦教材，是目前的將深度學習與大數據技術相結合的教材。在教材的編寫過程中，注重以企業對人纔的需求為導向；教材內容兼顧本專業培養目標和學生就業崗位實際，在講解理論知識的同時，精選了材料大數據、旅遊大數據、交通大數據、工業大數據等方面具有代表性的案例進行分析展示。全書共7章。第１章概括介紹了大數據技術的基本概念，主要包括大數據驅動的商業模式、數據的類型、大數據的特點、大數據的獲取方式等。第２章介紹了大數據的軟硬件架構，主要包括大數據技術基礎與軟硬件設施、大數據存儲與管理技術、大數據的分布式處理平臺等。第３章講解了Python的編程基礎，主要包括基本數據類型、控制流程、Numpy/Scipy/Pandas/Matplotlib等相關的數據庫介紹。第４章講解了大數據分析技術，主要包括MapReduce編程基礎、文本大數據分析與處理技術、大數據關聯分析、相似項的發現、基於大數據的推薦繫統、基於大數據的圖與網絡分析、大數據聚類分析、時空大數據分析、非結構化大數據分析與處理、基於Storm的流數據分析技術等。第５章介紹了基於Spark MLlib/Mahout的大數據機器學習，主要包括機器學習基礎、機器學習要解決的問題及評價方法、並行機器學習算法、利用MLlib解決大數據並行分類問題實踐、利用Mahout解決大數據推薦優化問題實踐等。第６章介紹了基於大數據的深度學習技術與應用，主要包括深度學習基本原理、深度學習典型應用、Keras基礎入門以及相應的應用案例等。第７章主要是經典案例的分析，包括材料大數據與材料熱導率的預測、旅遊大數據分析、交通大數據分析、工業大數據分析、產品創新大數據分析等。本書有如下幾方面特色：（1）知識體繫合理，語言通俗易懂。本書按照讀者的接受度搭建知識體繫，內容由淺入深、循序漸進，並盡*大可能地將學術語言轉化為讓讀者容易理解的語言。（2）內容全面，應用性強。本書提供了從大數據概念到Python編程基礎，再到機器學習、深度學習的整體架構，並在第７章通過幾個經典的案例解析進行了展示。（3）提供了完整的源代碼，並提供了訓練數據集或其來源。如果數據集是作者制作的，則可通過掃描書中二維碼直接獲取。如果數據集來源於網站，則通過二維碼提供了有效的下載鏈接。本書由貴州大學省部共建公共大數據國家重點實驗室（籌）主任李少波教授、貴州大學楊靜副教授編著。李少波、楊靜擔任本書編寫委員會主任，張安思、秦永彬、楊觀賜擔任本書編寫委員會副主任。胡傑、唐向紅、陸豐、周鵬、陳艷平、魏宏靜、白強、全華鳳、李琴、李傳江、張森、李想、張鈞星等一線教學科研人員任本書編寫委員會委員，他們均參與了本書的編寫工作。本書既可作為本科生教學用書，又可作為研究生的主要教材，同時也可作為廣大工程技術人員及對大數據感興趣的研究人員的參考書。在本書編寫過程中得到了省部共建公共大數據國家重點實驗室（籌）學術委員會各位專家的指導，對此表示衷心的感謝。由於時間倉促，且編者水平有限，書中定有錯訛和不足之處，懇請廣大讀者批評指正。