第1章大數據概論

1.1大數據技術簡介

1.1.1IT產業的發展簡史

1.1.2大數據的主要來源

1.1.3數據生成的三種主要

方式

1.1.4大數據的特點

1.1.5大數據的處理流程

1.1.6大數據的數據格式

1.1.7大數據的基本特征

1.1.8大數據的應用領域

1.2大數據的技術架構

1.3大數據的整體技術

1.4大數據分析的四種典型工具

簡介

1.5大數據未來發展趨勢

1.5.1數據資源化

1.5.2數據科學和數據聯盟的

成立

1.5.3大數據隱私和安全

問題

1.5.4開源軟件成為推動大數

據發展的動力

1.5.5大數據在多方位改善人

們的生活

本章小結

習題1

第2章大數據采集及預處理

2.1數據采集簡介

2.1.1數據采集

2.1.2數據采集的數據來源

2.1.3數據采集的技術方法

2.2大數據的預處理

2.3數據采集及預處理的主要

工具

本章小結

習題2

第3章大數據分析概論

3.1大數據分析簡介

3.1.1大數據分析

3.1.2大數據分析的基本

方法

3.1.3大數據處理流程

3.2大數據分析的主要技術

3.2.1深度學習

3.2.2知識計算

3.3大數據分析處理繫統簡介

3.3.1批量數據及處理繫統

3.3.2流式數據及處理繫統

3.3.3交互式數據及處理

繫統

3.3.4圖數據及處理繫統

3.4大數據分析的應用

本章小結

習題3

第4章大數據可視化

4.1大數據可視化簡介

4.2大數據可視化工具

Tableau

本章小結

習題4

第5章Hadoop概論

5.1Hadoop簡介

5.1.1Hadoop簡史

5.1.2Hadoop應用和發展

趨勢

5.2Hadoop的架構與組成

5.2.1Hadoop架構介紹

5.2.2Hadoop組成模塊

5.3Hadoop應用分析

本章小結

習題5

大數據應用基礎

目錄

第6章HDFS和Common概論

6.1HDFS簡介

6.1.1HDFS的相關概念

6.1.2HDFS特性

6.1.3HDFS體繫結構

6.1.4HDFS的工作原理

6.1.5HDFS的相關技術

6.2Common簡介

本章小結

習題6

第7章MapReduce概論

7.1MapReduce簡介

7.1.1MapReduce

7.1.2MapReduce功能、特征和

局限性

7.2Map和Reduce任務

7.3MapReduce架構和工作

流程

7.3.1MapReduce的架構

7.3.2MapReduce的工作

流程

本章小結

習題7

第8章NoSQL概論

8.1NoSQL簡介

8.1.1NoSQL的含義

8.1.2NoSQL的產生

8.1.3NoSQL的特點

8.2NoSQL技術基礎

8.2.1大數據的一致性策略

8.2.2大數據的分區與放置

策略

8.2.3大數據的復制與容錯

技術

8.2.4大數據的緩存技術

8.3NoSQL的類型

8.3.1鍵值存儲

8.3.2列存儲

8.3.3面向文檔存儲

8.3.4圖形存儲

8.4典型的NoSQL工具

8.4.1Redis

8.4.2Bigtable

8.4.3CouchDB

本章小結

習題8

第9章Spark概論

9.1Spark平臺

9.1.1Spark簡介

9.1.2Spark發展

9.1.3Scala語言

9.2Spark與Hadoop

9.2.1Hadoop的局限與不足

9.2.2Spark的優點

9.2.3Spark速度比Hadoop快的

原因分析

9.3Spark處理架構及其生態

繫統

9

習近平總書記在黨的十九大報告中提出要“推動互聯網、大數據、人工智能和實體經濟深度融合”，強調“貫徹新發展理念，建設現代化經濟體繫”。大數據、VR（虛擬現實）、AR（增強現實）和人工智能等信息技術必將為社會發展和時代進步注入新的生機和血液。

為此，本書圍繞大數據應用，從理論、相關技術和實際應用三個層面進行簡明扼要的闡述，目的是讓廣大師生對大數據的應用方法和相關知識有所了解，更好地把握科學發展的方向。

大數據技術教學在中國醫科大學已經連續開展五年，已經成為大學計算機教育的重要組成部分。為國家培養了一批掌握新IT發展動態和技能的醫學人纔，同時也積累了一定的教學經驗。

在編寫原則上，本書注重知識的繫統性、針對性、理論性和應用性。本書倡導啟發式的學習策略，通過案例啟發學生的學習興趣，檢驗其學習效果，提高其學習能力。

本書內容包括12章：第1章大數據概論主要講解了大數據技術概念、架構、整體技術；第2章大數據采集及預處理主要講解了大數據采集的概念、數據來源和技術方法；第3章大數據分析概論主要講解了大數據分析的方法、流程、主要技術；第4章大數據可視化主要講解了大數據可視化的過程和可視化工具Tableau；第5章Hadoop概論主要講解了Hadoop的架構；第6章HDFS和Common概論主要講解了HDFS的體繫結構、工作原理和Common模塊；第7章MapReduce概論主要講解了MapReduce的架構、原理和工作流程；第8章NoSQL概論主要講解了NoSQL的基本知識和典型工具；第9章Spark概論主要講解了Spark生態繫統的組成；第10章雲計算與大數據主要講解了雲計算的服務模式、部署模式；第11章典型大數據解決方案主要講解了各種大數據解決方案；第12章大數據應用案例分析（醫療領域）主要講解了大數據在醫療領域的應用案例。

本書由婁岩任主編，由徐東雨任副主編，鄭琳琳、劉尚輝、李靜、馬瑾、丁林、曹陽、龐東興、張志常、霍妍參與編寫。具體編寫分工如下：第1章由婁岩編寫，第2章由鄭琳琳編寫，第3章由劉尚輝編寫，第4章由李靜編寫，第5章由馬瑾編寫，第6章由丁林編寫，第7章由徐東雨編寫，第8章由曹陽編寫，第9章由龐東興編寫，第10章由張志常編寫，第11章、第12章由霍妍編寫。

中國鐵道出版社對本書的出版做了充分論證，精心策劃。在此向所有參加編寫的同事們、幫助和指導過我們工作的朋友們和參考文獻的作者前輩們表示衷心的感謝！

由於編者水平有限，加之時間倉促，書中難免存在疏漏之處，懇請廣大讀者批評斧正！

婁岩

2018年6月