第1章  大數據相關概念

  1.1  什麼是大數據?

  1.2  大數據有多大?

  1.3  大數據是一種思維方式

  1.4  大數據思維的應用案例

  1.5  大數據是如何產生的?

  1.6  美國和中國的大數據產業生態繫統

  1.7  如何學習大數據技術

  本章小結

  參考文獻

第2章  搭建私有大數據處理平臺

  2.1  FreeBSD操作繫統安裝

  2.2  基礎軟件安裝

    2.2.1  安裝Java運行環境

    2.2.2  安裝bash

  2.3  Hadoop安裝配置

    2.3.1  繫統規劃

    2.3.2  配置conf／masters、con.f／slaves文件

    2.3.3  Hadoop安裝

  2.4  Hadoop開發環境配置

    2.4.1  編譯Hadoop—eclipse—plugin-1.1.2.jar插件

    2.4.2  eclipse配置

    2.4.3  測試

  2.5  Hadoop升級

  2.6  Zookeeper安裝

    2.6.1  在FreeBSD上安裝Zookeeper

    2.6.2  啟動並測試Zookeeper

  2.7  HBase安裝配置

  2.8  FreeBSD上網配置

    2.8.1  VPN上網配置

    2.8.2  網頁認證上網配置

  2.9  配置殺毒軟件

  本章小結

第3章  大數據平臺虛擬化解決方案

  3.1  Ubuntu上安裝Docker 

    3.1.1  Docker簡介

    3.1.2  Docker安裝

    3.1.3  Docker鏡像相關命令

    3.1.4  Docker容器相關命令

    3.1.5  Dockerfile創建鏡像

    3.1.6  Docker實現Spark集群

    3.1.7  Docker集中化Web界面管理平臺shipyard

    3.1.8  DockerUI

  3.2  OpenStack搭建

    3.2.1  下載工具和鏡像

    3.2.2  配置網橋

    3.2.3  安裝fuel 

    3.2.4  安裝OpenStack平臺

    3.2.5  使用OpenStack平臺

  本章小結

  參考文獻

第4章  大數據平臺解決方案

  4.1  大數據平臺比較

  4.2  CDH大數據平臺搭建

    4.2.1  Cloudera Manager安裝

    4.2.2  添加服務

  4.3  HDP大數據平臺搭建

    4.3.1  部署Ambari

    4.3.2  用Amban_web部署HDP平臺

  本章小結

第5章  Spark在大數據處理中的應用

  5.1  Spark集群搭建

    5.1.1  Scala在Ubuntu下的安裝和配置

    5.1.2  Spark集群搭建

    5.1.3  Spark集群啟動測試

  5.2  Spark—shell統計社交網絡中節點的度

    5.2.1  啟動HDFS和Spark

    5.2.2  運行Spark—shell

    5.2.3  統計社交網絡中節點的度

  5.3  Spark GraphX

    5.3.1  屬性圖

    5.3.2  圖操作

    5.3.3  構建圖

    5.3.4  圖計算相關算法

    5.3.5  GraphX圖計算實例

  本章小結

  參考文獻

第6章  大數據技術在環境科學中的應用

  6.1  大氣環境科學的數值模式的介紹

    6.1.1  氣像模式

    6.1.2  區域空氣質量模式

  6.2  高分辨率實時觀測的大數據

  本章小結

  參考文獻

第7章  大數據在DrugBank藥物數據庫聚類方面的應用

  7.1  簡介

  7.2  開發環境及編程語言

  7.3  算法設計

    7.3.1  算法設計流程

    7.3.2  相似度的計算

  7.4  算法實現

    7.4.1  文件的解析

    7.4.2  對靶標、作用酶的分析

    7.4.3  對分子中原子百分比的處理過程

    7.4.4  結果的整合

    7.4.5  終結果展示

  本章小結

  參考文獻

第8章  大數據在電子商務數據分析中的應用

  8.1  研究現狀

  8.2  相關技術及概念

    8.2.1  網絡爬蟲

    8.2.2  HtmlUnit工具包

    8.2.3  Mahout 

    8.2.4  樸素貝葉斯算法

    8.2.5  文檔向量

    8.2.6  TF-IDF改進加權

    8.2.7  中文分詞

  8.3  需求分析

    8.3.1  繫統功能

    8.3.2  繫統界面

  8.4  概要設計

    8.4.1  繫統模塊設計

    8.4.2  數據庫設計

  8.5  詳細設計

    8.5.1  用戶登錄模塊

    8.5.2  爬蟲管理模塊

    8.5.3  算法管理模塊

    8.5.4  用戶管理模塊

  8.6  繫統測試

    8.6.1  訓練集準備

    8.6.2  新數據準備

    8.6.3  訓練模型

    8.6.4  數據分類

    8.6.5  分類結果分析

  本章小結

  參考文獻

第9章  大數據技術在社交網絡研究中的應用

  9.1  社區發現研究簡介

  9.2  社區發現相關研究工作

    9.2.1  相關工作

    9.2.2  研究動機

  9.3  模型與問題的形式化

    9.3.1  社區森林模型

    9.3.2  問題形式化

  9.4  骨干度算法

    9.4.1  骨干度算法框架

    9.4.2  算法的時間復雜度

    9.4.3  算法比較

  9.5  實驗分析

    9.5.1  數據集

    9.5.2  一個特定人際關繫網絡的測試

    9.5.3  Zachary的空手道俱樂部測試

    9.5.4  美國大學橄欖球隊

    9.5.5  安然電子郵件公司數據集

    9.5.6  DBLP合作網絡

    9.5.7  結論

  本章小結

  參考文獻

第10章  大數據技術在文本挖掘和情感分類中的應用

  10.1  研究綜述

    lO.1.1  基於產品特征的觀點挖掘研究

    10.1.2  產品評論結構化信息抽取方法

    10.1.3  評論信息分類相關研究方法

  10.2  評論文本的結構化信息抽取

    10.2.1  產品特征抽取

    10.2.2  基於關聯規則抽取評論的隱式特征

    10.2.3  基於監督學習抽取評論的隱式特征

  10.3  情感分類研究綜述

    10.3.1  基於詞典與語言規則進行情感分類

    10.3.2  觀點挖掘結果歸納

  10.4  算法評估結果與分析

    10.4.1  隱式特征抽取實驗結果及分析

    10.4.2  篇章  粒度情感分類實驗結果及分析

    10.4.3  語句粒度情感分類實驗結果及分析

  本章小結

  參考文獻

第11章  大數據技術在電力繫統中的應用

  11.1  一種雲可視化機網協調控制響應特性數據挖掘方法

    11.1.1  技術領域

    11.1.2  背景技術

    11.1.3  方案內容

  11.2  基於電力數據分析的河北南網電力市場化風險對衝方法

    11.2.1  電網對發電側市場化風險對衝分析

    11.2.2  電網對用電側市場化風險對衝分析

    11.2.3  基於方差偏離規律的統計套利對衝方法

  本章小結

附錄  FreeBSD操作繫統安裝