第1篇  Hadoop介紹

第1章  Hadoop的起源與發展 3

1.1  Hadoop發展歷程 3

1.2  Hadoop事件表 4

第2章  Hadoop的生態圈與特性 7

2.1  Hadoop的核心 7

2.2  Hadoop的其他組件 11

2.3  Hadoop的特性 16

第3章  Hadoop的應用現狀 17

3.1  國外Hadoop的應用現狀 17

3.2  國內Hadoop的應用現狀 18

第4章  與傳統數據庫的對比 20

4.1  Hbase的簡介 20

4.2  Hbase的特點 20

4.3  與傳統數據庫的區別 21

4.4  Hbase針對傳統數據庫的困境所提出的解決方案 21

第2篇  青島地鐵線網運營管理與指揮中心繫統簡介

第5章  青島地鐵概述 25

第6章  青島地鐵線網中心繫統介紹 27

6.1  線網中心規劃 27

6.2  繫統架構 27

6.3  主要功能 30

第7章  青島地鐵線網中心繫統數據接口 35

7.1  MMCC與信號繫統的接口 35

7.2  MMCC與綜合監控繫統的接口 37

7.3  MMCC與CCTV繫統的接口 40

7.4  MMCC與ACC、ACC災備中心繫統的接口 42

7.5  MMCC與能源管理繫統的接口 43

第3篇  青島地鐵線網數據中心應用實踐

第8章  線網數據中心概述 49

8.1  建設目標 49

8.2  建設原則 49

8.3  總體架構設計 51

8.4  硬件環境部署 64

8.5  網絡與安全繫統 76

第9章  數據采集 83

9.1  FTP服務器體繫 83

9.2  ETL工作流程 84

9.3  ATS采集器 89

9.4  采集數據內容 91

第10章  數據處理 107

10.1  結構化數據處理 107

10.2  非結構化數據處理 122

第11章  青島地鐵客流、行車、設備、能耗大數據分析 128

11.1  客流分析 128

11.2  行車分析 152

11.3  設備分析 159

11.4  能耗分析 171

第12章  數據輸出 184

12.1  數據輸出概述 184

12.2  運營指揮繫統 185

12.3  應急指揮繫統 192

12.4  統計分析繫統 198

12.5  運營評估繫統 217

12.6  信息服務繫統 221

第13章  數據管理 226

13.1&nbs數據管理 226

13.2  數據質量管理 234

13.3  Redis數據管理 241

13.4  DB2數據管理 242

第14章  青島地鐵線網數據中心數據發布技術規範 243

14.1  數據範圍 243

14.2  結構化數據 243

14.3  非結構化數據 244

14.4  接口協議 244

14.5  數據發布原則 247

14.6  接口數據定義 248

第15章  線網數據中心未來趨勢 287

15.1  線網數據中心擴容展望 287

15.2  雲平臺建設展望 287

前    言

《軌道交通運營大數據——青島地鐵線網運營管理與指揮中心應用實踐》由青島地鐵集團有限公司組織編寫。本書主要介紹了青島地鐵線網運營管理與指揮中心項目裡大數據中心的建設內容，以及該大數據中心為青島地鐵網絡化運營所提供的數據支持。本書共分為3篇，第 1 篇介紹了 Hadoop 的起源、發展和應用等相關內容；第 2 篇介紹了青島地鐵線網中心項目的概況，以及線網中心繫統的對外接口等內容；第 3 篇詳細介紹了大數據中心對青島市軌道交通全線網的基礎信息、行車、供電、視頻圖像、機電設備、客流、清分清算、票卡、運營維護等數據進行采集、存儲、分析、挖掘、輸出等采用的先進技術和關鍵算法，還介紹了基於大數據中心建設的各應用繫統及大數據中心對各應用繫統數據輸出的標準等內容。

本書經過精心編寫、認真審核，全面繫統地介紹了青島地鐵線網運營管理與指揮中心繫統主要建設內容及功能，是一本較為完整的技術資料，可以供國內同行、青島地鐵運營人員參考。

本書在編寫過程中得到了同方股份有限公司、東軟集團股份有限公司、北大千方科技有限公司等單位的大力支持，在此表示感謝！

由於編者技術水平及實踐經驗的局限性，書中難免存在不足和缺陷，期待廣大讀者多提寶貴意見。