●篇 大數據管理繫統基礎 章 大數據技術簡介 / 2 1.1 大數據技術的起源 / 2 1.2 大數據與雲計算 / 3 參考文獻 / 4 第2章 大數據管理繫統架構 / 5 2.1 大數據管理繫統不能采用單一架構 / 5 2.1.1 大數據的5V特征 / 5 2.1.2 關繫數據庫繫統架構的缺陷 / 6 2.2 基於Hadoop生態繫統的大數據管理繫統架構 / 8 2.2.1 Hadoop簡介 / 8 2.2.2 HDFS分布式文件繫統 / 9 2.2.3 MapReduce數據處理繫統 / 10 2.3 面向領域的大數據管理繫統 / 12 2.3.1 什麼是面向領域的大數據管理繫統 / 12 2.3.2 面向領域的大數據管理繫統架構 / 13 參考文獻 / 16 第3章 大數據模型型 / 17 3.1 關繫數據模型 / 17 3.1.1 關繫數據模式 / 17 3.1.2 關繫大數據存儲模型 / 17 3.1.3 查詢語言 / 18 3.1.4 典型繫統 / 18 3.2 鍵值數據模型 / 19 3.2.1 鍵值數據模式 / 19 3.2.2 鍵值數據存儲模型 / 19 3.2.3 查詢語言 / 19 3.2.4 典型繫統 / 20 3.3 列族數據模型 / 20 3.3.1 列族數據模式 / 20 3.3.2 列族數據存儲模型 / 21 3.3.3 查詢語言 / 21 3.3.4 典型繫統 / 21 3.4 文檔數據模型 / 22 3.4.1 文檔數據模式 / 22 3.4.2 文檔數據存儲模型 / 23 3.4.3 查詢語言 / 23 3.4.4 典型繫統 / 24 3.5 圖數據模型 / 24 3.5.1 圖數據模式 / 24 3.5.2 圖數據存儲模型 / 25 3.5.3 查詢語言 / 25 3.5.4 典型繫統 / 26 參考文獻 / 27 第4章 大數據應用開發 / 28 4.1 大數據應用開發流程 / 28 4.2 大數據庫設計 / 31 4.2.1 頂層設計 / 31 4.2.2 數據存儲格式 / 32 4.2.3 數據模式設計 / 34 4.2.4 &nb數據管理 / 35 4.2.5 &nb數據存儲 / 36 參考文獻 / 37 第2篇 大數據管理繫統實現技術 第5章 大數據存儲和索引技術 / 40 5.1 大數據存儲技術 / 40 5.1.1 分布式文件繫統 / 40 5.1.2 關繫數據存儲 / 45 5.1.3 列族大數據存儲技術 / 48 5.2 大數據索引技術 / 50 5.2.1 繫統概述 / 50 5.2.2 CG索引 / 53 參考文獻 / 57 第6章 大數據查詢處理技術 / 59 6.1 大數據批處理技術 / 59 6.1.1 MapReduce技術簡介 / 59 6.1.2 基於MapReduce的多表連接技術 / 62 6.2 大數據流處理技術 / 83 6.2.1 繫統設計動機與需求 / 84 6.2.2 MillWheel編程模型 / 85 6.2.3 MillWheel編程接口 / 86 6.2.4 計算 / 86 6.2.5 鍵 / 87 6.2.6 流 / 87 6.2.7 持久態 / 87 6.2.8 低水位 / 87 6.2.9 定時器 / 87 6.3 大圖數據處理技術 / 88 6.3.1 Pregel大圖處理繫統 / 89 6.3.2 繫統實現 / 94 6.3.3 GRAPE大圖處理繫統 / 97 6.4 混合大數據處理技術 / 104 6.4.1 背景介紹 / 104 6.4.2 EPIC框架概述 / 105 6.4.3 模型抽像 / 109 6.4.4 實現方案與技術細節 / 118 6.4.5 實驗 / 122 6.5 群組查詢處理技術 / 128 6.5.1 簡介 / 128 6.5.2 群組查詢的非侵入式方法 / 131 6.5.3 群組查詢基礎 / 133 6.5.4 群組查詢引擎COHANA / 138 6.5.5 性能分析 / 143 6.5.6 總結 / 149 參考文獻 / 149 第7章 大數據事務處理技術 / 151 7.1 基於鍵組的事務處理技術 / 151 7.1.1 鍵組 / 151 7.1.2 鍵值分組協議 / 152 7.1.3 繫統實現 / 153 7.2 基於時間戳的事務處理技術 / 155 7.2.1 Spanner事務處理簡介 / 155 7.2.2 TrueTime應用接口 / 155 7.2.3 基於時間戳的事務處理 / 156 7.3 確定性分布式事務處理技術 / 157 7.4 基於數據遷移的事務處理技術 / 162 7.4.1 LEAP / 164 7.4.2 L-Store / 170 參考文獻 / 174 第8章 大數據總線技術 / 176 8.1 為什麼需要大數據總線 / 176 8.1.1 兩個復雜性問題 / 176 8.1.2 從N-to-N到N-to-One / 177 8.2 基於日志的數據總線 / 178 8.2.1 數據庫中的日志 / 179 8.2.2 分布式繫統中的日志 / 179 8.3 Kafka繫統簡介 / 181 8.3.1 單個分區的效率 / 182 8.3.2 分布式協調 / 184 8.3.3 交付保證 / 186 參考文獻 / 187 第3篇 面向領域應用的大數據管理繫統 第9章 面向決策支持的雲展大數據倉庫繫統 / 190 9.1 決策支持簡介 / 190 9.2 雲展大數據倉庫繫統架構 / 191 9.2.1 雲展大數據倉庫繫統總覽 / 191 9.2.2 SINGA分布式深度學習平臺 / 192 9.2.3 CDAS眾包數據分析繫統 / 198 9.3 應用實例 / 202 9.3.1 簡介 / 202 9.3.2 綜合醫療分析繫統架構 / 205 9.3.3 聯合患者檔案 / 207 9.3.4 案例分析：患者返院預測 / 210 參考文獻 / 211 0章 面向大規模軌跡數據的分析繫統TrajBase / 212 10.1 軌跡數據處理繫統簡介 / 212 10.1.1 軌跡數據處理技術簡介 / 212 10.1.2 集中式軌跡數據處理繫統 / 213 10.1.3 分布式多維數據處理繫統 / 214 10.1.4 分布式時空數據處理繫統 / 214 10.2 軌跡概念介紹 / 215 10.3 TrajBase繫統架構 / 216 10.4 軌跡數據處理技術 / 218 10.4.1 軌跡數據表達技術 / 218 10.4.2 軌跡數據存儲技術 / 218 10.4.3 軌跡數據索引和查詢技術 / 219 10.4.4 軌跡數據挖掘技術 / 222 參考文獻 / 223 1章 基於超圖的交互式圖像檢索與標記繫統HIRT / 225 11.1 圖像檢索與標記方法簡介 / 225 11.1.1 基於文本的圖片檢索方法 / 225 11.1.2 基於內容的圖片檢索方法 / 226 11.1.3 基於超圖的圖片檢索方法 / 226 11.2 HIRT繫統架構 / 230 11.2.1 超圖構建 / 231 11.2.2 矩陣計算 / 232 11.2.3 Top-k查詢 / 237 11.3 交互式圖像檢索技術 / 237 11.3.1 並行查詢方法 / 238 11.3.2 近似查詢方法 / 241 11.3.3 交互式查詢方法 / 243 參考文獻 / 246 索引 / 247
內容簡介
本書詳細討論大數據管理技術的各個分支及其實現技術, 包括大數據建模技術、大數據存儲和索引技術、大數據查詢處理技術、大數據事務處理技術和大數據總線技術, 並在此基礎上, 對大數據應用繫統進行了全面分析。 本書面向大數據應用的開發人員、大數據管理繫統的開發人員以及大數據管理技術的研究人員, 也適用於高等院校相關專業師生學習。
制造業是國民經濟的主體，是立國之本、興國之器、強國之基。近十年來，我國制造業持續快速發展，綜合實力不斷增強，國際地位得到大幅提升，已成為世界制造業規模優選的國家。但我國仍處於工業化進程中，大而不強的問題突出，與先進國家相比還有較大差距。為解決制造業大而不強、自主創新能力弱、關鍵核心技術與高端裝備對外依存度高等制約我國發展的問題，國務院於2015 年5 月8 日發布了“中國制造2025”國家規劃。隨後，工信部發布了“中國制造2025”規劃，提出了我國制造業“三步走”的強國發展戰略及2025 年的奮鬥目標、指導方針和戰略路線，制定了九大戰略任務、十大重點發展領域。2016 年8 月19 日，工信部、國家發展改革委、科技部、財政部四部委聯合發布了“中國制造2025”制造業創新中心、工業強基、綠色制造、智能制造和高端裝備創新五大工程實施指南。 為了響應黨中央、國務院做出的建設制造強國的重大戰略部署......
"
