（1）大數據安全技術體繫完整。本書依據大數據安全體繫，以主流的大數據平臺Hadoop為例，介紹各種安全技術的實施，包括認證、訪問控制、數據加密、監控、審計及安全管理。（2）覆蓋大數據安全前沿技術。本書不僅介紹了實用的配置和方便的管理軟件開發，而且探討了屬性基加密、遠程數據審計、隱私保護等方面大數據安全的關鍵技術，為大數據安全技術深入研究提供擴展空間。（3）選取大數據安全平臺的典型案例。依托承擔的國家重點研發計劃項目“生殖健康大數據深度分析與安全保障技術研究”，本書結合醫療健康的實際需求，設計可行的大數據繫統安全保障技術，支持醫療健康大數據平臺的管理和擴展。

大數據安全是網絡空間安全領域中一個重要的研究方向。大數據繫統安全是保障大數據安全的基礎。
《大數據繫統安全技術實踐》分析了現有的大數據安全需求，從繫統安全的角度出發，探討了基於Hadoop的身份認證、訪問控制、數據加密、監控與審計、隱私保護等方面的大數據繫統安全實用技術與關鍵技術，並結合大數據平臺安全組件與服務，設計了大數據繫統安全體繫架構和一體化安全管理繫統，用以滿足大數據平臺的安全需求。
《大數據繫統安全技術實踐》分為13章，第1～3章介紹大數據繫統的基礎知識；第4～10章介紹大數據繫統的實用安全技術；第11～13章介紹大數據繫統的關鍵安全技術。
《大數據繫統安全技術實踐》內容完整，描述方式由淺入深，可用作網絡空間安全、計算機科學及其他相關交叉研究領域的教學科研參考書，也可作為相關技術人員的參考資料。
《大數據繫統安全技術實踐》特點：
大數據安全技術體繫完整：
《大數據繫統安全技術實踐》依據大數據安全體繫，以主流的大數據平臺Hadoop為例，介紹各種安全技術的實施，包括認證、訪問控制、數據加密、監控、審計及安全管理。
覆蓋大數據安全前沿技術：
《大數據繫統安全技術實踐》不僅介紹了實用的配置和方便的管理軟件開發，而且探討了屬性基加密、遠程數據審計、隱私保護等方面大數據安全的關鍵技術，為大數據安全技術深入研究提供擴展空間。
選取大數據安全平臺的典型案例：
依托承擔的國家重點研發計劃項目“生殖健康大數據深度分析與安全保障技術研究”，《大數據繫統安全技術實踐》結合醫療健康的實際需求，設計可行的大數據繫統安全保障技術，支持醫療健康大數據平臺的管理和擴展。

尚濤，2006年博士畢業於日本高知工科大學繫統工程專業，現為北京航空航天大學網絡空間安全副教授，中國電子學會信息論分會 委員，中國人工智能學會 智能機器人專業委員會 委員；主持國家重點研發計劃項目子課題、國家自然科學基金面上項目、國際合作、教育部留學回國人員科研啟動基金項目、中國博士後科學基金項目、國防863計劃項目、中央高校基本科研業務費專項資金項目等多項。

第1章緒論 1
1．1大數據的特點 1
1．2大數據平臺 2
1．3醫療健康大數據的應用需求 3
1．4國外研究現狀及趨勢 5
1．5國內研究現狀及趨勢 6
第2章大數據平臺Hadoop的繫統構成 9
2．1Hadoop組件 9
2．1．1HDFS 9
2．1．2MapReduce 10
2．1．3HBase 11
2．2偽分布式Hadoop環境部署 12
2．3分布式Hadoop環境部署 16
2．4分布式MongoDB環境部署 18
2．4．1MongoDB 18
2．4．2環境設置 20
2．4．3集群搭建 20
2．4．4掛載磁盤 26
第3章大數據平臺Hadoop的安全機制 28
3．1概述 28
3．2Hadoop安全機制 29
3．2．1基本的安全機制 29
3．2．2總體的安全機制 30
3．3Hadoop組件的安全機制 31
3．3．1RPC安全機制 31
3．3．2HDFS安全機制 31
3．3．3MapReduce安全機制 34
3．4Hadoop的安全性分析 36
3．4．1Kerberos認證體繫的安全問題 36
3．4．2繫統平臺的安全問題 36
3．5Hadoop安全技術架構 37
3．6安全技術工具 39
3．6．1繫統安全 39
3．6．2認證授權 40
3．6．3數據安全 42
3．6．4網絡安全 44
3．6．5其他集成工具 45
第4章大數據繫統安全體繫 47
4．1概述 47
4．2相關研究 47
4．3大數據面臨的安全挑戰 50
4．4大數據安全需求 51
4．5大數據安全關鍵技術 53
4．6大數據繫統安全體繫框架 56
第5章大數據繫統身份認證技術 59
5．1概述 59
5．2Kerberos認證體繫結構 59
5．3身份認證方案 61
5．4身份認證方案實現 63
5．5Kerberos常用操作 68
5．5．1基本操作 68
5．5．2操作流程 69
第6章 大數據繫統訪問控制技術 71
6．1 概述 71
6．2 基於角色的訪問控制方案 72
6．3 XACML語言框架 73
6．3．1 訪問控制框架 73
6．3．2 策略語言模型 74
6．4 基於XACML的角色訪問控制方案實現 75
6．4．1 角色訪問控制策略描述 75
6．4．2 角色訪問控制策略實現 76
6．4．3 角色訪問控制策略測試 77
6．5 Sentry開源組件 79
6．6 基於Sentry的細粒度訪問控制方案 80
6．6．1 加入環境屬性約束的訪問控制模型 80
6．6．2 MySQL安裝配置 81
6．6．3 Hive安裝配置 83
6．6．4 Sentry安裝配置 85
6．6．5 細粒度訪問控制模塊實現 88
第7章 大數據繫統數據加密技術 93
7．1 概述 93
7．2 透明加密 93
7．3 存儲數據加密方案實現 95
7．3．1 實現步驟 95
7．3．2 參數說明 97
7．3．3 功能測試 97
7．4 SSL協議 98
7．4．1 SSL協議體繫結構 98
7．4．2 SSL協議工作流程 99
7．4．3 Hadoop平臺上SSL協議配置 99
7．5 傳輸數據加密方案實現 100
7．5．1 傳輸數據加密需求 100
7．5．2 Hadoop集群內部節點之間數據傳輸加密配置 101
7．5．3 Hadoop總體加密配置 102
第8章 大數據繫統監控技術 103
8．1 概述 103
8．2 Ganglia開源工具 103
8．3 Ganglia環境部署 104
8．3．1 Ganglia測試集群rpm包安裝方式 104
8．3．2 Ganglia測試集群編譯安裝方式 109
8．4 Ganglia配置文件 112
8．4．1 gmond配置文件 112
8．4．2 gmetad配置文件 121
8．4．3 gweb配置文件 122
8．5 基於Ganglia的狀態監控方案實現 122
8．5．1 實現步驟 122
8．5．2 功能測試 123
8．6 基於Zabbix的監控報警方案實現 124
8．6．1 Zabbix簡介 124
8．6．2 Zabbix安裝配置 124
8．6．3 Web界面操作 127
第9章 大數據繫統審計技術 136
9．1 概述 136
9．2 審計方案 137
9．3 開源軟件ELK 138
9．4 ELK安裝配置 139
9．4．1 Elasticsearch安裝 139
9．4．2 Logstash安裝 141
9．4．3 Kibana安裝 142
9．5 基於ELK的審計方案實現 143
9．5．1 實現步驟 143
9．5．2 功能測試 143
第10章 大數據繫統一體化安全管理技術 146
10．1 概述 146
10．2 網絡結構設計 146
10．3 安全模塊設計 148
10．4 軟件開發架構 151
10．5 軟件運行流程 152
10．6 軟件界面 153
10．7 軟件測試 159
第11章 大數據繫統屬性基加密關鍵技術 163
11．1 概述 163
11．2 預備知識 164
11．2．1 群知識 164
11．2．2 雙線性配對 165
11．2．3 拉格朗日插值定理 165
11．2．4 訪問結構 165
11．3 屬性基加密方案 167
11．3．1 傳統的屬性基加密方案 167
11．3．2 改進的屬性基加密方案 168
11．4 屬性基加密方案的實現 169
11．4．1 屬性基加密算法 169
11．4．2 屬性基加密模塊 170
11．5 基於屬性的大數據認證加密一體化方案 172
11．5．1 方案整體架構 172
11．5．2 方案運行流程 173
11．5．3 安全性分析 175
11．5．4 功能測試 175
11．5．5 性能測試 176
11．5．6 方案總結 177
第12章 大數據繫統遠程數據審計關鍵技術 178
12．1 概述 178
12．2 遠程數據審計方案 179
12．2．1 基於兩方模型的遠程數據審計方案 179
12．2．2 基於三方模型的遠程數據審計方案 180
12．2．3 遠程數據審計方案需求 181
12．3 預備知識 181
12．3．1 密碼學基礎 182
12．3．2 數據結構 182
12．3．3 分布式計算框架 184
12．3．4 繫統審計模型 185
12．4 單用戶遠程動態數據審計方案 186
12．4．1 方案描述 186
12．4．2 方案分析 189
12．4．3 方案總結 192
12．5 支持並行計算的單用戶遠程動態數據審計方案 192
12．5．1 方案描述 192
12．5．2 更新算法描述 193
12．5．3 並行計算算法設計 196
12．5．4 方案分析 199
12．5．5 方案總結 201
12．6 多用戶遠程動態數據審計方案 201
12．6．1 方案描述 202
12．6．2 動態更新 204
12．6．3 方案分析 206
12．6．4 方案總結 209
第13章 大數據繫統隱私保護關鍵技術 210
13．1 概述 210
13．2 隱私保護方案 211
13．2．1 隱私保護研究現狀 211
13．2．2 隱私保護聚類技術研究現狀 212
13．2．3 隱私保護分類技術研究現狀 213
13．3 預備知識 214
13．3．1 k-means算法 214
13．3．2 決策樹C4．5算法 215
13．3．3 差分隱私 216
13．4 面向聚類的隱私保護方案 216
13．4．1 基於MapReduce框架的優化Canopy算法 217
13．4．2 基於MapReduce框架的DP k-means算法 218
13．4．3 實驗結果 218
13．5 面向分類的隱私保護方案 219
13．5．1 等差隱私預算分配 220
13．5．2 基於MapReduce的差分隱私決策樹C4．5算法 220
13．5．3 實驗結果 221
13．6 方案總結 223
參考文獻 224

構建一個安全可靠的大數據平臺是大數據應用的基礎。在以Hadoop為主的大數據平臺設計之初，設計人員並沒有考慮到安全問題。如今的大數據生態繫統中存在著許多安全隱患，大數據平臺的安全性面臨很大的挑戰。
目前，大數據繫統應用和大數據分析類書籍較多，但專門介紹大數據安全的書籍較少，而且繫統性、實用性不強。隨著大數據繫統的快速應用，大數據繫統安全的重要性日益明顯。為了促進大數據繫統安全體繫的開發效率，作者編寫了本書，由淺入深地介紹大數據繫統安全技術的實際配置及其技術難點。
本書的特色主要體現在以下三個方面。
特色一：大數據安全技術體繫完整。本書依據大數據安全體繫，以主流的大數據平臺Hadoop為例，介紹各種安全技術的實施，包括認證、訪問控制、數據加密、監控、審計及安全管理。
特色二：覆蓋大數據安全前沿技術。本書不僅介紹了實用的配置和方便的管理軟件開發，而且探討了屬性基加密、遠程數據審計、隱私保護等方面大數據安全的關鍵技術，為大數據安全技術深入研究提供擴展空間。
特色三：選取大數據安全平臺的典型案例。依托承擔的國家重點研發計劃項目“生殖健康大數據深度分析與安全保障技術研究”，本書結合醫療健康的實際需求，設訃可行的大數據繫統安全保障技術，支持醫療健康大數據平臺的管理和擴展。
全書分為13章，第1章為緒論，介紹大數據的特點和國內外研究現狀；第2章為大數據平臺Hadoop的繫統構成，介紹Hadoop組件及偽分布式Hadoop、分布式Hadoop、分布式MongoDB環境部署；第3章為大數據平臺Hadoop的安全機制，介紹Hadoop安全機制、Hadoop組件的安全機制、Hadoop的安全性分析、Hadoop安全技術架構及安全技術工具；第4章為大數據繫統安全體繫，介紹大數據面臨的安全挑戰、大數據安全需求、大數據安全關鍵技術、大數據繫統安全體繫架構；第5章為大數據繫統身份認證技術，介紹Kerberos認證體繫結構、身份認證方案及其實現；第6章為大數據繫統訪問控制技術，介紹基於角色的訪問控制、XACML語言框架、Sentry開源組件、訪問控制方案實現；第7章為大數據繫統數據加密技術，介紹透明加密和SSL協議、存儲數據和傳輸數據加密方案實現；第8章為大數據繫統監控技術，介紹Ganglia開源工具、Ganglia環境部署、Ganglia配置文件、基於Ganglia的狀態監控方案實現、基於Zabbix的監控報警方案實現；第9章為大數據繫統審計技術，介紹審計方案、開源軟件ELK、ELK安裝配置及基於ELK的審計方案實現；第10章為大數據繫統一體化安全管理技術，介紹網絡結構設計、安全模塊設計、軟件開發架構、軟件運行流程、軟件界面及軟件測試；第11章為大數據繫統屬性基加密關鍵技術，介紹屬性基加密方案及其實現、基於屬性的大數據認證加密一體化方案；第12章為大數據繫統遠程數據審計關鍵技術，介紹單用戶、多用戶遠程動態數據審計方案；第13章為大數據繫統隱私保護關鍵技術，介紹面向聚類的隱私保護方案和面向分類的隱私保護方案。
本書由尚濤副教授、劉建偉教授編著。北京航空航天大學大數據安全研究組的碩士研究生莊浩霖、陳星月、趙錚、陳然一鎏、張鋒、姜亞肜，本科生舒王偉、周博洋、陳志強、張麗穎、王慶麟、黃子航等對於本書的編寫做了大量的研究工作，其中趙錚、張鋒、姜亞肜等進行了大量的校正工作：北京航空航天大學路新喜、王靜遠老師對於本書的編寫提供了很多技術支持，關振宇、毛劍、伍前紅、修春娣等老師為本書的順利出版做了大量的支持工作。
國家衛生健康委科學技術研究所與北京航空航天大學共同承擔國家重點研發計劃項目，搭建高等級醫療健康大數據基礎平臺，加強醫療健康大數據與人工智能關鍵技術創新研發。特別感謝國家衛生健康委科學技術研究所的馬旭研究員、楊英副研究員、彭左旗老師在本書編寫過程中給予的大力支持。
奇安信科技集團股份有限公司作為北京航空航天大學的戰略合作伙伴，積極開展大數據安全方面的合作，共建大數據協同安全技術國家工程實驗室智能安全聯合實驗室，依托教育部產學合作協同育人項目，為北京航空航天大學構建的大數據繫統提供技術支持和應用轉化，為本書的出版做了大量的工作，在此深表感謝。
本書在編寫過程中得到了電子工業出版社和北京航空航天大學的大力文持、鼓勵和幫助，並且得到了國家重點研發計劃項目（No.2016YFC1000307）、教育部產學合作協同育人項目和國家自然科學基金資助項目（No.61571024和No.61971021）的資助，在此表示誠摯的謝意。本書參考、引用了國內外相關書籍、文獻及有關網站的內容，在此對原作者表示衷心的感謝。
由於作者水平有限，書中難免存在疏漏與不妥之處，懇請廣大讀者和同行專家批評指正。