重復數據刪除是提升大數據性能、成本的極高效方法。本書將各種前沿技術以及落地方案進行了講解，對大數據從業者、存儲從業者、院校師生都是一本極好的參考資料。

●第1章 概 述 11.1  大數據簡介 21.1.1  大數據定義和維度 21.1.2  大數據管理挑戰 61.2  高效能存儲管理 91.2.1  存儲虛擬化 101.2.2 自動分層存儲 131.2.3  自動精簡配置 171.2.4  數據縮減技術 191.3  本章小結 21 第2章 存儲技術基礎 232.1  存儲介質 242.1.1  磁存儲介質 242.1.2  光存儲介質 262.1.3  電子存儲介質 282.2  存儲接口 322.2.1  IDE接口 332.2.2  SATA接口 332.2.3  SCSI接口 342.2.4  SAS接口 352.2.5  PCIE接口 362.2.6  FC接口 372.3  存儲繫統架構 382.3.1  存儲器分層結構 382.3.2  RAID技術 402.4  網絡存儲繫統 442.4.1  直接連接存儲 442.4.2  網絡附加存儲 462.4.3  存儲區域網絡 472.4.4  基於對像存儲 482.4.5  幾種存儲結構的比較 492.5  本章小結 51 第3章 大數據管理技術 523.1  分布式計算框架 533.2  分布式文件繫統 563.2.1  HDFS 583.2.2  Ceph 593.2.3  Lustre   613.3  NoSQL數據庫 633.3.1  HBase 643.3.2  MongoDB 663.4  大數據倉庫 673.4.1  Hive 683.4.2  Pig 693.4.3  Phoenix 703.5  本章小結 73 第4章 重復數據刪除存儲繫統 744.1  重復數據刪除的概念及分類 754.1.1  基本概念 764.1.2  技術分類 784.2  重復數據刪除存儲原理 814.2.1  繫統架構 814.2.2  主要步驟 824.2.3  衡量指標 834.3  重復數據刪除技術應用場景 844.3.1  數據備份 84XI4.3.2  歸檔存儲 854.3.3  遠程容災 854.3.4  虛擬化環境 864.3.5  主存儲繫統 864.3.6  新型存儲介質 874.4  相關產品及開源項目 874.4.1  企業產品 884.4.2  開源項目 914.5  本章小結 94 第5章 重復數據刪除關鍵技術 955.1  數據劃分方法 965.1.1  全文件分塊 975.1.2  靜態分塊 975.1.3  基於內容分塊 985.1.4  基於應用分塊 1005.1.5  Delta編碼 1005.2  塊索引查詢優化技術 1025.2.1  基於塊局部性的優化策略 1025.2.2  基於分層消重的優化策略 1045.2.3  基於固態存儲的優化策略 1055.3  可擴展數據路由技術 1075.3.1  基於分布式哈希表的塊級數據路由技術 1075.3.2  基於狀態信息的超塊級數據路由技術 1085.3.3  基於相似性的文件級數據路由技術 1095.4  塊指紋計算加速方法 1105.4.1  多核CPU加速方法 1105.4.2  GPGPU加速方法 1115.5  數據還原方法 1135.5.1  主存儲還原方法 1135.5.2  備份存儲還原方法 1135.5.3  雲存儲還原方法 1155.6  垃圾回收技術 1165.6.1  引用計數法 1165.6.2  標記清理法 1175.7  高可靠數據配置策略 1185.7.1  糾錯編碼技術 1185.7.2  副本策略 1195.8  數據安全技術 1205.8.1  加密衝突 1215.8.2  旁路攻擊 1215.8.3  所有權證明 1225.9  本章小結 123 第6章 應用感知源端重復數據刪除機制 1246.1  研究背景 1256.2  相關研究工作 1276.2.1  應用感知存儲研究 1276.2.2  基於源端重復數據刪除的雲備份研究 1276.3  基本形式化模型 1286.3.1  符號與基本定義 1286.3.2  模型抽像與問題定義 1296.4  研究動機 1326.5  高效應用感知源端重復數據刪除的設計與實現 1396.5.1  ALG-Dedupe體繫結構簡介 1396.5.2  文件大小過濾器 1406.5.3  智能數據分塊策略 1416.5.4  應用感知的消重器 1416.5.5  應用感知索引結構 1426.5.6  段和容器管理 1436.6  實驗評估 1446.6.1  實驗平臺和數據集 1446.6.2  重復數據刪除效果 1456.6.3  重復數據刪除效率 1466.6.4  雲備份窗口 1476.6.5  能耗利用率 1486.6.6  雲存儲代價 1496.6.7  繫統開銷 1506.7  本章小結 151 第7章 高可擴展集群重復數據刪除技術 1527.1  研究背景 1547.2  相關研究工作 1557.3  基本模型與算法 1577.3.1  超塊相似性分析 1587.3.2  基於手紋的數據路由算法 1607.4  繫統設計與實現 1627.4.1  Σ-Dedupe繫統架構 1627.4.2  數據路由消息通信 1647.4.3  相似索引查詢優化 1657.5  性能評估 1667.5.1  實驗平臺和工作負載 1677.5.2  驗證度量 1677.5.3  單節點並行重復數據刪除效率 1687.5.4  集群重復數據刪除效率 1727.6  本章小結 176 第8章 重復數據刪除存儲案例分析 1778.1  重復數據刪除縮減率評估 1788.2  主流廠商相關產品應用案例 1818.2.1  Dell EMC公司產品案例 1818.2.2  IBM公司產品案例 1958.2.3  飛康軟件公司產品案例 1998.2.4  富士通公司產品案例 2048.2.5  NetApp公司產品案例 2118.2.6  Quantum公司產品案例 2188.3  本章小結 224

本書面向從事大數據存儲繫統設計及相關技術研究和開發工作的讀者。既可以作為存儲繫統架構師、軟件開發工程師、產品或項目經理、數據中心運維人員等的實用工具書，還可以作為普通高等院校計算機和大數據科學相關專業的教學或科研人員、研究生、高年級本科生及相關培訓機構學員的學習參考書。

付印金、肖儂 著