由陳震、黃文良、曹軍威編著的《互聯網流量大
數據工程》在全面介紹互聯網流量大數據獲取、索引
、存儲和分析等基本知識的基礎上，著重介紹基於多
級過濾器和空時Bloom Filter的流量測量技術、基於
網包調度的流量管理技術、基於模式匹配的攻擊檢測
技術、基於流式計算的實時攻擊檢測方法、基於流量
分析的互聯化安全軟件的行為分析和基於大數據平臺
的互聯網流量存儲與處理的方法，並通過中國聯通研
究院的移動互聯網監控平臺和互聯網企業流量大數據
平臺的實際例子，說明這些技術的具體應用，全書提
供了大量應用實例。
全書共分8章：第1章介紹互聯網流量大數據背景
，包括移動互聯網發展態勢。第2章介紹互聯網流量
測量與帶寬管理，著重介紹高速網絡流量測量與網包
調度算法及應用。第3章介紹互聯網流量歸檔與查詢
，該技術是流量大數據運營的前提。第4章介紹互聯
網流量大數據存儲，大數據存儲是流量大數據運營的
基礎，當前流行的大數據存儲架構為HDFS/HBase技術
。第5章介紹互聯網流量攻擊檢測的流掃描和多模匹
配HBM算法等關鍵技術。當前網絡攻擊形式更加多樣
化，如何高效深度分析網流內容，查找網絡攻擊源頭
是流量大數據的一個創新應用。第6章介紹互聯網流
量大數據的網絡攻擊檢測，網絡攻擊實時檢測是保障
互聯網服務安全的重要手段，介紹了互聯網企業在保
障業務安全中的攻擊檢測手段。第7章介紹互聯網化
軟件流量行為分析。互聯化終端軟件是通過雲計算平
臺部署的，能夠充分利用互聯網基礎服務。在改善用
戶體驗的同時，也會帶來用戶隱私洩露的隱患。第8
章回顧了前7章內容，總結全書。
本書適合作為高等院校計算機繫統架構、計算機
網絡及安全專業高年級本科生、研究生的教材，同時
可供對計算機網絡比較熟悉並且對大數據平臺有所了
解的開發人員、廣大科技工作者和研究人員參考。

第1章 互聯網流量大數據背景
1.1 網絡流量記錄與分析
1.2 網絡流量研究現狀
1.2.1 網流信息的歸檔與查詢
1.2.2 網絡流量的歸檔與查詢
1.2.3 對研究現狀的分析
1.3 互聯網流量大數據平臺
1.4 **前沿進展
1.5 小結
參考文獻
第2章 互聯網流量測量與帶寬管理
2.1 流量測量概述
2.1.1 Internet流量測量
2.1.2 流量測量的難點
2.1.3 流量測量的目的
2.1.4 網絡測量與流量測量
2.1.5 流量測量的分類
2.1.6 離線測量與實時測量
2.2 現有算法研究工作
2.2.1 原始記錄算法及其存在的問題
2.2.2 解決問題的思路
2.2.3 采樣算法
2.2.4 Multi Stage Filter算法
2.2.5 Multi Resolution Space Code Bloom Filter算法
2.2.6 其他算法18互聯網流量大數據工程
2.2.7 工業界的解決方案
2.2.8 NetFlow介紹
2.2.9 NetFlow卡的工作原理
2.3 流量管理概述
2.3.1 流量管理定義
2.3.2 流量控制
2.3.3 高速流量管理調度算法比較與分析
2.3.4 現有流量管理繫統
2.3.5 協同式流量管理繫統
2.4 結束語
參考文獻
第3章 互聯網流量檔案化
3.1 高速網包獲取的關鍵技術
3.1.1 網包
3.1.2 Linux NAPI
3.1.3 libpcap
3.1.4 PF_RING
3.1.5 Netmap
3.1.6 Scap
3.2 網包位圖索引壓縮算法
3.2.1 位圖索引數據庫
3.2.2 WAH索引壓縮算法
3.2.3 PLWAH算法
3.2.4 COMPAX算法
3.3 流量歸檔查詢繫統
3.3.1 基於關繫數據庫的繫統實現
3.3.2 TM繫統
3.3.3 TIFA繫統實現［14］
3.3.4 TIFAflow繫統［15］［16］
3.3.5 NET FLI流記錄壓縮與查詢繫統
3.3.6 H
3.4 處理平臺展望
3.4.1 多核處理平臺［17］
3.4.2 GPU方法［18］
3.5 小結
參考文獻
第4章 互聯網流量大數據存儲
4.1 流量大數據 移動互聯網增長背景
4.2 流量大數據 采集、獲取與歸集
4.3 流量大數據 平臺架構及繫統實現
4.3.1 Hadoop集群
4.3.2 HBase集群
4.3.3 優化策略
4.3.4 HBase與DatabaseX比較
4.4 流量大數據 經營與挑戰
4.4.1 流量大數據經營
4.4.2 流量大數據—挑戰
4.5 流量大數據—總結
參考文獻
第5章 互聯網流量攻擊檢測關鍵技術
5.1 網包處理流程
5.1.1 繫統結構
5.1.2 功能模塊圖
5.1.3 多核組織模式
5.2 多模匹配算法概述
5.2.1 Bloom Filter算法及其改進
5.2.2 AC算法及其改進
5.2.3 BM算法的推廣型
5.3 基於Bloom Filter的匹配引擎
5.3.1 Bloom Filter算法
5.3.2 參數選擇
5.3.3 散列函數選擇
5.4 基於HBM算法的匹配引擎
5.4.1 記號和假設
5.4.2 BM算法回顧
5.4.3 HBM算法概述
5.4.4 HBM算法的初始化流程
5.4.5 HBM算法運行流程
5.4.6 HBM算法在多核平臺上的優化
5.4.7 HBM算法的證明與分析
5.5 實驗與分析
5.5.1 實驗環境
5.5.2 基於Bloom Filter算法的引擎性能
5.5.3 基於HBM算法的引擎性能
5.6 本章 小結和展望
參考文獻
第6章 互聯網流量攻擊檢測實例
6.1 數據中心的服務監測
6.2 互聯網服務訪問行為分析
6.3 互聯網服務抗DDoS攻擊
6.4 互聯網安全實時對抗
6.5 網絡攻擊檢測與流式處理
6.5.1 Twitter Storm流計算
6.5.2 Yahoo!S4分布式流計算平臺
6.5.3 Facebook DataFreeway/Puma3
6.5.4 Apache Spark平臺
參考文獻
第7章 互聯網化軟件流量行為分析
7.1 安全軟件簡介
7.2 測試方案
7.2.1 測試環境
7.2.2 測試方法
7.3 網絡流量分析
7.3.1 流量包進行統計
7.3.2 網絡行為頻率分析
7.3.3 網絡行為數目分析
7.3.4 網絡行為間隔累積分布對比
7.3.5 朱雀網絡行為分析
7.3.6 玄武網絡行為分析
7.3.7 遠程通信地址分析
7.4 流量分析結論
參考文獻
附錄A 聯通大數據平臺流量記錄格式
附錄B 聯通大數據平臺測試環境