傳統的入侵探測手段與日志文件分析技術，已經無法適應當今這麼復雜的網絡狀況了。在經過更新的這本書裡，本書作者會給信息安全人員提供新的技術與工具，告訴大家怎樣收集網絡流量，並對這些數據集進行分析。你會學到怎樣掌握網絡的使用情況，以及如何采取必要的措施來鞏固並守護網絡中的繫統。

本書由三部分組成，其中會講到數據收集與數據整理工作所依循的流程，並告訴你怎樣使用各類分析工具和如何運用各種分析技巧來處理不同的情況。有一些新的章節會專門討論主動監控、流量操縱、內部威脅檢測、數據挖掘、回歸分析，以及機器學習等主題。

?使用傳感器來收集網絡、服務、主機和主動領域中的數據。

?使用 SiLK 工具集、Python 編程語言，以及其他一些工具與技術，來操作你所收集的數據。

?通過探索性的數據分析（EDA），並輔以可視化技術與數學技術來探測網絡中的反常情況。

?分析文本數據，獲知流量所表示的行為，以及檢測通信過程中的錯誤。

?把網絡建模成圖，以便通過分析該圖來了解網絡中比較重要的結構。

?檢查與內部威脅有關的數據，獲取威脅情報。

?通過網絡映射工作來編制網絡資源目錄，並確定其中較為重要的主機。

?與運維人員協作以制定有效的防御及分析技術。

Michael Collins是RedJack,LLC的首席科學家，RedJack是位於美國華盛頓哥倫比亞特區的網絡安全與數據分析公司。Collins主要關注網絡測量與流量分析，尤其是對較大的流量數據集所做的分析。

“本書全面講述了從哪裡分析數據、分析什麼樣的數據，以及怎樣處理收集到的各種數據，以幫助你更好地保護本組織的網絡繫統，從而及時發現並延緩網絡攻擊。凡是編寫數據驅動型的網絡安全程序的人，都應該參考這本書。”

——Bob Rudis，

Rapid 7的首席數據科學家

“每一位網絡工程師與網絡分析師都應該看看這本書。如果你想知道怎樣從安全操作層面及策略層面，給決策者提供建議並為決策過程提供支持，那麼就來讀這本書吧。”

——Yurie Ito，

Cybergreen Institute 的創始人與執行董事

前言 1

第I 部分 數據

第1 章 整理數據：視點、領域、行動及驗證 .17

1.1 領域 19

1.2 視點 21

1.3 行動：傳感器對數據所做的處理 25

1.4 有效性與行動 27

1.5 延伸閱讀 .34

第2 章 視點：了解傳感器在網絡中的擺放情況 .36

2.1 網絡分層的基礎知識 36

2.2 在網絡中的各個層面上進行尋址 45

2.3 延伸閱讀 .57

第3 章 網絡領域內的傳感器 .58

3.1 數據包與幀的格式 .59

3.2 NetFlow 67

3.3 通過IDS 收集數據 70

3.4 提高IDS 的工作成效78

3.5 中間盒日志及其影響 91

3.6 延伸閱讀 .94

第4 章 服務領域中的數據 .96

4.1 什麼叫做服務領域中的數據？為什麼要收集這些數據？ .96

4.2 日志文件——最為基礎的服務數據 98

4.3 獲取並操縱日志文件 98

4.4 日志文件的內容 101

4.5 延伸閱讀 112

第5 章 服務領域內的傳感器 113

5.1典型的日志文件格式 . 114

5.2簡單郵件傳輸協議（SMTP） 119

5.3其他一些較為有用的日志文件 .125

5.4傳輸日志文件的三種方式：文件傳輸、Syslog 和消息隊列 .127

5.5延伸閱讀 130

第6 章 主機領域中的數據與傳感器 .131

6.1從網絡的角度觀察主機 .132

6.2與網絡接口（網卡）有關的信息 .134

6.3可以用來追蹤身份的主機信息 .138

6.4進程 140

6.5文件繫統 145

6.6歷史數據：用戶執行過的命令以及與登錄有關的信息 148

6.7其他數據與傳感器：HIPS 及AV .149

6.8延伸閱讀 150

第7 章 主動領域內的數據及傳感器 .151

7.1發現、評估及維護 152

7.2發現：ping、traceroute、netcat 等工具的用法，以及nmap 工具的

其中一部分用法 153

7.3評估：nmap、一些客戶端和許多資源庫 161

7.4用主動收集到的數據來進行驗證 .168

7.5延伸閱讀 169

第Ⅱ部分 工具

第8 章 把數據集中到一起 173

8.1宏觀結構 176

8.2日志數據與CRUD 範式 184

8.3NoSQL 繫統簡介 .187

8.4延伸閱讀 190

第9 章 SiLK 工具包 191

9.1什麼是SiLK ？它的工作原理是怎樣的？ 191

9.2取得並安裝SiLK .192

9.3用rwcut 命令操縱字段，並按照一定的格式將其輸出 .194

9.4用rwfilter 命令對字段進行基本的操縱 200

9.5用rwfileinfo 命令查詢數據文件的出處 210

9.6用rwcount 命令把信息流合起來統計 213

9.7rwset 與IP set 215

9.8rwuniq 命令 .220

9.9rwbag 命令 222

9.10SiLK 工具包的高級功能 223

9.11收集SiLK 數據 226

9.12延伸閱讀 233

第10 章 參照與查詢——用相關工具確定用戶身份235

10.1MAC 與硬件地址 236

10.2IP 地址 239

10.3DNS .246

10.4搜索引擎 266

10.5延伸閱讀 268

第Ⅲ部分 分析

第11 章 探索性數據分析及其視覺呈現275

11.1EDA 的目標：應用分析 .277

11.2EDA 的工作流程 280

11.3變量與可視化 282

11.4適用單個變量的可視化技術 284

11.5對雙變量的數據集進行呈現 291

11.6對多變量的數據集進行呈現 293

11.7擬合與估算 307

11.8延伸閱讀 315

第12 章 文本分析 316

12.1文本的編碼 316

12.2基本技能 325

12.3文本分析技術 332

12.4延伸閱讀 339

第13 章 Fumbling .340

13.1由於錯誤的配置、自動化的軟件或掃描行為而引起的fumble 現像 341

13.2如何識別fumbling 攻擊 .344

13.3服務層面的fumbling 357

13.4探測並分析Fumbling 現像 361

第14 章 流量與時間 .367

14.1辦公時間方面的規律及其對網絡流量的影響 .368

14.2beaconing 371

14.3文件傳輸/raiding 374

14.4集中度 .377

14.5對流量與集中度進行分析 .389

14.6延伸閱讀 395

第15 章 圖 396

15.1圖的定義與特征 .396

15.2標記、權重與路徑 401

15.3節點與連接性 407

15.4聚集繫數 408

15.5對圖進行分析 410

15.6延伸閱讀 415

第16 章 來自內部的威脅 .416

16.1把內部威脅與其他幾種攻擊區別開 .418

16.2避免互相傷害 421

16.3攻擊方式 422

16.4收集並分析與內部威脅有關的數據 .424

16.5延伸閱讀 428

第17 章 威脅情報 429

17.1什麼是威脅情報？ 429

17.2創建威脅情報計劃 434

17.3對威脅情報的創建工作進行小結 439

17.4延伸閱讀 440

第18 章 應用程序判定 .441

18.1可用來認定應用程序的各種手段 442

18.2認定應用程序的banner 並對其分類 456

18.3延伸閱讀 459

第19 章 網絡映射 460

19.1創建初始的網絡資源目錄與網絡映射圖 460

19.2更新網絡資源目錄，以便持續地進行審計 481

19.3延伸閱讀 482

第20 章 與運維團隊合作 .483

20.1運維工作概述 483

20.2運維工作中的各種流程 485

20.3延伸閱讀 496

第21 章 結論 498

對本書的贊譽

攻擊者通常比防御者更了解受防御的網絡所采用的技術，然而在很多情況下，防御者首先想到的，卻是把網絡構建得更加復雜，這隻能使攻擊者在技術方面變得越發領先，從而更有把握侵入網絡。要想了解受防御的網絡，其基本功就在於觀察，為了檢測異常行為並預判有可能受到的入侵，防御者必須監測網絡基礎設施的各種數據，並根據其特征做出調整。這本書解釋了怎樣觀察網絡安全數據，以及為什麼要觀察這些數據。所有的安全運維團隊都應該讀。

—— Dr. Paul Vixie，Farsight Security 的 CEO

本書作者在這本書裡展示了一套豐富的框架，告訴我們應該在哪裡觀測數據，觀測什麼樣的數據，以及如何處理觀測到的這些數據，以幫助公司檢測並制止入侵行為。對於由數據所驅動的網絡安全程序來說，這是很有必要的。

—— Bob Rudis，Rapid7 的首席數據科學家

這本書結合科學原理與實踐經驗，扎實地講解了網絡技術與網絡策略對安全所造成的影響，是網絡操作員與網絡分析師的必讀書目。如果你要參與安全運維或網絡策略層面的決策工作，或幫助他人制定此類決策，那麼應該看看這本書。

—— Yurie Ito，CyberGreen Institute 的創始人與執行董事

本書作者把他多年以來的運維體會與研究經驗，都寫在了這本書裡，以幫助網絡管理員及安全分析師從龐雜的網絡日志中尋找有意義的信號，並采取行動。既講解了數據分析理論，又通過實際的場景與代碼，很好地演示了怎樣運用這套理論來確保網絡安全。

—— Vyas Sekar，Carnegie Mellon University/CyLab 的副教授