部分人工智能的安全觀

第1章人工智能安全概述

1.1什麼是人工智能安全

1.2人工智能安全問題與脆弱性

1.2.1人工智能及其安全問題的出現

1.2.2人工智能安全的層次結構

1.2.3人工智能的脆弱性

1.3人工智能安全的基本屬性

1.4人工智能安全的技術體繫

1.4.1人工智能安全的數據處理

1.4.2人工智能用於網絡安全攻擊與防御

1.4.3人工智能對抗攻擊與防御

1.4.4機器學習隱私攻擊與保護

1.4.5人工智能安全治理技術

1.4.6人工智能平臺安全

1.5人工智能安全的數學基礎

1.6人工智能安全的相關法律與規範

1.7人工智能安全的發展趨勢

第二部分人工智能安全的數據處理

第2章非平衡數據分類

2.1數據非平衡現像與影響

2.2非平衡數據分類方法

2.2.1數據欠采樣

2.2.2數據過采樣

2.2.3數據組合采樣

2.2.4特征層的不平衡數據分類

2.2.5算法層的非平衡數據分類

2.3非平衡數據分類方法的實現

第3章噪聲數據處理

3.1噪聲的分類、產生原因與影響

3.2噪聲處理的理論與方法

3.3基於數據清洗的噪聲過濾

3.4主動式噪聲迭代過濾

3.5噪聲魯棒模型

3.5.1錯誤樣本權重調整

3.5.2損失函數設計

第4章小樣本學習方法

4.1小樣本學習基礎

4.1.1小樣本學習的類型

4.1.2小樣本學習與其他機器學習的關繫

4.1.3小樣本學習的PAC理論

4.1.4小樣本學習方法體繫

4.2小樣本的數據增強方法

4.3基於模型的小樣本學習

4.3.1多任務學習

4.3.2嵌入學習

4.3.3生成式模型

4.4基於算法的小樣本學習

4.5小樣本學習的相關資源

第三部分人工智能用於網絡安全的攻擊與防御

第5章基於機器學習的安全檢測

5.1網絡入侵檢測

5.1.1概述

5.1.2數據集

5.1.3數據預處理

5.1.4特征工程

5.1.5在天池AI平臺上的開發

5.1.6入侵檢測的棘手問題

5.2SQL注入檢測

5.2.1概述

5.2.2SQL注入方法

5.2.3SQL注入的檢測方法

5.2.4SQL語句的特征提取

5.2.5在天池AI平臺上的開發

5.3虛假新聞檢測

5.3.1概述

5.3.2基於統計學習的檢測

5.3.3基於多任務學習的檢測

5.3.4有待人工智能解決的問題

第6章攻擊與防御的智能技術

6.1概述

6.2攻擊圖簡介

6.2.1攻擊圖的基本概念

6.2.2攻擊圖生成方法

6.2.3攻擊圖的計算任務

6.3基於圖論的方法

6.3.1圖的路徑算法

6.3.2圖節點排序算法

6.4基於貝葉斯網絡的方法

6.5基於馬爾可夫理論的方法

6.5.1馬爾可夫鏈

6.5.2馬爾可夫決策過程

6.5.3隱馬爾可夫模型

6.5.4部分可觀測馬爾可夫決策過程

6.6基於博弈論的方法

6.7攻擊圖智能技術的發展趨勢

第四部分人工智能模型的對抗攻擊與防御

第7章機器學習繫統的攻擊者

7.1從垃圾郵件檢測談起

7.2機器學習繫統的漏洞

7.3攻擊者及其目的

7.4知識及攻擊者能力

7.4.1知識

7.4.2攻擊者能力

7.5攻擊者的代價與收益

7.6攻擊行為與分類

7.6.1攻擊行為

7.6.2攻擊行為分類

第8章對抗攻擊的理論與方法

8.1對抗樣本與方法

8.1.1對抗樣本及其存在性

8.1.2對抗樣本生成方法概述

8.2對抗樣本生成方法

8.2.1基於梯度的方法

8.2.2基於優化的方法

8.2.3ZOO對抗樣本生成

8.2.4決策樹對抗樣本生成

8.2.5普適擾動對抗樣本生成

8.2.6基於生成對抗網絡的生成方法

第9章典型的對抗攻擊方法

9.1投毒攻擊

9.1.1投毒攻擊場景

9.1.2投毒攻擊的原理

9.1.3基於天池AI的SVM投毒實現

9.1.4手寫數字分類器的投毒

9.2後門攻擊

9.3逃避攻擊

9.3.1逃避攻擊場景

9.3.2逃避攻擊原理

9.3.3手寫數字識別的逃避攻擊

9.4遷移攻擊

9.5自然語言對抗樣本生成

9.5.1自然語言對抗攻擊的場景

9.5.2文本情感分類的逃避攻擊

9.5.3原文本的對抗樣本生成

9.5.4偽文本生成

9.6口令對抗網絡樣本生成

9.6.1PassGAN設計原理

9.6.2PassGAN的應用

第10章機器學習繫統的隱私安全

10.1概述

10.2機器學習模型的隱私

10.3隱私保護技術基礎

10.3.1隱私及其度量

10.3.2匿名化及其攻擊

10.3.3差分隱私

10.3.4同態加密

10.4大數據隱私攻擊與保護

10.4.1關繫型數據隱私保護

10.4.2位置隱私保護

10.4.3社交網絡隱私保護

10.5隱私計算架構

10.5.1安全多方計算

10.5.2聯邦學習

10.6典型應用中的隱私保護

10.6.1LBS推薦中的隱私保護

10.6.2蘋果手機中的差分隱私

第11章聚類模型的攻擊

11.1聚類攻擊場景

11.2聚類算法的攻擊模型

11.2.1攻擊者的目標

11.2.2攻擊者的知識

11.2.3攻擊者的能力

11.2.4攻擊方式

11.2.5攻擊性能評價

11.3聚類算法的攻擊方法

11.3.1橋接攻擊

11.3.2擴展攻擊

11.4天池AI上的聚類攻擊實現

11.4.1橋接攻擊

11.4.2擴展攻擊

第12章對抗攻擊的防御方法

12.1防御技術概況

12.2數據層的防御

12.3模型層

12.3.1正則化

12.3.2蒸餾網絡

12.4算法層的防御

12.4.1對抗訓練

12.4.2防御蒸餾

12.4.3算法魯棒性增強

第五部分人工智能平臺的安全與工具

第13章機器學習平臺的安全

13.1機器學習平臺漏洞

13.1.1機器學習平臺自身的漏洞

13.1.2依賴庫漏洞

13.2TensorFlow的模型安全

13.2.1TensorFlow的模型機制與使用

13.2.2TensorFlow的模型風險與攻擊

13.2.3安全措施

第14章阿裡雲天池AI學習平臺與實驗

14．1阿裡雲天池AI學習平臺

14．2本書實訓案例介紹

14．3配置與使用

14．3．1Adversarial Robustness Toolbox

14．3．2使用方法

14．4實驗案例的說明

近年來，人工智能理論與技術無論在學術研究還是在實際應用中，都得到了廣泛關注，成為當今信息科技的發展潮流。但同時，諸如自動駕駛、客服機器人等人工智能應用中發生了一繫列安全事件，引發了人們對人工智能應用前景的擔憂。由此，人工智能安全被提上重要議程，學術界加快了人工智能安全理論與實踐的研究步伐。從學科發展的角度看，人工智能和網絡空間安全存在密切的聯繫。一方面，人工智能理論和技術有效地提升了網絡空間安全攻擊與防御的智能化水平； 另一方面，人工智能模型應用越來越多地被發現存在漏洞和安全風險，並成為網絡空間安全的新問題。人工智能安全則是這兩個學科方向發展和交叉的必然結果。
在阿裡雲產學合作協同育人項目的支持下，本書結合大數據驅動的人工智能發展背景，對人工智能安全的理論與實踐技術進行了全面梳理。從人工智能的安全觀、人工智能安全的數據處理、人工智能用於網絡安全的攻擊與防御、人工智能模型的對抗攻擊與防御以及人工智能平臺的安全與工具五個角度，建立人工智能安全的完整知識體繫。
本書作為一本產學兼顧的教材，具有如下特色： 
（1）  圍繞大數據驅動的人工智能發展背景，充分考慮數據在人工智能中的重要性，提煉出人工智能安全的數據主線。把網絡空間安全智能防御的數據處理、人工智能模型訓練階段的數據安全、推理階段的數據安全以及數據角度的防御技術，作為知識體繫的主干。
（2）  從安全觀的角度來組織人工智能安全的知識體繫。人工智能安全是人工智能和網絡空間安全的交叉學科，網絡空間安全的基本特征和規律對於人工智能安全仍然適用。這種知識體繫安排充分考慮了兩個學科方向的內在聯繫，有利於讀者更深刻地理解人工智能安全。
（3）  既注重人工智能安全的相關理論，也強調人工智能安全實踐技術。一方面，圍繞人工智能安全模型和算法，介紹了相關數學和對抗攻擊的基礎理論； 另一方面，基於阿裡雲天池實驗室構建了十個實踐案例，極大方便了讀者進行在線實驗，並理解人工智能安全技術的實際運用。
本書共分五部分，部分對人工智能安全問題、基本屬性、技術體繫等進行了歸納梳理。第二部分著重介紹人工智能安全數據處理的三個重要方法，即非平衡數據分類、噪聲數據處理和小樣本學習方法。第三部分從人工智能技術用於解決網絡空間安全的攻擊與防御問題角度，以網絡入侵檢測、SQL注入檢測、虛假新聞檢測為例介紹人工智能方法的應用，從攻擊圖的角度介紹典型人工智能方法在攻擊與防御中的應用。第四部分圍繞機器學習模型的安全問題，對攻擊者、對抗攻擊的理論與方法、典型的對抗攻擊方法、隱私安全、聚類模型的攻擊以及對抗攻擊的防御方法進行了梳理。第五部分介紹機器學習平臺的安全和基於阿裡雲天池AI學習平臺的若干案例與實驗。這五部分所構成的人工智能安全知識體繫如下圖所示。

本書作者及其科研團隊十多年來一直從事網絡空間安全、人工智能和大數據技術相關科研和教學工作。在包括國家自然科學基金項目在內的各類科研項目支持下，對網絡空間安全防御、互聯網內容安全、機器學習模型算法及應用做了大量研究，積累了一定的經驗。此外，作者從2011年開始先後為復旦大學信息安全專業的本科生、研究生開設了“信息內容安全”“大數據安全”等課程，經過多年的教學實踐，累積了豐富的教學資源。
全書由曾劍平負責內容安排、編寫和統稿，由人工智能安全理論和技術的研究人員參與編寫。王從一、肖楊、柴穎、段江嬌編寫並驗證了本書的案例。吳爽和陳彥羽參與了第6章的編寫。曾睿對全書進行了校對。在本書編寫過程中，得到了阿裡雲計算有限公司多名技術專家的大力支持，在產學合作教材編寫項目申請、立項、跟蹤、結題以及應用案例構建方面給予了很多幫助和指導。此外，在教材編寫過程中，參考和引用了許多論文、技術報告，均已在參考文獻中列出。在此，一並表示衷心的感謝。
由於時間倉促和作者的學識水平限制，並且人工智能安全技術仍在快速發展中，諸多問題逐漸暴露，書中難免存在不足和疏漏，懇請讀者不吝批評指正，以利於再版時修訂完善。
讀者可關注微信公眾號IntBigData（互聯網大數據處理技術與應用），訂閱與本書相關的文章，並與作者互動。

作者2022年3月