楊強教授

微眾銀行首席人工智能官（CAIO）和香港科技大學（HKUST）計算機科學與工程繫講席教授。曾任香港科技大學計算機科學與工程繫繫主任。研究興趣包括人工智能、機器學習和數據挖掘，特別是遷移學習、自動規劃、聯邦學習和基於案例的推理。當選多個國際學會會士（Fellow），包括ACM、AAAI、IEEE、IAPR， CAAI和AAAS。1982 年獲北京大學天體物理學學士學位，並分別於1987年和1989 年獲馬裡蘭大學帕克分校計算機科學繫碩士學位和博士學位。曾在滑鐵盧大學（University of Waterloo,1989-1995 年）和西蒙弗雷澤大學（Simon Fraser University, 1995-2001 年）擔任教授。ACM TIST 和IEEE TBD 創始主編，國際人工智能聯合會議（IJCAI）理事長（2017-2019 年）和國際人工智能促進學會（AAAI）的執行委員會成員（2016-2020 年）, 香港人工智能學會的理事長，曾任AAAI 2021大會主席。曾獲多個獎項，包括2004/2005 ACM KDDCUP 冠軍、ACM SIGKDD 卓越服務獎（2017）、AAAI 創新人工智能應用獎（2018, 2020）和吳文俊人工智能傑出貢獻獎（2019）。華為諾亞方舟實驗室的創始主任（2012-2014 年）和第四範式（AI 平臺公司）的共同創始人。

黃安埠

微眾銀行AI項目組資深研究員，畢業於清華大學。在機器學習、隱私保護安全計算、推薦繫統和計算機視覺等領域有豐富的研究和落地經驗。已申請和擁有30多項國內和PCT國際專利，學術成果發表在AAAI、ACM TIST、IEEE BigData、AI Magazine等國際學術會議期刊上；獲得AAAI人工智能創新應用獎（2020年）；著有《深入淺出深度學習》（電子工業出版社，2017年）一書。在加入微眾銀行之前曾任職於騰訊，期間領導創建了服務於億級用戶、全球的中文音樂流媒體在線推薦平臺。

劉洋

微眾銀行AI項目組資深研究員、研究團隊負責人。研究興趣包括機器學習、聯邦學習、遷移學習、多智能體繫統、統計力學以及這些技術的產業應用。2012年獲得普林斯頓大學博士學位，2007年獲得清華大學學士學位。擁有多項國際發明專利，研究成果曾發表於Nature、IJCAI、AAAI和ACM TIST等科研刊物和會議上；曾獲得AAAI人工智能創新應用獎、IJCAI創新應用獎和CCF科技成果獎等多個獎項；《聯邦學習》一書的主要作者之一。

陳天健

微眾銀行AI項目組副總經理，目前負責構建基於聯邦學習技術的銀行智能生態繫統。擁有超過15年的大規模分布式智能繫統設計經驗，並在Web搜索引擎、對等網絡存儲、計算基因組學、個性化推薦繫統、數字銀行等多個應用領域中實現了技術創新。現居中國深圳，與工作伙伴一起建設和推廣聯邦學習開源項目FATE。在加入微眾銀行之前曾擔任百度金融首席架構師（同時也是百度的主任架構師）。

部分聯邦學習基礎

第1章 聯邦學習概述/3
1.1 數據資產的重要性/4
1.2 聯邦學習提出的背景/5
1.3 聯邦學習的定義/7
1.4 聯邦學習的分類/10
1.5 聯邦學習算法現狀/12

第2章 聯邦學習的安全機制/15
2.1 基於同態加密的安全機制/16
2.1.1 同態加密的定義/16
2.1.2 同態加密的分類/18
2.2 基於差分隱私的安全機制/20
2.2.1 差分隱私的定義/20
2.2.2 差分隱私的實現機制/23
2.3 基於安全多方計算的安全機制/26
2.3.1 秘密共享/26
2.3.2 不經意傳輸/28
2.3.3 混淆電路/29
2.4 安全機制的性能效率對比/30
2.5 基於Python 的安全計算庫/31

第二部分聯邦學習快速入門

第3章 用Python 從零實現橫向聯邦圖像分類/35
3.1 環境配置/36
3.2 PyTorch 基礎/37
3.2.1 創建Tensor /37
3.2.2 Tensor 與Python 數據結構的轉換/38
3.2.3 數據操作/39
3.2.4 自動求導/41
3.3 用Python 實現橫向聯邦圖像分類/41
3.3.1 配置信息/41
3.3.2 訓練數據集/42
3.3.3 服務端/43
3.3.4 客戶端/45
3.3.5 整合/46
3.4 聯邦訓練的模型效果/47
3.4.1 聯邦訓練與集中式訓練的效果對比/47
3.4.2 聯邦模型與單點訓練模型的對比/48

第4章 微眾銀行FATE 平臺/51
4.1 FATE 平臺架構概述/52
4.2 FATE 安裝與部署/53
4.2.1 單機部署/53
4.2.2 集群部署/54
4.2.3 KubeFATE 部署/55
4.3 FATE 編程範式/55
4.4 FATE 應用案例/57

第5章 用FATE 從零實現橫向邏輯回歸/59
5.1 數據集的獲取與描述/60
5.2 邏輯回歸/60
5.3 橫向數據集切分/61
5.4 橫向聯邦模型訓練/62
5.4.1 數據輸入/63
5.4.2 模型訓練/65
5.4.3 模型評估/67
5.5 多參與方環境配置/71

第6章 用FATE 從零實現縱向線性回歸/73
6.1 數據集的獲取與描述/74
6.2 縱向數據集切分/74
6.3 縱向聯邦訓練/76
6.3.1 數據輸入/76
6.3.2 樣本對齊/78
6.3.3 模型訓練/78
6.3.4 模型評估/81

第7章 聯邦學習實戰資源/85
7.1 FATE 幫助文檔/86
7.2 本書配套的代碼/86
7.3 其他聯邦學習平臺/86
7.3.1 TensorFlow-Federated /86
7.3.2 OpenMined PySyft /87
7.3.3 NVIDIA Clara 聯邦學習平臺/88
7.3.4 百度PaddleFL /89
7.3.5 騰訊AngelFL /90
7.3.6 同盾知識聯邦平臺/90

第三部分聯邦學習案例實戰詳解

第8章 聯邦學習在金融保險領域的應用案例/95
8.1 概述/96
8.2 基於縱向聯邦學習的保險個性化定價案例/97
8.2.1 案例描述/97
8.2.2 保險個性化定價的縱向聯邦建模/98
8.2.3 效果對比/102
8.3 基於橫向聯邦的銀行間反洗錢模型案例/103
8.3.1 案例描述/103
8.3.2 反洗錢模型的橫向聯邦建模/104
8.3.3 效果對比/105
8.4 金融領域的聯邦建模難點/106
8.4.1 數據不平衡/106
8.4.2 可解析性/107

第9章 聯邦個性化推薦案例/109
9.1 傳統的集中式個性化推薦/110
9.1.1 矩陣分解/110
9.1.2 因子分解機/112
9.2 聯邦矩陣分解/114
9.2.1 算法詳解/114
9.2.2 詳細實現/116
9.3 聯邦因子分解機/119
9.3.1 算法詳解/119
9.3.2 詳細實現/122
9.4 其他聯邦推薦算法/126
9.5 聯邦推薦雲服務使用/127

第10章 聯邦學習視覺案例/129
10.1 概述/130
10.2 案例描述/131
10.3 目標檢測算法概述/131
10.3.1 邊界框與錨框/132
10.3.2 交並比/133
10.3.3 基於候選區域的目標檢測算法/133
10.3.4 單階段目標檢測/134
10.4 基於聯邦學習的目標檢測網絡/136
10.4.1 動機/136
10.4.2 FedVision-聯邦視覺產品/137
10.5 方法實現/138
10.5.1 Flask-SocketIO 基礎/138
10.5.2 服務端設計/141
10.5.3 客戶端設計/143
10.5.4 模型和數據集/145
10.5.5 性能分析/146

第11章 聯邦學習在智能物聯網中的應用案例/149
11.1 案例的背景與動機/150
11.2 歷史數據分析/152
11.3 出行時間預測模型/153
11.3.1 問題定義/153
11.3.2 構造訓練數據集/154
11.3.3 模型結構/155
11.4 聯邦學習實現/156
11.4.1 服務端設計/157
11.4.2 客戶端設計/158
11.4.3 性能分析/159

第12 章聯邦學習醫療健康應用案例/161
12.1 醫療健康數據概述/162
12.2 聯邦醫療大數據與腦卒中預測/164
12.2.1 腦卒中預測案例概述/164
12.2.2 聯邦數據預處理/164
12.2.3 聯邦學習腦卒中預測繫統/165
12.3 聯邦學習在醫療影像中的應用/169
12.3.1 肺結節案例描述/170
12.3.2 數據概述/170
12.3.3 模型設計/171
12.3.4 聯邦學習的效果/173

第13章 聯邦學習智能用工案例/175
13.1 智能用工簡介/176
13.2 智能用工平臺/176
13.2.1 智能用工的架構設計/176
13.2.2 智能用工的算法設計/177
13.3 利用橫向聯邦提升智能用工模型/180
13.4 設計聯邦激勵機制，提升聯邦學習繫統的可持續性/180
13.4.1 FedGame 繫統架構/181
13.4.2 FedGame 設計原理/182
13.5 繫統設置/183

第14章 構建公平的大數據交易市場/185
14.1 大數據交易/187
14.1.1 數據交易的定義/187
14.1.2 數據確權/188
14.1.3 數據定價/189
14.2 基於聯邦學習構建新一代大數據交易市場/189
14.3 聯邦學習激勵機制助力數據交易/190
14.4 聯邦學習激勵機制的問題描述/191
14.5 FedCoin 支付繫統設計/192
14.5.1 PoSap 共識算法/193
14.5.2 支付方案/197
14.6 FedCoin 的安全分析/198
14.7 實例演示/199
14.7.1 演示繫統的實現/199
14.7.2 效果展示/200

第15 章聯邦學習攻防實戰/203
15.1 後門攻擊/204
15.1.1 問題定義/204
15.1.2 後門攻擊策略/205
15.1.3 詳細實現/207
15.2 差分隱私/210
15.2.1 集中式差分隱私/211
15.2.2 聯邦差分隱私/213
15.2.3 詳細實現/215
15.3 模型壓縮/217
15.3.1 參數稀疏化/217
15.3.2 按層敏感度傳輸/219
15.4 同態加密/222
15.4.1 Paillier 半同態加密算法/222
15.4.2 加密損失函數計算/222
15.4.3 詳細實現/224

第四部分聯邦學習進階

第16 章聯邦學習繫統的通信機制/231
16.1 聯邦學習繫統架構/232
16.1.1 客戶?C服務器架構/232
16.1.2 對等網絡架構/233
16.1.3 環狀架構/234
16.2 網絡通信協議簡介/235
16.3 基於socket 的通信機制/237
16.3.1 socket 介紹/237
16.3.2 基於Python 內置socket 庫的實現/238
16.3.3 基於Python-SocketIO 的實現/239
16.3.4 基於Flask-SocketIO 的實現/241
16.4 基於RPC 的通信機制/241
16.4.1 RPC 介紹/241
16.4.2 基於gRPC 的實現/243
16.4.3 基於ICE 的實現/244
16.5 基於RMI 的通信機制/248
16.5.1 RMI 介紹/248
16.5.2 在Python 環境下使用RMI /249
16.6 基於MPI 的通信機制/249
16.6.1 MPI 簡介/249
16.6.2 在Python 環境下使用MPI /249
16.7 本章小結/250

第17 章聯邦學習加速方法/251
17.1 同步參數更新的加速方法/252
17.1.1 增加通信間隔/253
17.1.2 減少傳輸內容/254
17.1.3 非對稱的推送和獲取/256
17.1.4 計算和傳輸重疊/256
17.2 異步參數更新的加速方法/257
17.3 基於模型集成的加速方法/258
17.3.1 One-Shot 聯邦學習/258
17.3.2 基於學習的聯邦模型集成/260
17.4 硬件加速/261
17.4.1 使用GPU 加速計算/261
17.4.2 使用FPGA 加速計算/263
17.4.3 混合精度訓練/264

第18章 聯邦學習與其他前沿技術/267
18.1 聯邦學習與Split Learning /268
18.1.1 Split Learning 設計模式/268
18.1.2 Split Learning 與聯邦學習的異同/270
18.2 聯邦學習與區塊鏈/271
18.2.1 區塊鏈技術原理/271
18.2.2 聯邦學習與區塊鏈的異同點/275
18.3 聯邦學習與邊緣計算/277
18.3.1 邊緣計算綜述/277
18.3.2 聯邦學習與邊緣計算的異同點/279

第五部分 回顧與展望

第19 章總結與展望/283
19.1 聯邦學習進展總結/287
19.1.1 聯邦學習標準建設/287
19.1.2 理論研究總結/288
19.1.3 落地應用進展總結/290
19.2 未來展望/292
19.2.1 聯邦學習的可解析性/293
19.2.2 聯邦學習的安全性/295
19.2.3 聯邦學習的公平性激勵機制/296
19.2.4 聯邦學習的模型收斂性和性能效率/297
參考文獻/299

人工智能和大數據技術使我們對未來的社會產生了很多期待，但同時這些高端技術的發展瓶頸也越來越清晰。我們知道，AI 的力量來自大數據，但我們在日常工作和生活中所面臨的實際場景往往隻有小數據。在法律這個應用領域，獲取一個完整的案例樣本往往需要很多的時間和資源：每一個案子的處理要經過很多步驟，從立案到結案可能需要幾年的時間；毫無疑問，如此積累起來的完整案件樣本數量非常少。金融領域也是如此，比如積累的洗錢案例數量可能非常有限，在風控建模中，如果把反洗錢案例看成正樣例，那麼這樣的正樣例數據非常珍貴。在醫療領域，CT 胸片的自動檢驗和診斷需要專業醫生來標注數據，但醫生的時間十分寶貴，因此對於罕見疾病，能獲得的病例數據更是少之又少。

這些例子說明，在現實中能獲取的往往是小數據。如果把這個情況延展開來，我們會看到，在人工智能的主戰場，如無人車、智能終端等，每一臺設備上的數據也是有限的，每一個數據集都不足以建立可用的機器學習模型。

那麼，我們可不可以把這些數據彙聚起來形成大數據呢？長久以來，工業界聚集大數據的辦法就是在雲端上傳眾多終端的數據集，形成大數據。我們熟知的包括圖像訓練數據集如mageNet，語音訓練數據集如Common Voice，自然語言訓練數據集如bAbi 等。

應該說，用這種方式獲取的大數據為人工智能的發展開創了很好的先例。但是，現代社會不僅要有強大的技術，同時對技術的社會責任也有嚴格的限定。隨著人工智能和大數據技術的不斷發展，社會和政府也對數據的權益和保護有了逐步完善的監管法律法規。例如，歐盟在2018 年施行了《通用數據保護條例》（General Data Protection Regulation，簡稱GDPR），我國對數據的保護也日趨完善，從國家機關到地方政府，各行各業的數據隱私保護立法日趨完善。所以，一方面人工智能和大數據技術為人類的發展提供了光明的前景和技術保障；另一方面，人類自身的權益保護又限制了數據按照粗放方式進行簡單的彙聚。那麼，如何在這兩者之間找到平衡點，繼續推動技術向前發展呢？

在這裡，我們給大家講一個小故事。2018 年，本書的作者之一楊強教授在瑞典舉辦的國際人工智能大會（IJCAI）上遇到了瑞典的一位工業部長，進行了一些問答交流。對於GDPR 會不會限制歐洲人工智能的成長這一問題，這位部長的回答是：雖然看上去GDPR 會限制人工智能的發展，但是他希望歐洲公司有提出一些滿足GDPR 的人工智能方案的理想。今天看來，這個想法是非常好的，因為如果真的做到了，人工智能的技術就能夠螺旋式上升，掌握這一技術的人就可以走在世界的前列。

我們看到，隨著數字經濟的發展，數字經濟也演變成“數據經濟”，其特點是數據本身成為了重要的生產要素，而數據的交易和流通要滿足數據監管及保護數據隱私的要求。

這個趨勢在全世界範圍內將形成一個新的數據化潮流，因為不管是政府還是社會，人們對數據隱私的安全保護都是非常在意的。今天，一項新技術正在中國蓬勃發展，這項技術就是聯邦學習。

聯邦學習的技術產生於上述的社會和法律背景下。聯邦學習的目的是，不管在面對單個消費者的to C 場景，還是面對企業或機構的to B 場景，都希望各自的數據可以不出本地，數據集不為其他人所有，保護用戶隱私和數據權益。在這一要求下，數據的價值可以同時得到充分體現。機器學習模型在極小損失的前提下，能夠達到和傳統數據彙聚幾乎一樣的效果，並且這個模型能夠為所有參與者使用。

不久前，本書的作者團隊出版了世界本聯邦學習的書籍，包括中文和英文版。在該書中，我們做了一個形像的比喻來描述聯邦學習的思想：把聯邦學習訓練模型的過程類比成喂養一隻羊。過去的做法是把草放到羊圈裡喂養，就像把數據聚合到中心服務器來建立機器學習模型。但出於隱私利益的考慮，草不能離開本地。為了滿足這一要求，且讓羊持續得到喂養，我們可以帶著羊去訪問各個草場，同時保證在這個過程中不洩露隱私。這樣，羊可以長大，隱私也可以受到保護。

聯邦學習就是采用上面這種分布式隱私計算的思想：在多方合作建模過程中，各方不交換原始數據；在建立模型的過程中，各方可以交換加密後的參數，以保護用戶隱私。這就需要我們做幾個層面的研究和工程實現，包括分布式建模、安全合規、抵御攻擊、網絡設計、計算效率、加密算法、邊緣計算、生態建設和激勵機制等。所以，聯邦學習是一個多學科交融的領域，也特別適合跨學科研究。

關於聯邦學習，我們常說的有兩句話。句話是“數據不動模型動”，這是聯邦學習的核心，讓模型在不同機構之間、端和雲之間進行溝通交流。它產生的效果是什麼？就是第二句話——“數據可用不可見”。這裡所說的不可見，是別人看不見你的數據，你也看不見別人的數據，即數據和模型都保留在本地，建模的過程也保證了數據的安全。

本書在闡述聯邦學習原理的同時，著重描述了聯邦學習的落地應用實踐，以聯邦學習開源平臺FATE 為基礎，涵蓋多個領域。既可以為工業實踐者提供很好的應用案例，也可以手把手地為初學者引路。讀者可以在粗通人工智能及機器學習基本知識的前提下，在本書指引下深入了解人工智能項目落地實踐的過程。

總之，我們建立的人工智能體繫離不開人的因素，而保護人的隱私是當下人工智能發展中特別重要的一個方面。這也是從政府到個人、企業及社會的要求。另外，人工智能的發展也需要保護模型的安全，保證用戶的隱私不被洩露，使用戶的權益得到保障。我們衷心希望讀者朋友們能夠從本書中窺見人工智能的未來，並動手建立負責任的、可信賴的、安全的人工智能和大數據的社會。

本書的部分案例章節有對應的代碼實現，讀者可以在GitHub 網站上查找本書配套的資源。其中，第3 章、第10 章和第15 章的案例使用了Python 實現；第4 章、第5 章、第8 章和第9 章的案例使用了聯邦學習平臺FATE 實現；第11 章、第12 章和第13 章是實際的落地案例，由於簽署了保密協議，我們不會對外公開這部分的代碼細節。書中所涉鏈接，讀者可以掃封底二維碼獲取。

基於本書和《聯邦學習》一書的內容，本書作者楊強教授、劉洋老師在香港科技大學開設世界上首批“聯邦學習”的全日制研究生課程（2021 年春季學期啟動）。相關教學資源（鏈接0-1），包括視頻、課件等，已部分對外開放。

聯邦學習目前正處在高速發展的階段：一方面，聯邦學習的理論知識仍在不斷完善和豐富；另一方面，隨著聯邦學習的應用越來越廣泛，很多新的挑戰和新的解決方案也會陸續產生。因此，雖然本書力求在理論和實踐上都能兼顧的發展趨勢，但難免有遺漏或者不完善的地方。歡迎讀者提出寶貴意見，幫助我們不斷完善本書的內容。

楊強，黃安埠，劉洋，陳天健

2021年3 月，中國，深圳

國務院在2020年將數據作為新型生產要素寫入法律文件，與土地、勞動力、資本、技術並列為五個生產要素。這意味著，一方面，個人數據隱私將受到法律的嚴格保護，另一方面，數據與其他生產要素一樣，可以進行開放、共享和交易。如何有效解決數據隱私與數據共享之間的矛盾成為當前人工智能領域的研究熱點問題。

聯邦學習作為一種新型的分布式機器學習訓練和應用範式，從提出以來就備受關注，也被認為是當前產業界解決數據隱私與數據共享之間矛盾的一種有效方案。作為可信計算的新成員，書中特別提到，聯邦學習還可以與區塊鏈強強聯合，例如借助區塊鏈記錄的不可篡改特性，幫助對聯邦學習可能面臨的惡意攻擊進行追溯；借助區塊鏈的共識機制和智能合約，對聯邦學習創造的價值進行利益分配等。

《聯邦學習實戰》一書，對聯邦學習的理論和應用案例做了繫統性的闡述和分析，相信能夠為廣大科研工作者、企業開發人員提供有效的指導和參考。
 ——陳純 中國工程院院士

人工智能時代的到來已經不可逆轉，在算力、算法和機器學習蓬勃發展的大背景下，數據資產成為非常重要的技術資源，服務企業的長遠發展。如何利用好、保護好數據資產是人工智能能否創造更大經濟和社會價值的關鍵因子。聯邦學習理念的提出和發展，在這個方面探索出了一條可行之路並做出了重要的示範。

楊強教授是*人工智能研究專家，在這一領域的學術和產業兩端都有非常深的造詣。希望這本《聯邦學習實戰》可以為業內人士和機器學習的從業者與愛好者帶來啟發與思考。
 ——瀋南鵬 紅杉資本全球執行合伙人

數據資產化是實現人工智能產業價值的核心環節，而聯邦學習是其中的關鍵技術。書中嚴謹而深入淺出的闡述為讀者們提供了非常有效的工具。  
  ——陸奇 奇績創壇創始人

為了互聯網更好的未來，我們需要建立負責任的數據經濟體繫：既能充分實現數據價值，又能很好地保護用戶的數據隱私，還能公平地分配數據創造的價值。

聯邦學習正是支撐這一願景的重要技術。本書闡述了該領域的實際應用案例，對聯邦學習的付諸實施有重要的指導意義。
——Dawn Song  美國加州大學伯克利分校教授