第1 章 使用Python 解釋AI1
1.1 可解釋AI 的定義2
1.1.1 從黑盒模型到XAI 白盒模型3
1.1.2 解釋和闡釋4
1.2 設計和提取5
1.3 醫學診斷時間線中的XAI8
1.3.1 全科醫生使用的標準AI 程序8
1.3.2 西尼羅河病毒——一個生死
攸關的案例15
1.3.3 Google Location History 與XAI 的
結合可以拯救生命21
1.3.4 下載Google Location History21
1.3.5 讀取和顯示Google Location
History25
1.3.6 用XAI 增強AI 診斷33
1.3.7 將XAI 應用於醫學診斷
實驗性程序38
1.4 本章小結42
1.5 習題42
1.6 參考資料43
1.7 擴展閱讀43
第2 章 AI 偏差和道德方面的
白盒XAI 45
2.1 自動駕駛汽車繫統AI 的
道德和偏差46
2.1.1 自動駕駛繫統在生死關頭是
如何做決策的47
2.1.2 電車難題47
2.1.3 麻省理工學院的道德
機器實驗48
2.1.4 真實的生死攸關情景48
2.1.5 從道德倫理上解釋AI 的
局限性49
2.2 對自動駕駛決策樹的解釋51
2.2.1 自動駕駛繫統的兩難困境52
2.2.2 導入模塊53
2.2.3 檢索數據集53
2.2.4 讀取和拆分數據54
2.2.5 決策樹分類器的理論描述56
2.2.6 創建默認的決策樹分類器57
2.2.7 訓練、測量、保存模型58
2.2.8 顯示決策樹60
2.3 將XAI 應用於自動駕駛
決策樹62
2.4 使用XAI 和道德來控制
決策樹68
2.4.1 加載模型69
2.4.2 測量準確率69
2.4.3 模擬實時案例69
2.4.4 由噪聲引起的ML 偏差70
2.4.5 將道德和法律引入ML72
2.6 本章小結74
2.7 習題75
2.8 參考資料75
2.9 擴展閱讀76
第3 章 用Facets 解釋ML77
3.1 Facets 入門78
3.1.1 在Google Colaboratory
安裝Facets78
3.1.2 檢索數據集79
3.1.3 讀取數據文件80
3.2 Facets Overview80
3.3 對Facets 統計信息進行排序82
3.3.1 按特征順序排序83
3.3.2 按不均勻性排序83
3.3.3 按字母順序排序86
3.3.4 按缺失值或零值的數量排序86
3.3.5 按分布距離排序87
3.4 Facets Dive88
3.4.1 構建Facets Dive 交互式界面88
3.4.2 定義數據點的標簽90
3.4.3 定義數據點的顏色92
3.4.4 定義x 軸和y 軸的binning 93
3.4.5 定義散點圖的x 軸和y 軸94
3.5 本章小結96
3.6 習題96
3.7 參考資料97
3.8 擴展閱讀97
第4 章 Microsoft Azure 機器學習
模型的可解釋與SHAP 99
4.1 SHAP 簡介100
4.1.1 關鍵的SHAP 原則100
4.1.2 Shapley 值的數學表達式102
4.1.3 情感分析示例104
4.2 SHAP 入門108
4.2.1 安裝SHAP108
4.2.2 導入數據109
4.2.3 向量化數據集 115
4.3 線性模型和邏輯回歸117
4.3.1 創建、訓練和可視化線性模型
的輸出 117
4.3.2 定義線性模型119
4.3.3 使用SHAP 實現與模型無關的
解釋121
4.3.4 創建線性模型解釋器121
4.3.5 添加圖表功能121
4.3.6 解釋模型的預測結果123
4.4 本章小結 130
4.5 習題 131
4.6 參考資料131
4.7 擴展閱讀131
4.8 其他出版物 132
第5 章 從零開始構建可解釋AI
解決方案133
5.1 道德倫理和法律視角 134
5.2 美國人口普查數據問題 135
5.2.1 使用pandas 顯示數據135
5.2.2 道德倫理視角137
5.3 機器學習視角 141
5.3.1 使用Facets Dive 顯示
訓練數據142
5.3.2 使用Facets Dive 分析
訓練數據144
5.3.3 驗證輸出是否符合以上原則146
5.3.4 對輸入數據進行轉換153
5.4 將WIT 應用於轉換後的
數據集 155
5.5 本章小結 162
5.6 習題 163
5.7 參考資料 163
5.8 擴展閱讀 163
第6 章 用Google What-If Tool(WIT)
實現AI 的公平性165
6.1 從道德倫理視角談AI
可解釋和可闡釋性 166
6.1.1 道德倫理視角166
6.1.2 法律視角167
6.1.3 解釋和闡釋167
6.1.4 準備符合道德倫理的數據集168
6.2 WIT 入門170
6.2.1 導入數據集171
6.2.2 對數據進行預處理172
6.2.3 創建數據結構以訓練和
測試模型174
6.3 創建DNN 模型174
6.4 創建SHAP 解釋器177
6.5 模型輸出與SHAP 值178
6.6 WIT 數據點瀏覽器和
編輯器181
6.6.1 創建WIT181
6.6.2 數據點編輯器182
6.6.3 特征186
6.6.4 性能和公平性187
6.7 本章小結193
6.8 習題193
6.9 參考資料194
6.10 擴展閱讀194
第7 章 可解釋AI 聊天機器人 195
7.1 Dialogflow 的Python
客戶端196
7.1.1 安裝Google Dialogflow 的
Python 客戶端197
7.1.2 創建Google Dialogflow 代理197
7.1.3 啟用API 和服務200
7.1.4 實現Google Dialogflow 的
Python 客戶端202
7.2 增強Google Dialogflow 的
Python 客戶端205
7.2.1 創建對話函數205
7.2.2 在Dialogflow 實現XAI 的
限制206
7.2.3 在Dialogflow 創建意圖206
7.2.4 XAI Python 客戶端212
7.3 使用Google Dialogflow 的
CUI XAI 對話 216
7.3.1 將Dialogflow 集成到網站中216
7.3.2 Jupyter Notebook XAI 代理
管理器220
7.3.3 Google Assistant 220
7.4 本章小結 222
7.5 習題 223
7.6 擴展閱讀 223
第8 章 LIME225
8.1 介紹LIME 226
8.1.1 LIME 的數學表示227
8.2 開始使用LIME 229
8.2.1 在Google Colaboratory 安裝
LIME230
8.2.2 檢索數據集和矢量化數據集230
8.3 一個實驗性的AutoML
模塊 231
8.3.1 創建AutoML 模板232
8.3.2 Bagging 分類器233
8.3.3 梯度提升分類器234
8.3.4 決策樹分類器234
8.3.5 極度隨機樹分類器235
8.4 解釋分數 236
8.5 訓練模型並生成預測 236
8.5.1 分類器的交互選擇237
8.5.2 完成預測過程238
8.6 LIME 解釋器 239
8.6.1 創建LIME 解釋器240
8.6.2 闡釋LIME 解釋器242
8.7 本章小結247
8.8 習題.248
8.9 參考資料248
8.10 擴展閱讀248
第9 章 反事實解釋法 249
9.1 反事實解釋法250
9.1.1 數據集和動機250
9.1.2 使用WIT 可視化反事實
距離251
9.1.3 使用默認視圖探索數據點
距離253
9.1.4 反事實解釋的邏輯258
9.2 距離函數的選項262
9.2.1 L1 範數263
9.2.2 L2 範數264
9.2.3 自定義距離函數265
9.3 深度學習模型的架構266
9.3.1 調用 WIT266
9.3.2 自定義預測函數267
9.3.3 加載 Keras 預訓練模型268
9.3.4 檢索數據集和模型269
9.4 本章小結270
9.5 習題270
9.6 參考資料271
9.7 擴展閱讀271
第10 章 對比解釋法(CEM)  273
10.1 CEM274
10.2 將CEM應用於MNIST276
10.2.1 安裝Alibi 並導入模塊276
10.2.2 導入模塊和數據集276
10.3 定義和訓練CNN 模型279
10.3.1 創建CNN 模型281
10.3.2 訓練CNN 模型281
10.3.3 將原始圖像與解碼圖像
進行比較285
10.4 相關負面 287
10.4.1 CEM 參數288
10.4.2 初始化CEM解釋器289
10.4.3 相關負面的解釋290
10.5 本章小結 291
10.6 習題. 292
10.7 參考資料 292
10.8 擴展閱讀 293
第11 章 錨解釋法295
11.1 錨解釋法 296
11.1.1 預測收入296
11.1.2 新聞組分類299
11.2 對ImageNet 圖像預測
應用錨解釋法 300
11.2.1 安裝Alibi 並導入其他
所需模塊300
11.2.2 加載InceptionV3 模型301
11.2.3 下載圖像301
11.2.4 處理圖像並進行預測302
11.2.5 構建錨圖像解釋器303
11.2.6 解釋其他類別306
11.2.7 錨解釋法的局限性308
11.3 本章小結 309
11.4 習題 309
11.5 參考資料 310
11.6 擴展閱讀 310
第12 章 認知解釋法 311
12.1 基於規則的認知解釋法 312
12.1.1 從XAI 工具到XAI 概念313
12.1.2 定義認知解釋法313
12.1.3 實踐認知解釋法315
12.1.4 特征的邊際貢獻319
12.2 矢量化器的認知解釋法322
12.2.1 解釋LIME 的矢量化器323
12.2.2 解釋 IMDb 的SHAP
矢量化器325
12.3 CEM 的人類認知輸入327
12.4 本章小結 331
12.5 習題332
12.6 擴展閱讀 332
習題答案333

在當今的AI 時代，準確解釋和傳達可信的AI 結果，正成為一項需要掌握的關鍵技能。人類已經很難理解現代AI 裡面的具體推理邏輯。就其本身而言，機器學習模型的結果往往證實是難以解釋的，有時甚至無法解釋。用戶和開發人員都面臨著一個挑戰——怎樣去解釋AI 的決策是如何做出的以及AI 為何會做出這個決策。
AI 設計師不可能為數百種機器學習和深度學習模型設計出一個通用的可解釋AI解決方案。若想有效地將AI 的決策內容解釋給業務利益相關者聽，我們需要個性化的規劃、設計以及可視化方案。如果無法解釋AI 的決策結果，可能會在歐洲和美國面臨訴訟。但AI 開發人員在現實工作中會面臨鋪天蓋地的數據和結果，如果沒有合適的工具，幾乎不可能從中找出對AI 所做決策的解釋。
在本書中，你將學習使用Python 相關工具和技術來可視化、解釋和集成可信的AI 結果，從而在提供業務價值的同時避免AI 偏見和道德倫理法律方面的常見問題。
本書將帶你使用Python 和TensorFlow 2.x 親身實踐一個Python 機器學習項目。你將學習如何使用WIT、SHAP、LIME、CEM 和其他至關重要的可解釋AI 工具。你將了解到由IBM、谷歌、微軟和其他高級人工智能研究實驗室設計的工具。
我們將向你介紹幾個面向Python 的開源可解釋AI 工具，它們可在整個機器學習項目生命周期中使用。你將學習如何探索機器學習模型結果，查看關鍵變量和變量關繫，檢測和處理偏見和道德倫理法律問題，使用Python 和可解釋AI 工具對機器學習模型結果進行可視化分析和解釋。
我們將使用Python、TensorFlow 2.x、Google Cloud 的XAI 平臺和Google Colaboratory構建XAI 解決方案。

本書面向的讀者群體
● 已經有一些基礎知識和/或機器學習庫(如scikit-learn)經驗的初級Python 程序員。
● 已經將Python 用於數據科學、機器學習、研究、分析等目的的專業人士，你們可以在學習的可解釋AI 開源工具包和技術的過程中受益。
● 想要了解Python 機器學習模型可解釋AI 工具和技術的數據分析師和數據科學家。
● 必須面對AI 可解釋性的合同和法律義務，以在驗收和接受階段應對道德倫理法律問題的AI 項目和業務經理。
● 想要設計出終用戶和法律繫統都能理解的可信AI 的開發者、項目經理和顧問。
● 對無法解釋的黑盒AI 已經調優到極限，希望通過可解釋AI 工具更好地理解AI 來繼續調優的AI 專家。
● 任何對可解釋AI 感興趣的人。AI 和XAI 技術將不斷發展和變化。但基本道德和本書中介紹的XAI 工具仍將是未來AI 必不可少的組成部分。

本書內容
第1 章 使用Python 解釋AI
這一章首先提到，我們無法隻用一種方法就能向項目中的所有參與者概括可解釋人工智能(XAI)。然後講述了這麼一個案例：當病人出現新冠、西尼羅河病毒或其他病毒的跡像時，全科醫生和AI 如何確定疾病的起源？我們圍繞這個案例使用Python、k近鄰和Google Location History 從零開始構建了一個XAI 解決方案來追蹤病人感染的起源。
第2 章 AI 偏差和道德方面的白盒XAI
AI 有時可能不得不做出生死攸關的決策。當自動駕駛汽車的自動駕駛繫統檢測到行人突然橫穿馬路，在來不及停車的情況下，應該做什麼決策？
自動駕駛汽車能否在不撞到其他行人或車輛的情況下改變車道？這一章講述了麻省理工學院的道德機器實驗，以及一個使用決策樹來做出現實生活中相關決策的Python 程序。
第3 章 用Facets 解釋ML
機器學習是一個數據驅動的訓練過程。然而，公司通常不能提供干淨的數據，甚至無法提供啟動項目所需的所有數據。此外，數據往往出自不同來源，且各種格式混雜在一起。機器學習模型包含復雜的數學，即使數據看起來可接受，也是如此。這樣的機器學習項目從一開始就可能迅速成為一場噩夢。
這一章將在Google Colaboratory Jupyter Notebook 安裝和運行Facets。Facets 提供了多種視圖和工具來追蹤扭曲機器學習模型結果的變量。通過它，我們可以可視化地找出原因，從而原本乏味的傳統分析的時間。
第4 章 Microsoft Azure 機器學習模型的可解釋性與SHAP
AI 設計師和開發人員需要花費數天時間來尋找符合項目規範的正確ML 模型。可解釋AI 提供了有價值的、可以時間的信息。但是，沒有人有時間為市場上的每一種ML 模型都開發一個可解釋AI 解決方案！
所以我們需要一個通用的、與模型無關的可解釋AI 解決方案。這一章所講述的SHAP 就是一種與模型無關的可解釋AI 解決方案。我們編寫了利用SHAP 來提供對ML 模型的可視化圖表和文字解釋，能夠顯示哪些變量會影響具體的結果。
第5 章 從零開始構建可解釋AI 解決方案
AI 在過去幾年裡發展如此之快，以至於道德倫理義務有時被忽視了。消除偏見已經成為AI生存的關鍵。基於種族或民族標準的ML決策在美國曾經是為公眾所接受的。然而，我們現在有義務找出偏見並消除數據集中那些可能會造成歧視的特征。
這一章展示了如何用Google What-If Tool (WIT)和Facets 在Python 中消除偏見並建立一個合乎道德倫理的ML 繫統。該程序從一開始就將道德倫理和法律參數考慮在內。
第6 章 用Google What-If Tool (WIT)實現AI 的公平性
Google PAIR(People AI Research)設計了What-If Tool(WIT)來研究AI 模型的公平性。這一章將帶領我們深入了解可解釋AI 並介紹一個Python 程序，該程序使用TensorFlow 創建一個深度神經網絡(DNN)，然後使用SHAP 解釋程序並創建WIT 實例。
WIT 提供了ground truth、cost ratio 公平性，以及PR 曲線等可視化功能。該Python程序還展示了ROC 曲線、AUC、切片和PR 曲線是如何準確定位產生結果的變量的，從而呈現了如何使用WIT 這個AI 公平性和道德倫理工具來進行解釋預測。
第7 章 可解釋AI 聊天機器人
AI 的未來將越來越多地涉及機器人和聊天機器人。這一章展示了如何通過Google Dialogflow 針對聊天機器人提供CUI XAI。我們將通過與Google Dialogflow 通信的API來實現一個Google Dialogflow 的Python 客戶端聊天機器人。
這樣做的目標是模擬基於馬爾可夫決策過程(MDP)決策XAI 的用戶交互。我們將在Jupyter Notebook 模擬XAI 對話，並在Google Assistant 上測試該代理。
第8 章 LIME
這一章通過局部可解釋與模型無關的解釋(LIME)進一步探討了與模型無關的解釋方法。這一章展示了如何創建一個與模型無關的可解釋AI Python 程序，該程序可以解釋隨機森林、k 近鄰、梯度提升、決策樹和極度隨機樹的預測結果。
使用Python 程序創建的LIME 解釋器，因為與模型無關，所以對任意機器學習模型的結果都可以生成可視化的解釋效果。
第9 章 反事實解釋法
有時無法確定一個數據點沒有按預期分類的原因。無論如何查看數據，我們都無法確定是哪一個或哪幾個特征產生了錯誤。
可視化的反事實解釋法可以將被錯誤分類的數據點特征與被正確分類的相似數據點特征進行對比，從而快速找到解釋。
這一章中WIT 構建的Python 程序可以說明預測的可信度、真實性、合理解釋和靈敏度。
第10 章 對比解釋法(CEM)
這一章所使用的對比解釋法(CEM)采用了與其他XAI 工具不一樣的方法，通過缺失的特征來解釋AI。
這一章創建的Python 程序為CEM準備MNIST 數據集，定義一個CNN，測試CNN的準確性，並且定義和訓練自編碼器。該程序創建一個CEM 解釋器，它將提供相關負面和相關正面的可視化解釋。
第11 章 錨解釋法
講到規則，我們通常會聯想到硬編碼的專家繫統規則。但是，如果XAI 工具可以自動生成規則來解釋結果呢？錨解釋就是一組自動生成的高精度規則。
這一章我們將構建為文本和圖像分類創建錨解釋器的Python 程序。該程序可精確定位使模型改變、選擇類別的圖像像素。
第12 章 認知解釋法
人類的認知能力為人類在過去幾個世紀中取得的驚人的技術進步提供了框架，包括AI。這一章從人類認知視角出發，構建基於XAI 的認知規則庫，闡述了如何構建認知詞典和認知情感分析函數來解釋特征。配套的Python 程序展示了如何測量邊際認知貢獻。
這一章總結了XAI 的本質，為讀者構建了AI 的未來。

如何閱讀本書
我們建議：
● 重點理解可解釋AI (XAI) 的關鍵概念及它們會成為關鍵概念的原因。
● 如果你希望專注於XAI 理論，可以隻閱讀，但是不需要把代碼執行一遍。
● 如果你希望同時了解理論和實現，那麼請閱讀並把代碼執行一遍。

在線資源
書中的一些截圖用彩色效果可能更佳，因為這樣有助於你更好地理解輸出中的變化。為此，我們專門制作了一份 PDF 文件。讀者可通過使用手機掃描封底的二維碼來下載這份 PDF 文件以及本書的附錄、各章配套代碼等所有在線資源。