推薦序
從人工智能（AI）發展的歷史來看，符號主義占主導地位的代AI 以知識驅動為基礎，為人類的理性行為提供模型。這種模型由於和人類的認知推理過程一致，因此具有天然的可解釋性，能有效地進行“自我解釋”。可惜，由於專家知識的匱乏與昂貴，以及知識獲取困難等原因，代AI 隻得到十分有限的應用。基於深度學習的第二代AI 有良好的性能表現，其應用已經覆蓋了各種不同的領域，從圖像識別、電商的產品推薦、城市交通繫統的疏通決策，到金融風險控制，等等。但深度學習的核心算法都源於“黑盒”模型，其生成結果在本質上是不可解釋的，因此難以得到用戶的信任。“黑盒”模型給這類繫統的使用帶來了極大的風險與挑戰，特別是風險大的應用場景，如醫療診斷、金融監管和自動駕駛等。因此，發展“可解釋人工智能”極為重要且緊迫。
基於深度學習AI 的不可解釋性表現在諸多方面，有兩種基本類型。
種是原理上的不可解釋性。由於深度神經網絡模型和算法通常十分復雜，加上“黑盒”學習的性質，AI 通常無法對預測的結果給出自我解釋，模型十分不透明，需要依靠第三方的解釋繫統或者人類專家的幫助纔能看清其內部的工作原理，本書第4、5 章討論了這類問題。第5 章首先討論了一個簡單和直觀的方法，即對神經網絡的事後解釋。在一個神經網絡訓練結束後，通過各種方法從不同的角度對神經網絡進行解釋，揭示其背後的決策機理，例如利用可視化、神經網絡重要性歸因等。在“可解釋的神經網絡”中，通過以可解釋性為學習目標的神經網絡，從端到端的訓練中直接學習可解釋的表征。在第4 章中，作者提出一種基於人機交互溝通的可解釋人工智能範式。在基於與或圖模型的人機協作解釋中，介紹了與或圖模型的定義與結構、基於與或圖的多路徑認知過程，以及如何通過人機協作的交互方式，使圖模型的解讀過程與人的認知結構一致，從而給出人類更容易接受的解釋。以上討論“解釋”的目的均在於揭示神經網絡做出預測（決策）背後的原理。其實，這種“解釋”工作也可運用於其他場景，如分析神經網絡在對抗樣本攻擊下的行為，從而揭示深度神經網絡缺乏魯棒性的原因，從中找到更好的攻擊與防御方法。以打開黑盒揭示神經網絡背後工作原理為目的的可解釋性，對包括研究者與開發者在內的解釋受眾（Explainee）來講是十分有用的，能使之做到心中有數，知道問題的所在，以及可能的改進方向。
第二種屬於語義上的不可解釋性。深度學習用於挖掘數據中變量之間的關聯性（Correlation），而數據關聯性的產生機制有以下三種類型，即因果、混淆（Confounding）和樣本選擇偏差。以圖像識別為例，一個基於深度神經網絡的圖像識別繫統，它把某幅圖像識別為“狼”，有三種可能依據。，它的確出自因果關繫，依據“狼”的外形特征，比如頭部的特征判定其為“狼”，這種“解釋”是本質性的，因此是具有穩定性和魯棒性的。第二，也有可能依據“狼”身上的某個局部紋理判定其為“狼”。第三，甚至隻是根據“狼”圖像的背景特征，如草原而做出判斷。盡管後兩者的結論可能是正確的，但這種依據由混淆或樣本選擇偏差帶來的虛假關聯而做出的“解釋”，一定是不穩定和缺乏魯棒性的。遺憾的是，基於深度神經網絡的算法通常找到的是“虛假”或“表面”的關聯，而不是因果關繫。因此這種“解釋”對於解釋受眾中的使用者和決策者來講是不可接受的，它不僅不能提高，反而會降低解釋受眾對模型的信任程度，我們稱這種基於虛假關聯做出的“解釋”為語義上的不可解釋性。由於這種不可解釋性是由深度學習模型本身帶來的，因此要想解決這類不可解釋性，隻有從改變深度學習模型做起，本書第2、3 章討論了這個問題。第2 章介紹了貝葉斯方法，其中貝葉斯網絡等結構化貝葉斯模型，既可用來描述不確定性，又可用直觀、清晰的圖形描述變量之間的直接作用關繫，刻畫變量之間的條件獨立性，從而學到可解釋的、用戶友好的特征。另外，完全貝葉斯方法在所有可能的模型上擬合一個後驗概率分布，通過後驗分布的采樣得到多個模型，使預測更加魯棒，並可估計其不確定性，為使用者提供了算法對於預測的一種“自信程度”。第3 章介紹了因果推理中傳統的潛在結果框架，將其應用到二值特征和線性模型場景下的機器學習問題，隨後又將其延伸到了連續特征、線性模型的場景及深度學習的場景。後，介紹了反事實推理及若干有代表性的問題場景和方法。與深度學習不同，因果模型聚焦於因果關繫，能給出更加穩定與可靠的解釋。總之，本書第1～5 章繫統地介紹了可解釋AI理論發展的現狀，多角度地分析目前AI 在可解釋性上存在的問題，以及可能的發展方向。
本書第6～10 章討論了在生物醫療、金融、計算機視覺、自然語言處理及推薦繫統應用中的可解釋AI。生物醫療和金融等高風險的應用領域，對可解釋性提出了更高的要求。本書詳細地介紹了可解釋AI 的發展現狀，給出一些應用實例，並介紹了目前在可解釋方面所做的工作。
目前，以深度學習為主體的AI 遠沒有達到可解釋性的要求，因為我們這裡定義的“可解釋性”，不僅要求模型對用戶是透明的，能夠解釋其背後的工作原理；並且要求這種“解釋”必須是本質的，具有穩定性和魯棒性的。發展可解釋AI 的道路十分艱難且極具挑戰性。無論是代以知識驅動為基礎的AI，還是第二代以數據驅動為基礎的AI，都不能從根本上解決可解釋的問題。隻有把這兩種範式結合起來，發展第三代AI，纔能終建立起可解釋AI。目前我們離這個目標還很遠。首先，我們對深度學習的模型，特別是大模型中的工作機理了解得很少，深度學習對我們來講依然是不甚了解的“黑盒”。此外，如何將知識與深度模型結合，或者導入因果關繫，目前已有的工作都隻是初步的嘗試，有待進一步深入。
總之，《可解釋人工智能導論》一書全面介紹了可解釋AI 在理論上和應用上的發展現狀、存在的問題及今後發展的方向，對於想了解AI 和有意獻身AI 事業的研究者、開發者、決策者和使用者來講，都是一部很好的參考書。
張鈸
中國科學院院士，清華大學人工智能研究院院長
前言
隨著人工智能的深入發展，社會對人工智能的依賴性越來越強。人工智能的應用範圍極廣，其覆蓋面也在不斷擴大，從電商的產品推薦到手機短視頻的個性化推薦，從城市交通繫統的疏通決策繫統到金融風險控制，從教育輔助繫統到無人車……應該說，人工智能和人類共存的時代已經指日可待。
但人工智能的快速發展也蘊含著極大的危機和挑戰。人工智能成功的算法包括機器學習。很多機器學習的核心算法運行在所謂的黑盒情況下，也就是說，這些人工智能繫統所生成的結果往往不可解釋。比如，一個醫療繫統為一位病人診斷，發現病人具有某些病癥，給出陽性的結果。但是，現有的人工智能繫統往往不給出它是如何做出這樣的推斷的。相比之下，一位人類醫生往往會告訴病人，通過醫療圖像的分析，發現一個可能的病灶，並進一步通過病理分析，確認病灶是惡性的可能性比較大，等等。這樣的解釋往往比較讓人信服。
人工智能繫統現階段的不可解釋性的原因是多方面的，包括很多人工智能算法本身往往缺乏理論依據，但一個主要的原因是現代人工智能算法往往極其復雜。預訓練模型是當前解決自然語言理解問題的一種關鍵技術，但這類模型動輒具有上億個參數，甚至會有上萬億個參數。如此復雜的模型已經遠遠超出了人類可理解的範圍。人工智能繫統通常采用神經網絡，而且人工智能繫統的廠商也不會透露他們的人工智能繫統的工作原理。可以說，人工智能的發展已經遠遠超出了人類對人工智能工作原理的理解。
那麼，是不是人類可以和黑盒式的人工智能長期共存呢？來看看我們周邊的很多應用案例。試想，某醫院引入一套基於人工智能的醫療診斷繫統。如果繫統做出對某種病癥的判斷，病人的癌癥檢測為陽性，概率為90%，那麼這個結論往往是不被接受的。病人會問：你是如何做出這個判斷的？根據什麼特征和經驗？有哪些治療的建議？需要花多少費用？如何找到好的專家？
同樣地，對於醫生等專業人士來說，一個這樣的結論也需要解釋：繫統做出這種預測，是否符合醫院和醫管單位的要求？有沒有按照正規的醫療程序來做推斷？這種推論是否可靠？有多大的風險？這個繫統在多少個案例裡面被測試過？是不是穩定、可靠、全面、科學的？
對於人工智能工程師來說，一個這樣的結論也需要解釋：對於一個大模型來說，是哪一部分的數據對結論起了關鍵作用？繫統的哪一部分被啟動？如果發生錯誤，的可能性來自哪裡？如何
修補？
以上例子表明，雖然我們可以使用一個黑盒的人工智能模型，但在應用中，這個模型應該具有可解釋能力，否則繫統的可用性就會大為降低。這個解釋可以來自繫統本身，比如樹形的決策繫統本身就具有很強的可解釋性。除此之外，也可以為一個黑盒的人工智能繫統配備一個解釋模型，其任務就是解釋人工智能做出的每個決策。
以上例子的另一個特點是解釋本身可以是多樣的，有的解釋是為終端用戶服務的，有的解釋是為專業人士或監管部門服務的，而有的解釋是為工程技術人員服務的。這種對可解釋人工智能的要求有些是必須滿足的。比如，歐洲提出的《個人數據通用保護條例》（GDPR）就規定了人工智能的算法要可以解釋其決策邏輯。
我們可以列舉更多的例子。比如在金融領域的貸款申請環節中，如果一個貸款申請沒有被批準，其背後的人工智能繫統就需要對貸款申請者做相應的解釋（如“貸款額度過大”，或者“有還款逾期經歷”等）。一個自動駕駛汽車繫統在做出緊急制動決策的同時，要給出解釋（如“因為車前面有位行人”）。所以，人工智能的可解釋性就像我們常說的，對於事物要知其然，也要知其所以然。
人工智能的可解釋性也是實現“以人為本”的人工智能的一個具體舉措。黑盒的人工智能繫統往往很難融入人類社會。如果一個繫統無法和人類溝通，那麼它的應用面注定會很窄，而人類對繫統決策的反饋就不能用來更新繫統的知識。一個可解釋的繫統往往被認為是公正、透明、平衡無偏、不歧視個體的友善繫統，這樣的人工智能繫統纔是負責任的人工智能繫統。
如上所述，人工智能的發展如火如荼，隨著與人們息息相關的金融、醫療等服務行業中出現人臉識別、智能人機對話等人工智能應用，公眾和政策制定者都逐漸意識到了可解釋人工智能（Explainable Artificial Intelligence，XAI）的重要性和急迫性。近期，可解釋AI 研究也呈現百花齊放的態勢，提出了眾多的理論框架、算法和繫統，覆蓋多個行業和學科。盡管百家爭鳴是一件好事，但這個領域仍然缺乏一個統一的理論體繫。一個完善的理論框架可以將不同的繫統和算法加以比較，讓人工智能的研究者和應用者對某種理論和算法的采納有據可循。同時，一個統一的理論框架可以成為創新的土壤，促使新的算法和繫統產生，這本專著就提出了一個基於人機溝通的交互式的可解釋人工智能範式。
和現有的一些可解釋AI 圖書相比，本書不僅包括了理論部分，更重要的是它還囊括了眾多的應用案例。本書從各種實際應用場景和需求出發，明確指出在各種場景下解釋所要達到的具體目標。同時，本書還提出了面向不同解釋對像的交互式解釋框架, 並以此囊括各種具體的解釋算法和技術。
一本好書本身就應該是一個好的可解釋繫統，讓不同背景的人群，有不同的收獲。本書對可解釋AI 前沿技術及時歸納梳理, 並深入淺出地介紹給讀者，適合入門讀者閱讀（是為導論）。同時，對於資深的研究者，本書也給出了進階的研究路徑。對於行業應用者，本書提出了選擇不同解決方案的依據。
本書覆蓋的人群，既包括計算機及信息處理相關專業的高年級本科生及研究生，也包括人工智能領域的研究員、學者和高校老師。同時，本書也照顧到關注人工智能應用及具有社會影響力的人士，包括政策制定者、法律工作者和社會科學研究人士。所以，我們希望本書能夠成為讀者朋友們手中的一本實用的人工智能工具書。
在此，我們特別感謝本書各個章節內容的貢獻者，他們是人工智能各個領域的專家、學者及研究員，在繁忙的工作中抽出寶貴的時間來討論寫作方案，提供各個章節的技術內容，投入了大量的經驗和熱情。同時，我們也感謝本書的支持者，包括電子工業出版社策劃編輯宋亞東及其同事，志願支持者——張鐘丹、姚雲競、範勝奇等同學。此外，我們還要衷心致謝各自的家人，沒有他們的鼎力支持，很難想像本書可以順利完成。
後，我們感謝眾多的讀者朋友們。感謝你們的持續支持！
楊強 範力欣 朱軍 陳一昕 張拳石 朱松純
陶大程 崔鵬 周少華 劉琦 黃萱菁 張永鋒
2022 年3月
