深度學習的可解釋性研究（一）：讓模型「說人話」

本文為

BIGSCity 的知乎專欄内容

，作者王小賤。北航智慧城市興趣組 BIGSCITY是隸屬于北京航空航天大學計算機學院的一個學術研究小組，小組緻力于研究機器學習與資料挖掘在城市科學、社會科學等領域的交叉應用技術。AI 科技評論獲得 BIGSCity 授權轉載，敬請期待更多後續内容。

非常開心本文成為 BIGSCity 興趣組的第一篇投稿，《深度學習的可解釋性研究》系列預計包含 3-4 篇内容，用盡可能淺顯的語言帶領大家了解可解釋性的概念與方法以及關于深度學習可解釋性工作的研究成果，不定期更新内容（歡迎催更）。

可解釋性是什麼？

廣義上的可解釋性指在我們需要了解或解決一件事情的時候，我們可以獲得我們所需要的足夠的可以了解的資訊。比如我們在調試 bug 的時候，需要通過變量審查和日志資訊定位到問題出在哪裡。比如在科學研究中面臨一個新問題的研究時，我們需要查閱一些資料來了解這個新問題的基本概念和研究現狀，以獲得對研究方向的正确認識。反過來了解，如果在一些情境中我們無法得到相應的足夠的資訊，那麼這些事情對我們來說都是不可解釋的。比如劉慈欣的短篇《朝聞道》中霍金提出的「宇宙的目的是什麼」這個問題一下子把無所不知的排險者卡住了，因為再高等的文明都沒辦法了解和掌握造物主創造宇宙時的全部資訊，這些終極問題對我們來說永遠都是不可解釋的。

而具體到機器學習領域來說，以最使用者友好的決策樹模型為例，模型每作出一個決策都會通過一個決策序列來向我們展示模型的決策依據：比如男性&未婚&博士&秃頭的條件對應「不感興趣」這個決策，而且決策樹模型自帶的基于資訊理論的篩選變量标準也有助于幫助我們了解在模型決策産生的過程中哪些變量起到了顯著的作用。是以在一定程度上，我們認為決策樹模型是一個具有比較好的可解釋性的模型，在以後的介紹中我們也會講到，以決策樹為代表的規則模型在可解釋性研究方面起到了非常關鍵的作用。再以使用者最不友好的多層神經網絡模型為例，模型産生決策的依據是什麼呢？大概是以比如 1/(e^-(2*1/(e^(-(2*x+y))+1) + 3*1/(e^(-(8*x+5*y))+1))+1) 是否大于 0.5 為标準（這已經是最簡單的模型結構了），這一連串的非線性函數的疊加公式讓人難以直接了解神經網絡的「腦回路」，是以深度神經網絡習慣性被大家認為是黑箱模型。

17 年 ICML 的 Tutorial 中給出的一個關于可解釋性的定義是：

Interpretation is the process of giving explanations to Human.

總結一下就是「說人話」，「說人話」，「說人話」，不以人類可以了解的方式給出的解釋都叫耍流氓，記住這三個字，你就差不多把握了可解釋性的精髓所在。

我們為什麼需要可解釋性？

廣義上來說我們對可解釋性的需求主要來源于對問題和任務了解得還不夠充分。具體到深度學習/機器學習領域，就像我們上文提到的多層神經網絡存在的問題，盡管高度的非線性賦予了多層神經網絡極高的模型表示能力，配合一些堪稱現代煉丹術的調參技術可以在很多問題上達到非常喜人的表現，大家如果經常關注 AI 的頭條新聞，那些機器學習和神經網絡不可思議的最新突破甚至經常會讓人産生 AI 馬上要取代人類的恐懼和幻覺。但正如近日貝葉斯網絡的創始人 Pearl 所指出的，「幾乎所有的深度學習突破性的本質上來說都隻是些曲線拟合罷了」，他認為今天人工智能領域的技術水準隻不過是上一代機器已有功能的增強版。雖然我們造出了準确度極高的機器，但最後隻能得到一堆看上去毫無意義的模型參數和拟合度非常高的判定結果，但實際上模型本身也意味着知識，我們希望知道模型究竟從資料中學到了哪些知識（以人類可以了解的方式表達的）進而産生了最終的決策。從中是不是可以幫助我們發現一些潛在的關聯，比如我想基于深度學習模型開發一個幫助醫生判定病人風險的應用，除了最終的判定結果之外，我可能還需要了解模型産生這樣的判定是基于病人哪些因素的考慮。如果一個模型完全不可解釋，那麼在很多領域的應用就會因為沒辦法給出更多可靠的資訊而受到限制。這也是為什麼在深度學習準确率這麼高的情況下，仍然有一大部分人傾向于應用可解釋性高的傳統統計學模型的原因。

不可解釋同樣也意味着危險，事實上很多領域對深度學習模型應用的顧慮除了模型本身無法給出足夠的資訊之外，也有或多或少關于安全性的考慮。比如，下面一個非常經典的關于對抗樣本的例子，對于一個 CNN 模型，在熊貓的圖檔中添加了一些噪聲之後卻以 99.3% 的機率被判定為長臂猿。

在熊貓圖檔中加入噪聲，模型以 99.3% 的機率将圖檔識别為長臂猿

事實上其他一些可解釋性較好的模型面對的對抗樣本問題可能甚至比深度學習模型更多，但具備可解釋性的模型在面對這些問題的時候是可以對異常産生的原因進行追蹤和定位的，比如線性回歸模型中我們可以發現某個輸入參數過大/過小導緻了最後判别失常。但深度學習模型很難說上面這兩幅圖到底是因為哪些差別導緻了判定結果出現了如此大的偏差。盡管關于對抗樣本的研究最近也非常火熱，但依然缺乏具備可解釋性的關于這類問題的解釋。

當然很多學者對可解釋性的必要性也存有疑惑，在 NIPS 2017 會場上，曾進行了一場非常激烈火爆的主題為「可解釋性在機器學習中是否必要」的辯論，大家對可解釋性的呼聲還是非常高的。但人工智能三巨頭之一的 Yann LeCun 卻認為：人類大腦是非常有限的，我們沒有那麼多腦容量去研究所有東西的可解釋性。有些東西是需要解釋的，比如法律，但大多數情況下，它們并沒有你想象中那麼重要。比如世界上有那麼多應用、網站，你每天用 Facebook、Google 的時候，你也沒想着要尋求它們背後的可解釋性。LeCun 也舉了一個例子：他多年前和一群經濟學家也做了一個模型來預測房價。第一個用的簡單的線性于猜測模型，經濟學家也能解釋清楚其中的原理；第二個用的是複雜的神經網絡，但效果比第一個好上不少。結果，這群經濟學家想要開公司做了。你說他們會選哪個？LeCun 表示，任何時候在這兩種裡面選擇都會選效果好的。就像很多年裡雖然我們不知道藥物裡的成分但一直在用一樣。

但是不可否認的是，可解釋性始終是一個非常好的性質，如果我們能兼顧效率、準确度、說人話這三個方面，具備可解釋性模型将在很多應用場景中具有不可替代的優勢。

有哪些可解釋性方法？

我們之前也提到機器學習的目的是從資料中發現知識或解決問題，那麼在這個過程中隻要是能夠提供給我們關于資料或模型的可以了解的資訊，有助于我們更充分地發現知識、了解和解決問題的方法，那麼都可以歸類為可解釋性方法。如果按照可解釋性方法進行的過程進行劃分的話，大概可以劃分為三個大類：

1. 在模組化之前的可解釋性方法

2. 建立本身具備可解釋性的模型

3. 在模組化之後使用可解釋性方法對模型作出解釋

在模組化之前的可解釋性方法

這一類方法其實主要涉及一些資料預處理或資料展示的方法。機器學習解決的是從資料中發現知識和規律的問題，如果我們對想要處理的資料特征所知甚少，指望對所要解決的問題本身有很好的了解是不現實的，在模組化之前的可解釋性方法的關鍵在于幫助我們迅速而全面地了解資料分布的特征，進而幫助我們考慮在模組化過程中可能面臨的問題并選擇一種最合理的模型來逼近問題所能達到的最優解。

資料可視化方法就是一類非常重要的模組化前可解釋性方法。很多對資料挖掘稍微有些了解的人可能會認為資料可視化是資料挖掘工作的最後一步，大概就是通過設計一些好看又唬人的圖表或來展示你的分析挖掘成果。但大多數時候，我們在真正要研究一個資料問題之前，通過建立一系列方方面面的可視化方法來建立我們對資料的直覺了解是非常必須的，特别是當資料量非常大或者資料次元非常高的時候，比如一些時空高維資料，如果可以建立一些一些互動式的可視化方法将會極大地幫助我們從各個層次角度了解資料的分布，在這個方面我們實驗室也做過一些非常不錯的工作。

還有一類比較重要的方法是探索性質的資料分析，可以幫助我們更好地了解資料的分布情況。比如一種稱為 MMD-critic 方法中，可以幫助我們找到資料中一些具有代表性或者不具代表性的樣本。

使用 MMD-critic 從 Imagenet 資料集中學到的代表性樣本和非代表性樣本（以兩種狗為例）

建立本身具備可解釋性的模型

建立本身具備可解釋性的模型是我個人覺得是最關鍵的一類可解釋性方法，同樣也是一類要求和限定很高的方法，具備「說人話」能力的可解釋性模型大概可以分為以下幾種：

1. 基于規則的方法（Rule-based）

2. 基于單個特征的方法（Per-feature-based）

3. 基于執行個體的方法（Case-based）

4. 稀疏性方法（Sparsity）

5. 單調性方法（Monotonicity）

基于規則的方法比如我們提到的非常經典的決策樹模型。這類模型中任何的一個決策都可以對應到一個邏輯規則表示。但當規則表示過多或者原始的特征本身就不是特别好解釋的時候，基于規則的方法有時候也不太适用。

基于單個特征的方法主要是一些非常經典的線性模型，比如線性回歸、邏輯回歸、廣義線性回歸、廣義加性模型等，這類模型可以說是現在可解釋性最高的方法，可能學習機器學習或計算機相關專業的朋友會認為線性回歸是最基本最低級的模型，但如果大家學過計量經濟學，就會發現大半本書都在讨論線性模型，包括經濟學及相關領域的論文其實大多數也都是使用線性回歸作為方法來進行研究。這種非常經典的模型全世界每秒都會被用到大概 800 多萬次。為什麼大家這麼青睐這個模型呢？除了模型的結構比較簡單之外，更重要的是線性回歸模型及其一些變種擁有非常 solid 的統計學基礎，統計學可以說是最看重可解釋性的一門學科了，上百年來無數數學家統計學家探讨了在各種不同情況下的模型的參數估計、參數修正、假設檢驗、邊界條件等等問題，目的就是為了使得在各種不同情況下都能使模型具有有非常好的可解釋性，如果大家有時間有興趣的話，除了學習機器學習深度模型模型之外還可以盡量多了解一些統計學的知識，可能對一些問題會獲得完全不一樣的思考和了解。

基于執行個體的方法主要是通過一些代表性的樣本來解釋聚類/分類結果的方法。比如下圖所展示的貝葉斯執行個體模型（Bayesian Case Model，BCM），我們将樣本分成三個組團，可以分别找出每個組團中具有的代表性樣例和重要的子空間。比如對于下面第一類聚類來說，綠臉是具有代表性的樣本，而綠色、方塊是具有代表性的特征子空間。

使用 BCM 學到的分類及其對應的代表性樣本和代表性特征子空間

基于執行個體的方法的一些局限在于可能挑出來的樣本不具有代表性或者人們可能會有過度泛化的傾向。

基于稀疏性的方法主要是利用資訊的稀疏性特質，将模型盡可能地簡化表示。比如如下圖的一種圖稀疏性的 LDA 方法，根據層次性的單詞資訊形成了層次性的主題表達，這樣一些小的主題就可以被更泛化的主題所概括，進而可以使我們更容易了解特定主題所代表的含義。

Graph-based LDA 中的主題層次結構

基于單調性的方法：在很多機器學習問題中，有一些輸入和輸出之間存在正相關/負相關關系，如果在模型訓練中我們可以找出這種單調性的關系就可以讓模型具有更高的可解釋性。比如醫生對患特定疾病的機率的估計主要由一些跟該疾病相關聯的高風險因素決定，找出單調性關系就可以幫助我們識别這些高風險因素。

在模組化之後使用可解釋性性方法作出解釋

模組化後的可解釋性方法主要是針對具有黑箱性質的深度學習模型而言的，主要分為以下幾類的工作：

1. 隐層分析方法

2. 模拟/代理模型

3. 敏感性分析方法

這部分是我們接下來介紹和研究的重點，是以主要放在後續的文章中進行講解，在本篇中不作過多介紹。

除了對深度學習模型本身進行解釋的方法之外，也有一部分工作旨在建立本身具有可解釋性的深度學習模型，這和我們前面介紹通用的可解釋性模型有差別也有聯系，也放到以後的文章中進行介紹。

如果對本系列感興趣或有疑問，歡迎私信交流。

關于 BIGSCity

北航智慧城市興趣組 BIGSCITY 是隸屬于北京航空航天大學計算機學院的一個學術研究小組，小組緻力于研究機器學習與資料挖掘在城市科學、社會科學等領域的交叉應用技術。BIGSCITY 的研究興趣包括：城市計算，時空資料挖掘，機器學習可解釋性，以及 AI 在交通、健康、金融等領域的應用等。本專欄将介紹 BIGSCITY 的一些研究成果，不定期更新與課題組研究相關的研究工作介紹，以及介紹與 BIGSCITY 相關的一切有趣的内容。

關于 BIGSCITY 的詳細情況參見研究組首頁：

https://www.bigscity.com/

參考文獻

1. Google Brain, Interpretable Machine Learning: The fuss, the concrete and the questions.

2. Kim B, Koyejo O, Khanna R, et al. Examples are not enough, learn to criticize! Criticism for Interpretability[C]. neural information processing systems, 2016: 2280-2288.

3. Kim B, Rudin C, Shah J. The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification[J]. Computer Science, 2015, 3:1952-1960.

4. Doshi-Velez F, Wallace B C, Adams R. Graph-sparse LDA: a topic model with structured sparsity[J]. Computer Science, 2014.

原文釋出時間為：2018-05-30

本文作者：奕欣

本文來自雲栖社群合作夥伴“

雷鋒網

”，了解相關資訊可以關注“

”。