干货 | 深度学习的可解释性研究（一）：让模型「说人话」
在這篇文章中：
- 可解釋性是什么？
- 我們?yōu)槭裁葱枰山忉屝?#xff1f;
- 有哪些可解釋性方法？
- 在建模之前的可解釋性方法
- 建立本身具備可解釋性的模型
- 在建模之后使用可解釋性性方法作出解釋
- 關(guān)于 BIGSCity
- 參考文獻(xiàn)
不以人類可以理解的方式給出的解釋都叫耍流氓，因此，我們要讓模型「說人話」。只要記住這三個字，你就差不多把握了可解釋性的精髓所在。
AI 科技評論按：本文為 BIGSCity 的知乎專欄內(nèi)容，作者王小賤。北航智慧城市興趣組 BIGSCITY是隸屬于北京航空航天大學(xué)計(jì)算機(jī)學(xué)院的一個學(xué)術(shù)研究小組，小組致力于研究機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘在城市科學(xué)、社會科學(xué)等領(lǐng)域的交叉應(yīng)用技術(shù)。AI 科技評論獲得 BIGSCity 授權(quán)轉(zhuǎn)載，敬請期待更多后續(xù)內(nèi)容。
非常開心本文成為 BIGSCity 興趣組的第一篇投稿，《深度學(xué)習(xí)的可解釋性研究》系列預(yù)計(jì)包含 3-4 篇內(nèi)容，用盡可能淺顯的語言帶領(lǐng)大家了解可解釋性的概念與方法以及關(guān)于深度學(xué)習(xí)可解釋性工作的研究成果，不定期更新內(nèi)容（歡迎催更）。
可解釋性是什么？
廣義上的可解釋性指在我們需要了解或解決一件事情的時候，我們可以獲得我們所需要的足夠的可以理解的信息。比如我們在調(diào)試 bug 的時候，需要通過變量審查和日志信息定位到問題出在哪里。比如在科學(xué)研究中面臨一個新問題的研究時，我們需要查閱一些資料來了解這個新問題的基本概念和研究現(xiàn)狀，以獲得對研究方向的正確認(rèn)識。反過來理解，如果在一些情境中我們無法得到相應(yīng)的足夠的信息，那么這些事情對我們來說都是不可解釋的。比如劉慈欣的短篇《朝聞道》中霍金提出的「宇宙的目的是什么」這個問題一下子把無所不知的排險(xiǎn)者卡住了，因?yàn)樵俑叩鹊奈拿鞫紱]辦法理解和掌握造物主創(chuàng)造宇宙時的全部信息，這些終極問題對我們來說永遠(yuǎn)都是不可解釋的。
而具體到機(jī)器學(xué)習(xí)領(lǐng)域來說，以最用戶友好的決策樹模型為例，模型每作出一個決策都會通過一個決策序列來向我們展示模型的決策依據(jù)：比如男性&未婚&博士&禿頭的條件對應(yīng)「不感興趣」這個決策，而且決策樹模型自帶的基于信息理論的篩選變量標(biāo)準(zhǔn)也有助于幫助我們理解在模型決策產(chǎn)生的過程中哪些變量起到了顯著的作用。所以在一定程度上，我們認(rèn)為決策樹模型是一個具有比較好的可解釋性的模型，在以后的介紹中我們也會講到，以決策樹為代表的規(guī)則模型在可解釋性研究方面起到了非常關(guān)鍵的作用。再以用戶最不友好的多層神經(jīng)網(wǎng)絡(luò)模型為例，模型產(chǎn)生決策的依據(jù)是什么呢？大概是以比如 1/(e^-(2*1/(e^(-(2*x+y))+1) + 3*1/(e^(-(8*x+5*y))+1))+1) 是否大于 0.5 為標(biāo)準(zhǔn)（這已經(jīng)是最簡單的模型結(jié)構(gòu)了），這一連串的非線性函數(shù)的疊加公式讓人難以直接理解神經(jīng)網(wǎng)絡(luò)的「腦回路」，所以深度神經(jīng)網(wǎng)絡(luò)習(xí)慣性被大家認(rèn)為是黑箱模型。
17 年 ICML 的 Tutorial 中給出的一個關(guān)于可解釋性的定義是：
Interpretation is the process of giving explanations to Human.
總結(jié)一下就是「說人話」，「說人話」，「說人話」，不以人類可以理解的方式給出的解釋都叫耍流氓，記住這三個字，你就差不多把握了可解釋性的精髓所在。
我們?yōu)槭裁葱枰山忉屝?#xff1f;
廣義上來說我們對可解釋性的需求主要來源于對問題和任務(wù)了解得還不夠充分。具體到深度學(xué)習(xí)/機(jī)器學(xué)習(xí)領(lǐng)域，就像我們上文提到的多層神經(jīng)網(wǎng)絡(luò)存在的問題，盡管高度的非線性賦予了多層神經(jīng)網(wǎng)絡(luò)極高的模型表示能力，配合一些堪稱現(xiàn)代煉丹術(shù)的調(diào)參技術(shù)可以在很多問題上達(dá)到非常喜人的表現(xiàn)，大家如果經(jīng)常關(guān)注 AI 的頭條新聞，那些機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)不可思議的最新突破甚至經(jīng)常會讓人產(chǎn)生 AI 馬上要取代人類的恐懼和幻覺。但正如近日貝葉斯網(wǎng)絡(luò)的創(chuàng)始人 Pearl 所指出的，「幾乎所有的深度學(xué)習(xí)突破性的本質(zhì)上來說都只是些曲線擬合罷了」，他認(rèn)為今天人工智能領(lǐng)域的技術(shù)水平只不過是上一代機(jī)器已有功能的增強(qiáng)版。雖然我們造出了準(zhǔn)確度極高的機(jī)器，但最后只能得到一堆看上去毫無意義的模型參數(shù)和擬合度非常高的判定結(jié)果，但實(shí)際上模型本身也意味著知識，我們希望知道模型究竟從數(shù)據(jù)中學(xué)到了哪些知識（以人類可以理解的方式表達(dá)的）從而產(chǎn)生了最終的決策。從中是不是可以幫助我們發(fā)現(xiàn)一些潛在的關(guān)聯(lián)，比如我想基于深度學(xué)習(xí)模型開發(fā)一個幫助醫(yī)生判定病人風(fēng)險(xiǎn)的應(yīng)用，除了最終的判定結(jié)果之外，我可能還需要了解模型產(chǎn)生這樣的判定是基于病人哪些因素的考慮。如果一個模型完全不可解釋，那么在很多領(lǐng)域的應(yīng)用就會因?yàn)闆]辦法給出更多可靠的信息而受到限制。這也是為什么在深度學(xué)習(xí)準(zhǔn)確率這么高的情況下，仍然有一大部分人傾向于應(yīng)用可解釋性高的傳統(tǒng)統(tǒng)計(jì)學(xué)模型的原因。
不可解釋同樣也意味著危險(xiǎn)，事實(shí)上很多領(lǐng)域?qū)ι疃葘W(xué)習(xí)模型應(yīng)用的顧慮除了模型本身無法給出足夠的信息之外，也有或多或少關(guān)于安全性的考慮。比如，下面一個非常經(jīng)典的關(guān)于對抗樣本的例子，對于一個 CNN 模型，在熊貓的圖片中添加了一些噪聲之后卻以 99.3% 的概率被判定為長臂猿。
在熊貓圖片中加入噪聲，模型以 99.3% 的概率將圖片識別為長臂猿
事實(shí)上其他一些可解釋性較好的模型面對的對抗樣本問題可能甚至比深度學(xué)習(xí)模型更多，但具備可解釋性的模型在面對這些問題的時候是可以對異常產(chǎn)生的原因進(jìn)行追蹤和定位的，比如線性回歸模型中我們可以發(fā)現(xiàn)某個輸入?yún)?shù)過大/過小導(dǎo)致了最后判別失常。但深度學(xué)習(xí)模型很難說上面這兩幅圖到底是因?yàn)槟男﹨^(qū)別導(dǎo)致了判定結(jié)果出現(xiàn)了如此大的偏差。盡管關(guān)于對抗樣本的研究最近也非常火熱，但依然缺乏具備可解釋性的關(guān)于這類問題的解釋。
當(dāng)然很多學(xué)者對可解釋性的必要性也存有疑惑，在 NIPS 2017 會場上，曾進(jìn)行了一場非常激烈火爆的主題為「可解釋性在機(jī)器學(xué)習(xí)中是否必要」的辯論，大家對可解釋性的呼聲還是非常高的。但人工智能三巨頭之一的 Yann LeCun 卻認(rèn)為：人類大腦是非常有限的，我們沒有那么多腦容量去研究所有東西的可解釋性。有些東西是需要解釋的，比如法律，但大多數(shù)情況下，它們并沒有你想象中那么重要。比如世界上有那么多應(yīng)用、網(wǎng)站，你每天用 Facebook、Google 的時候，你也沒想著要尋求它們背后的可解釋性。LeCun 也舉了一個例子：他多年前和一群經(jīng)濟(jì)學(xué)家也做了一個模型來預(yù)測房價(jià)。第一個用的簡單的線性于猜測模型，經(jīng)濟(jì)學(xué)家也能解釋清楚其中的原理；第二個用的是復(fù)雜的神經(jīng)網(wǎng)絡(luò)，但效果比第一個好上不少。結(jié)果，這群經(jīng)濟(jì)學(xué)家想要開公司做了。你說他們會選哪個？LeCun 表示，任何時候在這兩種里面選擇都會選效果好的。就像很多年里雖然我們不知道藥物里的成分但一直在用一樣。
但是不可否認(rèn)的是，可解釋性始終是一個非常好的性質(zhì)，如果我們能兼顧效率、準(zhǔn)確度、說人話這三個方面，具備可解釋性模型將在很多應(yīng)用場景中具有不可替代的優(yōu)勢。
有哪些可解釋性方法？
我們之前也提到機(jī)器學(xué)習(xí)的目的是從數(shù)據(jù)中發(fā)現(xiàn)知識或解決問題，那么在這個過程中只要是能夠提供給我們關(guān)于數(shù)據(jù)或模型的可以理解的信息，有助于我們更充分地發(fā)現(xiàn)知識、理解和解決問題的方法，那么都可以歸類為可解釋性方法。如果按照可解釋性方法進(jìn)行的過程進(jìn)行劃分的話，大概可以劃分為三個大類：
1. 在建模之前的可解釋性方法
2. 建立本身具備可解釋性的模型
3. 在建模之后使用可解釋性方法對模型作出解釋
在建模之前的可解釋性方法
這一類方法其實(shí)主要涉及一些數(shù)據(jù)預(yù)處理或數(shù)據(jù)展示的方法。機(jī)器學(xué)習(xí)解決的是從數(shù)據(jù)中發(fā)現(xiàn)知識和規(guī)律的問題，如果我們對想要處理的數(shù)據(jù)特征所知甚少，指望對所要解決的問題本身有很好的理解是不現(xiàn)實(shí)的，在建模之前的可解釋性方法的關(guān)鍵在于幫助我們迅速而全面地了解數(shù)據(jù)分布的特征，從而幫助我們考慮在建模過程中可能面臨的問題并選擇一種最合理的模型來逼近問題所能達(dá)到的最優(yōu)解。
數(shù)據(jù)可視化方法就是一類非常重要的建模前可解釋性方法。很多對數(shù)據(jù)挖掘稍微有些了解的人可能會認(rèn)為數(shù)據(jù)可視化是數(shù)據(jù)挖掘工作的最后一步，大概就是通過設(shè)計(jì)一些好看又唬人的圖表或來展示你的分析挖掘成果。但大多數(shù)時候，我們在真正要研究一個數(shù)據(jù)問題之前，通過建立一系列方方面面的可視化方法來建立我們對數(shù)據(jù)的直觀理解是非常必須的，特別是當(dāng)數(shù)據(jù)量非常大或者數(shù)據(jù)維度非常高的時候，比如一些時空高維數(shù)據(jù)，如果可以建立一些一些交互式的可視化方法將會極大地幫助我們從各個層次角度理解數(shù)據(jù)的分布，在這個方面我們實(shí)驗(yàn)室也做過一些非常不錯的工作。
還有一類比較重要的方法是探索性質(zhì)的數(shù)據(jù)分析，可以幫助我們更好地理解數(shù)據(jù)的分布情況。比如一種稱為 MMD-critic 方法中，可以幫助我們找到數(shù)據(jù)中一些具有代表性或者不具代表性的樣本。
使用 MMD-critic 從 Imagenet 數(shù)據(jù)集中學(xué)到的代表性樣本和非代表性樣本（以兩種狗為例）
建立本身具備可解釋性的模型
建立本身具備可解釋性的模型是我個人覺得是最關(guān)鍵的一類可解釋性方法，同樣也是一類要求和限定很高的方法，具備「說人話」能力的可解釋性模型大概可以分為以下幾種：
1. 基于規(guī)則的方法（Rule-based）
2. 基于單個特征的方法（Per-feature-based）
3. 基于實(shí)例的方法（Case-based）
4. 稀疏性方法（Sparsity）
5. 單調(diào)性方法（Monotonicity）
基于規(guī)則的方法比如我們提到的非常經(jīng)典的決策樹模型。這類模型中任何的一個決策都可以對應(yīng)到一個邏輯規(guī)則表示。但當(dāng)規(guī)則表示過多或者原始的特征本身就不是特別好解釋的時候，基于規(guī)則的方法有時候也不太適用。
基于單個特征的方法主要是一些非常經(jīng)典的線性模型，比如線性回歸、邏輯回歸、廣義線性回歸、廣義加性模型等，這類模型可以說是現(xiàn)在可解釋性最高的方法，可能學(xué)習(xí)機(jī)器學(xué)習(xí)或計(jì)算機(jī)相關(guān)專業(yè)的朋友會認(rèn)為線性回歸是最基本最低級的模型，但如果大家學(xué)過計(jì)量經(jīng)濟(jì)學(xué)，就會發(fā)現(xiàn)大半本書都在討論線性模型，包括經(jīng)濟(jì)學(xué)及相關(guān)領(lǐng)域的論文其實(shí)大多數(shù)也都是使用線性回歸作為方法來進(jìn)行研究。這種非常經(jīng)典的模型全世界每秒都會被用到大概 800 多萬次。為什么大家這么青睞這個模型呢？除了模型的結(jié)構(gòu)比較簡單之外，更重要的是線性回歸模型及其一些變種擁有非常 solid 的統(tǒng)計(jì)學(xué)基礎(chǔ)，統(tǒng)計(jì)學(xué)可以說是最看重可解釋性的一門學(xué)科了，上百年來無數(shù)數(shù)學(xué)家統(tǒng)計(jì)學(xué)家探討了在各種不同情況下的模型的參數(shù)估計(jì)、參數(shù)修正、假設(shè)檢驗(yàn)、邊界條件等等問題，目的就是為了使得在各種不同情況下都能使模型具有有非常好的可解釋性，如果大家有時間有興趣的話，除了學(xué)習(xí)機(jī)器學(xué)習(xí)深度模型模型之外還可以盡量多了解一些統(tǒng)計(jì)學(xué)的知識，可能對一些問題會獲得完全不一樣的思考和理解。
基于實(shí)例的方法主要是通過一些代表性的樣本來解釋聚類/分類結(jié)果的方法。比如下圖所展示的貝葉斯實(shí)例模型（Bayesian Case Model，BCM），我們將樣本分成三個組團(tuán)，可以分別找出每個組團(tuán)中具有的代表性樣例和重要的子空間。比如對于下面第一類聚類來說，綠臉是具有代表性的樣本，而綠色、方塊是具有代表性的特征子空間。
使用 BCM 學(xué)到的分類及其對應(yīng)的代表性樣本和代表性特征子空間
基于實(shí)例的方法的一些局限在于可能挑出來的樣本不具有代表性或者人們可能會有過度泛化的傾向。
基于稀疏性的方法主要是利用信息的稀疏性特質(zhì)，將模型盡可能地簡化表示。比如如下圖的一種圖稀疏性的 LDA 方法，根據(jù)層次性的單詞信息形成了層次性的主題表達(dá)，這樣一些小的主題就可以被更泛化的主題所概括，從而可以使我們更容易理解特定主題所代表的含義。
Graph-based LDA 中的主題層次結(jié)構(gòu)
基于單調(diào)性的方法：在很多機(jī)器學(xué)習(xí)問題中，有一些輸入和輸出之間存在正相關(guān)/負(fù)相關(guān)關(guān)系，如果在模型訓(xùn)練中我們可以找出這種單調(diào)性的關(guān)系就可以讓模型具有更高的可解釋性。比如醫(yī)生對患特定疾病的概率的估計(jì)主要由一些跟該疾病相關(guān)聯(lián)的高風(fēng)險(xiǎn)因素決定，找出單調(diào)性關(guān)系就可以幫助我們識別這些高風(fēng)險(xiǎn)因素。
在建模之后使用可解釋性性方法作出解釋
建模后的可解釋性方法主要是針對具有黑箱性質(zhì)的深度學(xué)習(xí)模型而言的，主要分為以下幾類的工作：
1. 隱層分析方法
2. 模擬/代理模型
3. 敏感性分析方法
這部分是我們接下來介紹和研究的重點(diǎn)，因此主要放在后續(xù)的文章中進(jìn)行講解，在本篇中不作過多介紹。
除了對深度學(xué)習(xí)模型本身進(jìn)行解釋的方法之外，也有一部分工作旨在建立本身具有可解釋性的深度學(xué)習(xí)模型，這和我們前面介紹通用的可解釋性模型有區(qū)別也有聯(lián)系，也放到以后的文章中進(jìn)行介紹。
如果對本系列感興趣或有疑問，歡迎私信交流。
關(guān)于 BIGSCity
北航智慧城市興趣組 BIGSCITY 是隸屬于北京航空航天大學(xué)計(jì)算機(jī)學(xué)院的一個學(xué)術(shù)研究小組，小組致力于研究機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘在城市科學(xué)、社會科學(xué)等領(lǐng)域的交叉應(yīng)用技術(shù)。BIGSCITY 的研究興趣包括：城市計(jì)算，時空數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)可解釋性，以及 AI 在交通、健康、金融等領(lǐng)域的應(yīng)用等。本專欄將介紹 BIGSCITY 的一些研究成果，不定期更新與課題組研究相關(guān)的研究工作介紹，以及介紹與 BIGSCITY 相關(guān)的一切有趣的內(nèi)容。
關(guān)于 BIGSCITY 的詳細(xì)情況參見研究組主頁：https://www.bigscity.com/
參考文獻(xiàn)
1. Google Brain, Interpretable Machine Learning: The fuss, the concrete and the questions.
2. Kim B, Koyejo O, Khanna R, et al. Examples are not enough, learn to criticize! Criticism for Interpretability[C]. neural information processing systems, 2016: 2280-2288.
3. Kim B, Rudin C, Shah J. The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification[J]. Computer Science, 2015, 3:1952-1960.
4. Doshi-Velez F, Wallace B C, Adams R. Graph-sparse LDA: a topic model with structured sparsity[J].
隨著深度神經(jīng)網(wǎng)絡(luò)（DNN）變得越來越強(qiáng)大，它們的復(fù)雜性也會增加。這種復(fù)雜性帶來了新的挑戰(zhàn)，包括模型的可解釋性。
可解釋性對于構(gòu)建更強(qiáng)大且能抵抗對抗攻擊的模型至關(guān)重要。此外，為一個新的，未經(jīng)過深入研究的領(lǐng)域設(shè)計(jì)模型具有挑戰(zhàn)性，而能夠解釋模型正在做什么可以幫助我們完成這個過程。
模特可解釋性的重要性使研究人員開發(fā)出多種方法，并在去年的NIPS會議上專門討論了這個主題。這些方法包括：
- LIME：通過局部線性逼近解釋模型預(yù)測的方法（https://arxiv.org/abs/1602.04938）
- 激活最大化：了解哪種輸入模式產(chǎn)生最大的模型響應(yīng)（https://pdfs.semanticscholar.org/65d9/94fb778a8d9e0f632659fb33a082949a50d3.pdf）
- 特征可視化：（https://distill.pub/2017/feature-visualization/）
- 將DNN層嵌入到低維可解釋的空間中：（http://www.interpretable-ml.org/nips2017workshop/papers/04.pdf）
- 采用認(rèn)知心理學(xué)的方法：（https://deepmind.com/blog/cognitive-psychology/）
- 不確定性估計(jì)方法
在我們深入研究如何使用不確定性來調(diào)試和解釋模型之前，首先讓我們了解為什么不確定性很重要。
為什么要關(guān)心不確定性？
比較典型的例子是高風(fēng)險(xiǎn)應(yīng)用。假設(shè)你正在建立一個模型，幫助醫(yī)生決定患者的首選治療方案。在這種情況下，我們不僅要關(guān)心模型的準(zhǔn)確性，還要關(guān)注模型對預(yù)測的確定程度。如果不確定性太高，醫(yī)生應(yīng)該將此考慮在內(nèi)。
自駕車也是一個例子。當(dāng)模型不確定道路上是否有行人時，我們可以使用此信息來減慢車速或觸發(fā)警報(bào)，以使駕駛員接手。
不確定性也可以幫助我們擺脫數(shù)據(jù)實(shí)例。如果模型沒有使用類似于手邊樣本的實(shí)例進(jìn)行訓(xùn)練，那么如果它能夠說“抱歉，我不知道”可能會更好。這可以避免谷歌在將非洲裔美國人誤認(rèn)為大猩猩時這樣的尷尬錯誤。這種錯誤有時是由于訓(xùn)練集不夠多樣化產(chǎn)生的。
最后一次使用不確定性（也是本文的目標(biāo)），是從業(yè)者調(diào)試模型的工具。我們稍后會深入研究這個問題，但首先，讓我們談?wù)劜煌愋偷牟淮_定性。
不確定性類型
有不同類型的不確定性和建模，每種都有用于不同的目的。
模型不確定性，AKA認(rèn)知不確定性：假設(shè)有一個數(shù)據(jù)點(diǎn)，想知道哪種線性模型最能解釋您的數(shù)據(jù)。沒有好的方法可以在圖片中不同的線之間進(jìn)行選擇 – 我們需要更多數(shù)據(jù)！
左側(cè)：沒有足夠的數(shù)據(jù)導(dǎo)致高度不確定性。右邊：給定更多數(shù)據(jù)不確定性降低
認(rèn)知不確定性解釋模型參數(shù)的不確定性。我們不確定哪種模型權(quán)重最好地描述數(shù)據(jù)，但是給定更多數(shù)據(jù)我們的不確定性會降低。這種不確定性在高風(fēng)險(xiǎn)應(yīng)用和處理小型稀疏數(shù)據(jù)時非常重要。
舉個例子，假設(shè)你想要建立一個能夠獲得動物圖片的模型，并預(yù)測該動物是否會嘗試吃掉你。假設(shè)你用獅子和長頸鹿的圖片訓(xùn)練模型，現(xiàn)在它看到了一個僵尸。由于該模型沒有在僵尸圖片上進(jìn)行過訓(xùn)練，因此不確定性很高。這種不確定性就是模型的結(jié)果，如果給出僵尸圖片夠多，不確定性就會減少。
數(shù)據(jù)不確定性，或者說偶發(fā)不確定性捕獲觀察中固有的噪聲。有時世界本身就是隨機(jī)的。在這種情況下，獲取更多數(shù)據(jù)對我們沒有幫助，因?yàn)樵肼暿菙?shù)據(jù)固有的。
要理解這一點(diǎn)，讓我們繼續(xù)思考食肉動物模型。我們的模型可以識別圖像中有獅子，因此你可能會被吃掉。但是，如果獅子現(xiàn)在不餓了怎么辦？這種不確定性來自數(shù)據(jù)。另外，兩條看起來相同的蛇，但其中一條是可能有毒，另一條則沒有。
偶發(fā)不確定性分為兩種類型：
測量的不確定性：另一個不確定性來源是測量本身。當(dāng)測量結(jié)果有噪聲時，不確定性會增加。在動物示例中，如果使用質(zhì)量差的相機(jī)拍攝照片，則可能會損害模型的置信度；或者如果我們正逃離一只發(fā)狂的河馬，我們只能處理模糊的圖像。
有噪聲的標(biāo)簽：通過監(jiān)督學(xué)習(xí)，我們使用標(biāo)簽來訓(xùn)練模型。如果標(biāo)簽有噪音，則不確定性會增加。
有各種方法來模擬每種不確定性。這些我以后會介紹。現(xiàn)在，讓我們假設(shè)我們有一個黑盒模型，它暴露了對預(yù)測的不確定性。我們?nèi)绾问褂盟鼇碚{(diào)試模型？
讓我們思考Taboola中的一個模型，它被用于預(yù)測用戶點(diǎn)擊內(nèi)容推薦的可能性，也稱為CTR（Click Through Rate）。
使用不確定性來調(diào)試模型
該模型具有許多由嵌入向量表示的分類特征。它可能難以學(xué)習(xí)稀有值的通用嵌入。解決此問題的常用方法是使用特殊的OOV（Out of Vocabulary）嵌入。
想想某個物品的廣告商。所有罕見的廣告商都共享相同的OOV嵌入，因此，從模型的角度來看，他們本質(zhì)上就是一個廣告商。這個OOV廣告商有許多不同的商品，每個商品都有不同的CTR。如果我們僅使用廣告商作為CTR的預(yù)測，我們就會得到OOV的高不確定性。
為了驗(yàn)證模型對OOV輸出的高不確定性，我們?nèi)∫粋€驗(yàn)證集，并轉(zhuǎn)換所有廣告商嵌入到OOV。接下來，我們檢查了轉(zhuǎn)換前后的不確定性。正如預(yù)期的那樣，不確定性增加了。該模型能夠了解到，如果給予信息豐富的廣告商，它應(yīng)該減少不確定性。
我們可以針對不同的特征重復(fù)這一點(diǎn)，并尋找在被OOV嵌入替換時導(dǎo)致低不確定性的特征。這些特征要么是無信息性的，要么是我們將它們提供給模型的方式并不理想。
我們甚至可以繼續(xù)細(xì)分：某些廣告商在不同商品的CTR之間存在較高的可變性，而另一些則有大致相同的CTR。我們希望該模型對第一類廣告商具有更高的不確定性。因此，比較有用的分析是關(guān)注廣告商中不確定性和CTR變異性之間的相關(guān)性。如果相關(guān)性不是正的，則意味著模型未能了解與每個廣告商相關(guān)的不確定性。這個工具允許我們了解訓(xùn)練過程或模型架構(gòu)中是否出現(xiàn)問題，這表明我們應(yīng)該進(jìn)一步調(diào)試它。
我們可以執(zhí)行類似的分析，看看與特定項(xiàng)目相關(guān)的不確定性是否會減少了更多的我們展示它的次數(shù)（即向更多用戶或更多地方顯示）。同樣，我們希望模型變得更加確定，如果不是 – 我們將進(jìn)行調(diào)試！
另一個很酷的例子是標(biāo)題特征：帶有罕見詞匯的獨(dú)特標(biāo)題應(yīng)該會帶來很高的模型不確定性。這是模型沒有從那個領(lǐng)域所有可能標(biāo)題看到很多例子的結(jié)果。然后我們使用其中一種標(biāo)題對模型進(jìn)行再訓(xùn)練，看看是否降低了整體的不確定性。然后我們將使用其中一個標(biāo)題重新訓(xùn)練模型，并查看整個組的不確定性是否已降低。我們可以看到發(fā)生了什么：
等一下……通過將模型暴露給某些標(biāo)題，它能夠變得更好，對一些新標(biāo)題更加確定。也許我們可以用它來某種方式鼓勵探索新的物品？是的，我們可以（我們后續(xù)會出）！
總結(jié)
以上是生活随笔為你收集整理的干货 | 深度学习的可解释性研究（一）：让模型「说人话」的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Python-接口开发入门
- 下一篇： 一键离线下载python安装包：