LIME：算法讲解
目錄
一、簡介
?1. 主要用途
2. 樣例分析
二、基礎(chǔ)理論
1. 對解釋器算法的要求
2. 算法原理
3. 算法實(shí)現(xiàn)
4. 算法流程
三、 優(yōu)缺點(diǎn)分析
優(yōu)點(diǎn)
缺點(diǎn)
一、簡介
????????LIME算法是Marco Tulio Ribeiro2016年發(fā)表的論文《“Why Should I Trust You?” Explaining the Predictions of Any Classi?er》中介紹的局部可解釋性模型算法。該算法可以用在文本類與圖像類的模型中，以分析模型提取到的特征是否符合直觀理解。
?1. 主要用途
? ? ? ? 在實(shí)際建模過程中，我們不僅需要使客戶能夠信服，同時也需要使自己信服。如果僅僅以數(shù)字，描述一個系統(tǒng)的性能，則顯得略有偏頗，比如神經(jīng)網(wǎng)絡(luò)普遍可以達(dá)到高性能的效果，但可解釋性低，因此如果能夠從模型本身的底層邏輯出發(fā)，以它的視角觀察事物，分析事物，解釋事物，便可以明確模型的性能為什么好，為什么不好。這種時候，就可以利用本文要介紹的LIME算法，全稱Local Interpretable Model-agnostic Explanations，可以理解為模型的解釋器。
2. 樣例分析
??
? ? ? ? ?一瓶葡萄酒的品質(zhì)將對售賣價格產(chǎn)生直接影響，通過分析其化學(xué)成分，即可明確某一瓶葡萄酒的品質(zhì)。通過LIME，從葡萄酒的可解釋特征中分析得出，當(dāng)alchol>11.4時將對其品質(zhì)產(chǎn)生正向影響，真正做到搞清楚模型為什么認(rèn)為好還是不好。
? ? ? ?根據(jù)一封郵件的文本內(nèi)容，判斷發(fā)信者是與“基督教“有關(guān)還是與”無神論教“有關(guān)，分類器本身達(dá)到了90%的準(zhǔn)確率。但是利用LIME解釋器，發(fā)現(xiàn)”無神論教“的重要特征，是”Posting“(郵件標(biāo)頭的一部分)，這個詞與無神論本身并沒有太多的聯(lián)系。這意味著盡管模型準(zhǔn)確率很高，但所學(xué)習(xí)到的特征是錯誤的。
二、基礎(chǔ)理論
1. 對解釋器算法的要求
可解釋性
????????解釋器的模型與特征都必須是可解釋的，像決策樹、線性模型因其嚴(yán)格的數(shù)學(xué)推導(dǎo)都是很適合拿來解釋的模型；而可解釋的模型必須搭配可解釋的特征，才是真正的可解釋性，讓不了解機(jī)器學(xué)習(xí)的人也能通過解釋器理解模型。
局部保真度
? ? ? ? 在實(shí)際情況中，解釋器不需要在全局上達(dá)到復(fù)雜模型的效果，但至少在局部上效果要很接近，而此處的局部代表我們想觀察的那個樣本的周圍。
泛化性強(qiáng)
????????這里所指的是與復(fù)雜模型無關(guān)，換句話說無論多復(fù)雜的模型，像是SVM或神經(jīng)網(wǎng)絡(luò)，該解釋器都可以工作，都能進(jìn)行可解釋性分析。
2. 算法原理
????????對于一個分類器（復(fù)雜模型），想用一個可解釋的模型（簡單模型如線性規(guī)劃），搭配可解釋的特征在全局上進(jìn)行分析是極其困難的，相反，如果我們能在某一局部的決策邊緣上驗(yàn)證其可解釋性，即可說明該分類器的優(yōu)越性能。
????????具體來說，我們從加粗的紅色十字樣本（待解釋樣本）周圍采樣，所謂采樣就是對原始樣本的特征做一些擾動，將采樣出的樣本用分類模型分類并得到結(jié)果（紅十字和藍(lán)色點(diǎn)），同時根據(jù)采樣樣本與加粗紅十字的距離賦予權(quán)重（權(quán)重以標(biāo)志的大小表示）。虛線表示通過這些采樣樣本學(xué)到的局部可解釋模型，在這個例子中就是一個簡單的線性分類器。在此基礎(chǔ)上，我們就可以依據(jù)這個局部的可解釋模型對這個分類結(jié)果進(jìn)行解釋了。
3. 算法實(shí)現(xiàn)
（1）目標(biāo)函數(shù)
????????解釋模型定義為模型g∈G，我們進(jìn)一步使用作為實(shí)例z與x之間的接近度，以定義x周圍的局部性。定義一個目標(biāo)函數(shù)ξ，這里的L函數(shù)作為一個度量，描述如何通過在局部定義中，g如何逼近f（復(fù)雜模型），在當(dāng)Ω(g)(解釋模型復(fù)雜度)足夠低可以被人類理解時，我們最小化L函數(shù)得到目標(biāo)函數(shù)的最優(yōu)解。LIME產(chǎn)生的解釋如下：
?(2)引入自適應(yīng)相似度后的目標(biāo)函數(shù)
? ? ? ? 考慮到離待解釋樣本距離不同的擾動樣本附加權(quán)重理應(yīng)不同，引入自適應(yīng)相似度，即optim-LIME的目標(biāo)函數(shù)如下：
?（3）最終函數(shù)
?
????????其中f(z)是擾動樣本在d維空間（原始特征）上的預(yù)測值，g(z’)則是在d’維空間（可解釋特征）上的預(yù)測值，然后以相似度作為權(quán)重，因此上述的目標(biāo)函數(shù)便可以通過線性回歸的方式進(jìn)行優(yōu)化。
4. 算法流程
宏觀來看：
? ? ? ? 首先，在待解釋的模型中取一個待解釋樣本，之后隨機(jī)生成擾動樣本，并以與待解釋樣本的距離作為標(biāo)準(zhǔn)附加權(quán)重，再將得到的結(jié)果作為輸入投入待解釋模型中，同時選擇在局部考察的待訓(xùn)練可解釋模型（如決策樹、邏輯回歸等等），最終即可訓(xùn)練出在可解釋特征維度上的可解釋性模型。?
微觀來看：
? ? ? ? ?選取待解釋樣本X，并轉(zhuǎn)換為可解釋特征維度上的樣本X’。
? ? ? ? 通過隨機(jī)擾動，得到其余在可解釋特征維度上的樣本Z’。
? ? ? ? ?將Z’恢復(fù)至原始維度，計算f（z）與相似度。
? ? ? ? ?利用自適應(yīng)相似度對各個樣本點(diǎn)進(jìn)行加權(quán)。
?????????以X’作為特征，f（z）作為標(biāo)準(zhǔn)訓(xùn)練局部可解釋模型（如圖虛線）。
三、 優(yōu)缺點(diǎn)分析
優(yōu)點(diǎn)
? ? ? ? 1. 具有很強(qiáng)的通用性，性能優(yōu)越
????????LIME能夠兼容任何一種機(jī)器學(xué)習(xí)算法，具有廣泛的適用性。LIME除了能夠?qū)D像的分類結(jié)果進(jìn)行解釋外，還可以應(yīng)用到自然語言處理的相關(guān)任務(wù)中，如主題分類、詞性標(biāo)注等。
? ? ? ? 2. 針對性強(qiáng)，可塑性好
? ? ? ? LIME可以選取代表性樣本進(jìn)行訓(xùn)練，降低了工作量和難度，也能夠依照客戶靈活的需求進(jìn)行特殊場景的分析，如調(diào)節(jié)某一特征的權(quán)重，分析其變化對最終結(jié)果的影響程度。
缺點(diǎn)
? ? ? ? ?1. 局部性不可代表全局性
? ? ? ? LIME從局部出發(fā)訓(xùn)練可解釋性模型，當(dāng)全局決策范圍具有極其復(fù)雜的非線性時，局部線性區(qū)域范圍小，僅能對極少的樣本進(jìn)行可解釋分析。
? ? ? ? 2. 時間成本高
? ? ? ? 對每一個待測樣本進(jìn)行可解釋分析時，需重新訓(xùn)練對應(yīng)的可解釋模型，訓(xùn)練時間長。
總結(jié)
- 上一篇： PLM与ERP的区别
- 下一篇： 企鹅牵条狗以为就能飞 合体新生潜力如何