前言：

????? ??? ANN是個(gè)語義黑箱的意思是沒有通用明確的函數(shù)表示，參數(shù)化的模型并不能給出函數(shù)的形式，更進(jìn)而不能表示函數(shù)的實(shí)際意義。

????????? 而CNN在圖像處理方面具有天然的理論優(yōu)勢(shì)，而Conv層和Polling層，整流層等都有明確的意義?？梢蕴^函數(shù)形式直接進(jìn)行語義級(jí)別的解析。

???????? 可視化是直觀理解的一個(gè)重要方式，CNN可視化可以輔助對(duì)特定數(shù)據(jù)集繞過語法，直接進(jìn)行特定網(wǎng)絡(luò)語義級(jí)別的解析。在CNN可視化之后，你可以看到整個(gè)特征提取的表象和結(jié)果。

?? ? ???

????????? 這就是一個(gè)有趣的地方，我們難以規(guī)約卷積核有怎樣的函數(shù)形式，有怎么樣的語法，但函數(shù)結(jié)果卻真正地描述出了我們所需要的東西。底層卷積層得到相應(yīng)的底層特征，高層卷積層得到高層特征，這僅僅需要一個(gè)從語義到語法的規(guī)約，而不是通常情況下的演繹——模型泛化。

Deep Learning論文筆記之（七）深度網(wǎng)絡(luò)高層特征可視化

zouxy09@qq.com

http://blog.csdn.net/zouxy09

自己平時(shí)看了一些論文，但老感覺看完過后就會(huì)慢慢的淡忘，某一天重新拾起來的時(shí)候又好像沒有看過一樣。所以想習(xí)慣地把一些感覺有用的論文中的知識(shí)點(diǎn)總結(jié)整理一下，一方面在整理過程中，自己的理解也會(huì)更深，另一方面也方便未來自己的勘察。更好的還可以放到博客上面與大家交流。因?yàn)榛A(chǔ)有限，所以對(duì)論文的一些理解可能不太正確，還望大家不吝指正交流，謝謝。

本文的論文來自：

Dumitru Erhan, Aaron Courville, Yoshua Bengio, and Pascal Vincent.Visualizing Higher Layer Features of a Deep Network. Spotlight presentation and poster at the ICML 2009 Workshop on Learning Feature Hierarchies, Montréal, Canada

下面是自己對(duì)其中的一些知識(shí)點(diǎn)的理解：

《Visualizing Higher-Layer Features of a Deep Network》

Deep Learning很吸引人，也很玄乎的一個(gè)點(diǎn)就是大家都說它可以提取到分級(jí)的逐層抽象的特征。但對(duì)我們來說，總是耳聽為虛，眼見為實(shí)。所以，每當(dāng)我們訓(xùn)練完一個(gè)深度模型后，我們還特別想把這個(gè)深度模型學(xué)到的東西給可視化出來，好弄明白它到底學(xué)到了什么東西，是不是有意義的，是不是像傳說中的那樣神奇。那怎樣有意義的可視化呢？對(duì)了，我們用deep net來做什么的了？來提取特征的。那它提取什么特征呢？如果它像我們所說的提取的是底層到高層的特征，例如邊緣，到形狀，到目標(biāo)等等，那就證明我們的目的是達(dá)到的。

另外，在對(duì)深度模型定量的分析上，我們還需要一個(gè)定性的分析方法去比較不同的深度架構(gòu)學(xué)習(xí)到的特征。本文的目的就是尋找深度模型所提取到的高級(jí)特征的比較好的定性解釋。我們通過在幾個(gè)視覺數(shù)據(jù)庫中訓(xùn)練堆疊降噪自動(dòng)編碼器和DBN深信網(wǎng)絡(luò)，并比較幾種不同的高級(jí)特征可視化的方法。雖然這些特征的顯示是在單元級(jí)別上面的，也許有違于直觀理解，但它很容易實(shí)現(xiàn)，而且在不同方法上面得到的結(jié)果也是一致的。我們希望這些方法可以讓研究者更清楚的理解深度學(xué)習(xí)是如何工作和為什么工作的。本文中，介紹三種可視化的方法：激活最大化、采樣和線性組合法。

一、概述

一些深度架構(gòu)（例如DBNs）與generative procedure生成過程存在密切的聯(lián)系，所以我們可以利用這個(gè)生成過程來瞥見一個(gè)單獨(dú)的隱層神經(jīng)元所表示的是什么。在這里，我們研究其中一個(gè)這樣的采樣方法。然而，一方面有時(shí)候我們很難去獲得可以完全覆蓋波爾茲曼或者RBM分布的樣本，另一方面這種基于采樣的可視化方法沒辦法運(yùn)用到其他基于自動(dòng)編碼器的深度架構(gòu)模型或者在每個(gè)層嵌入保留相似性的半監(jiān)督學(xué)習(xí)模型上。

一個(gè)典型的對(duì)深度架構(gòu)第一層所提取的特征的定性分析方法是通過觀察由模型所學(xué)習(xí)到的這些濾波器。這些濾波器是輸入層到第一層的權(quán)值矩陣的權(quán)值。他們是由輸入空間來表示。這樣就非常方便了，因?yàn)檩斎胧菆D像或者小波，他們是可以被可視化的。

一般來說，當(dāng)在數(shù)字的數(shù)據(jù)集中訓(xùn)練的時(shí)候，這些濾波器可以被可視化為一些不同的數(shù)字的筆畫的檢測(cè)器。當(dāng)在自然圖像中訓(xùn)練時(shí)，這些濾波器就相當(dāng)于不同的邊緣檢測(cè)器了（小波濾波器）。

本文的目標(biāo)是研究一種可以可視化深度架構(gòu)中任意層中的任意神經(jīng)元所計(jì)算或者提取的特征的一種方法。為了達(dá)到這個(gè)目的，我們需要在輸入空間（圖像）中實(shí)現(xiàn)可視化，并且需要找到一種有效地計(jì)算方法去計(jì)算，然后使他具有通用性，也就是在不同的深度網(wǎng)絡(luò)模型中都可以使用。在這里我們探究了幾種方法。然后我們?cè)趦蓚€(gè)數(shù)據(jù)集中對(duì)他們進(jìn)行了定性的對(duì)比，研究他們之間的聯(lián)系性。

在實(shí)驗(yàn)過程中，一個(gè)非常讓人驚喜的地方是，每一個(gè)隱層的節(jié)點(diǎn)對(duì)輸入圖像的響應(yīng)，也就是輸入空間的函數(shù)，居然是單峰的，也就是說，不管你隨機(jī)地在什么地方初始化，最終都可以可靠地找到這個(gè)最大值，這對(duì)于迭代尋優(yōu)來說是非常爽的，而且它可以將每個(gè)節(jié)點(diǎn)做了什么公開于天下。一覽無余。

二、模型

我們這里討論兩個(gè)模型，這兩個(gè)模型都是在深度架構(gòu)中比較常見的。第一個(gè)是DBNs，它是通過貪婪的堆疊多個(gè)RBM層得到的。我們先通過CD算法訓(xùn)練一個(gè)RBM，然后固定它，再將其輸出做了另一個(gè)RBM的輸入，去訓(xùn)練這一個(gè)隱層的RBM。這個(gè)過程可以通過不斷重復(fù)，然后得到一個(gè)服從訓(xùn)練分布的非監(jiān)督模型的深度架構(gòu)。需要注意的一點(diǎn)是，它是一個(gè)數(shù)據(jù)的生成模型，可以很容易的通過一個(gè)已經(jīng)訓(xùn)練好的模型去采集樣本。

我們要討論的第二個(gè)模型是降噪自動(dòng)編碼器，它是傳統(tǒng)編碼器的隨機(jī)變種，它具有更強(qiáng)的能力。它不會(huì)學(xué)習(xí)到恒等函數(shù)（也就是h(x)=x，這個(gè)函數(shù)滿足了零重構(gòu)誤差，但這是沒有意義的）。它被強(qiáng)制去學(xué)習(xí)輸入的本質(zhì)表達(dá)。

它訓(xùn)練的關(guān)鍵是需要不斷的提高生成模型的似然函數(shù)的下界。它比傳統(tǒng)的編碼機(jī)要牛逼，如果堆疊成一個(gè)深度監(jiān)督架構(gòu)的話，與RBMs的性能相當(dāng)，甚至更牛。另一個(gè)在隱層單元比輸入單元要多的情況下避免學(xué)習(xí)恒等函數(shù)的方式是對(duì)隱層code增加稀疏約束。

我們?cè)谶@里概括下Stacked Denoising Auto-Encoders的訓(xùn)練方法。對(duì)于一個(gè)輸入x，我們給它添加隨機(jī)的污染或者噪聲，然后訓(xùn)練讓降噪自動(dòng)編碼機(jī)學(xué)習(xí)重構(gòu)原始的輸入x。每個(gè)自動(dòng)編碼機(jī)的輸出都是一個(gè)碼矢h(x)。在這里和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一樣，h(x) = sigmoid(b + W x)。這里我們用C(x)表示x的一個(gè)隨機(jī)污染，我們讓C_i (x) = x_i或0，換句話說，就是我們隨機(jī)的在原來的x中挑選一個(gè)固定大小的子集，把他們?cè)O(shè)置為0。我們還可以添加椒鹽噪聲，隨機(jī)的選擇一定大小的子集，設(shè)置為Bernoulli(0.5)。

在實(shí)際的圖像中，對(duì)于特定像素i的像素輸入x_i和它的重構(gòu)像素x_ii都可以看成該像素的伯努利概率：該位置的像素被涂成黑色的概率。我們通過交叉熵來比較該像素位置i的原始輸入x_i和它的重構(gòu)像素x_ii的分布的相似性。然后需要對(duì)所有像素求和。另外，只有當(dāng)輸入和重構(gòu)的值都在[0,1]這個(gè)范圍的時(shí)候，伯努利分布才有意義。另外的選擇就是選擇高斯分布，這時(shí)候?qū)?yīng)的就是均方誤差規(guī)則了。

三、Maximizing the activation最大化激活值

第一個(gè)思想是很簡(jiǎn)單的：我們尋找使一個(gè)給定的隱層單元的激活值最大的輸入模式。因?yàn)榈谝粚拥拿恳粋€(gè)節(jié)點(diǎn)的激活函數(shù)都是輸入的線性函數(shù)，所以對(duì)第一層來說，它的輸入模式和濾波器本身是成比例的。

我們回顧下諾貝爾醫(yī)學(xué)獎(jiǎng)David Hubel和Torsten Wiesel的那個(gè)偉大的實(shí)驗(yàn)。他們發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞（Orientation Selective Cell）”的神經(jīng)元細(xì)胞。當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個(gè)邊緣指向某個(gè)方向時(shí)，這種神經(jīng)元細(xì)胞就會(huì)活躍。也就是說某個(gè)“特定方向神經(jīng)細(xì)胞”只對(duì)這個(gè)特定方向的圖像邊緣存在激勵(lì)或者興奮。通俗點(diǎn)說就是如果我這個(gè)神經(jīng)元是提取這個(gè)特征的，那么如果你這個(gè)圖像滿足這個(gè)特征（可以理解為和它很相似），那么神經(jīng)元的輸出就很大，會(huì)興奮。（有資料表明，人的大腦高層會(huì)存在“祖母細(xì)胞”，這類細(xì)胞的某一個(gè)細(xì)胞只對(duì)特定一個(gè)目標(biāo)興奮，例如你大腦里面有個(gè)能記憶你女朋友的細(xì)胞，然后一旦你女朋友出現(xiàn)在你面前，你這個(gè)細(xì)胞就會(huì)興奮，告訴大腦，啊，這個(gè)是我的女朋友！）我們?nèi)绻私膺^模板卷積，那么我們知道如果某個(gè)卷積模板與圖像中模塊越相似，那么響應(yīng)就越大。相反，如果某個(gè)圖像輸入使得這個(gè)神經(jīng)元輸出激勵(lì)值最大，那么我們就有理由相信，這個(gè)神經(jīng)元就是提取了和這個(gè)輸入差不多的特征。所以我們尋找可以使這個(gè)神經(jīng)元輸入最大的那個(gè)x就是我們可以可視化并且有意義的表達(dá)這個(gè)神經(jīng)元學(xué)習(xí)到的特征了。

用數(shù)學(xué)屬于來表述就是，一旦完成網(wǎng)絡(luò)訓(xùn)練后，參數(shù)W是確定的了，那么我們就可以尋找使得這個(gè)神經(jīng)元最大化的激活值對(duì)應(yīng)的x了，也就是：

但這個(gè)優(yōu)化問題通常是一個(gè)非凸優(yōu)化問題，也就是是存在很多局部最小值。最簡(jiǎn)單的方法就是通過梯度下降去尋找到一個(gè)局部最小值。這會(huì)出現(xiàn)兩種場(chǎng)景：一是從不同的隨機(jī)值初始化開始最后都迭代得到相同的最小值，二是得到兩個(gè)或者更多的局部最小值。不管是哪種情況，該神經(jīng)節(jié)點(diǎn)提取的特征都可以通過找到的一個(gè)或者多個(gè)最小值進(jìn)行描述。如果有多個(gè)最小值，那么可以尋找使激活值最大的或者將所有的進(jìn)行平均，或者把所有的都顯示出來。

四、Sampling from a unit of a Deep Belief Network從DBN的一個(gè)節(jié)點(diǎn)中采樣

我們這里用一個(gè)j層的Deep Belief Network來說明。這里層j和層j-1構(gòu)成一個(gè)RBM，我們可以通過塊Gibbs采樣方法來對(duì)分布p(h_j?1|h_j )和p(h_j |h_j?1)進(jìn)行連續(xù)采樣（這里h_j表示層j的所有的二值節(jié)點(diǎn)構(gòu)成的向量）。在這個(gè)馬爾科夫鏈中，我們限制一個(gè)節(jié)點(diǎn)h_ij為1，其他節(jié)點(diǎn)都是0。然后在DBN中，我們從層j-1一直執(zhí)行top-down采樣一直到輸入層。這樣就會(huì)產(chǎn)生一個(gè)分布p_j(x|h_ij=1)。也就是說我們用分布p_j(x|h_ij=1)來描述h_ij，和第三部分相似，我們可以通過從這個(gè)分布生成或者采樣足夠多的樣本來描述這個(gè)隱層節(jié)點(diǎn)或者通過計(jì)算期望E[x|h_ij=1]來概括這個(gè)信息。這個(gè)方法只有一個(gè)參數(shù)需要確定，也就是我們要采樣多少個(gè)樣本來估計(jì)這個(gè)期望值。

在最大化激活值和計(jì)算期望E[x|h_ij=1]兩種方法之間是存在一個(gè)非常微妙的聯(lián)系的。由條件期望的定義我們可以知道：

我們考慮一個(gè)極端的情況，就是這個(gè)分布全部集中在x⁺這一個(gè)點(diǎn)，這時(shí)候p_j(x|h_ij=1)約等于δ_x+ (x)。所以其期望E[x|h_ij=1]=x⁺。

事實(shí)上，我們觀測(cè)到的是，盡管采樣得到的樣本或者它們的平均可能看起來很像訓(xùn)練樣本，但是由激活值最大化獲得的圖像反而看起來更像圖像的部分。所以后者可能更能準(zhǔn)確的表達(dá)一個(gè)特定的節(jié)點(diǎn)做了什么。

五、Linear combination of previous layers’ filters上層濾波器的線性組合

Lee等（2008）在他們的論文中展示了一種可視化第二層隱層的節(jié)點(diǎn)的特征的方法。他們是基于一個(gè)神經(jīng)元節(jié)點(diǎn)可以由和其強(qiáng)連接的上一層的濾波器的組合來描述的假設(shè)的。該層的某個(gè)節(jié)點(diǎn)的可視化可以通過上一層濾波器的線性加權(quán)得到，每個(gè)濾波器的權(quán)值就是該濾波器與這個(gè)節(jié)點(diǎn)之間的連接權(quán)值。

他們用自然圖像訓(xùn)練了一個(gè)具有激活值稀疏約束的DBNs，然后用這種方法顯示它在第二層學(xué)習(xí)到的是一個(gè)角的檢測(cè)器。Lee拓展了這個(gè)方法去可視化第三層學(xué)習(xí)到的東西：通過簡(jiǎn)單對(duì)第二層的濾波器進(jìn)行加權(quán)，權(quán)值是第二層濾波器到第三層該節(jié)點(diǎn)的連接權(quán)值，而且選擇的是最大的那個(gè)權(quán)值。

這種方法是簡(jiǎn)單而有效的。但是它的一個(gè)缺點(diǎn)就是，對(duì)在每一層如何自動(dòng)的選擇合適的濾波器個(gè)數(shù)沒有一個(gè)清晰的準(zhǔn)則。另外，如果只是選擇少有的幾個(gè)與第一次連接最強(qiáng)的濾波器的話，我們有可能得到的是失望的毫無意思的混雜圖像，這是因?yàn)樯厦孢@種方法本質(zhì)上忽略了上一層其他沒有被選擇的濾波器。另一方面，這種方法還忽略了層間的非線性，這種非線性在模型中確是非常重要的一部分。

但值得注意的是，實(shí)際上最大化一個(gè)節(jié)點(diǎn)的激活值的梯度更新方法與線性加權(quán)組合之前也存在微妙的聯(lián)系。例如，對(duì)于第2層的第i個(gè)節(jié)點(diǎn)h_i2= v’ sigmoid(W x)，這里v是該節(jié)點(diǎn)的權(quán)值，W是第一層的權(quán)值矩陣。然后?h_i2/?x = v’diag(sigmoid(W x)?(1?sigmoid(W x)))W。這里*是逐元素相乘。diag是一個(gè)從一個(gè)向量創(chuàng)建一個(gè)對(duì)角矩陣的算子。1是個(gè)全一向量。如果第一層的節(jié)點(diǎn)沒有飽和saturate，那么?h_i2/?x就會(huì)大體的指向v’W的方向，可以用v_i中的元素的絕對(duì)值的最大的那個(gè)來近似。（我也還沒懂）

六、實(shí)驗(yàn)

6.1、Data and setup

我們?cè)贛INST手寫體數(shù)據(jù)庫和自然圖像數(shù)據(jù)庫中分別訓(xùn)練DBN和DSAE兩種模型。然后再用三種方法來可視化其中一些層的一些節(jié)點(diǎn)所提取到的特征。

6.2、Activation Maximization

在MNIST手寫體數(shù)據(jù)庫中用Activation maximization得到的可視化效果。左：分別是第一層（第一列）、第二層（第二列）和第三層（第三列）的36個(gè)節(jié)點(diǎn)所提取的特征，然后第一行是DBN訓(xùn)練得到的，第二行是SDAE訓(xùn)練得到的。右：對(duì)于DBN的第三層的一個(gè)節(jié)點(diǎn)，然后從9個(gè)隨機(jī)初始化的值開始迭代，都可以得到同一個(gè)結(jié)果。

一般來說，在第三層的激活函數(shù)應(yīng)該是一個(gè)關(guān)于它的輸入的高度非凸的函數(shù)，但是不知道是我們一直很幸運(yùn)還是說恰好我們?cè)贛NIST或者自然圖像中訓(xùn)練網(wǎng)絡(luò)是一種很特殊的情況，我們驚喜的發(fā)現(xiàn)，這些節(jié)點(diǎn)的激活函數(shù)既然還是趨向于更加的“單峰化”。

6.3、Sampling a unit

左：從MNIST數(shù)據(jù)庫中訓(xùn)練DBN得到的，然后采樣得到第二層的其中6個(gè)節(jié)點(diǎn)的可視化效果。右：從自然圖像中訓(xùn)練的。每一行的樣本是每一個(gè)節(jié)點(diǎn)的分布采樣得到的，然后每行的均值在第一列。

值得注意的是，采樣法和激活值最大化方法的結(jié)果不同，采樣得到的（或者說分布生成的）樣本更有可能是訓(xùn)練樣本（數(shù)字或者patches）的潛在分布。激活值最大化方法是產(chǎn)生很多特征，然后要我們?nèi)Q定哪些樣本會(huì)匹配或者符合這些特征；采樣方法是產(chǎn)生很多樣本，然后由我們決定這些樣本存在哪些共同的特征。從這個(gè)層面上面講，這兩種方法是互補(bǔ)的。

6.4、Comparison of methods

在這里，我們對(duì)比可視化的三種方法：激活最大化、采樣和線性組合法。

我們這里展示了三種方法：左：采樣；中：上次濾波器的線性組合；右：最大化節(jié)點(diǎn)激活值。在MINST數(shù)據(jù)庫（top）和自然圖像（down）上訓(xùn)練DBN模型。然后可視化第二層的36個(gè)節(jié)點(diǎn)。

在這三種方法中，線性組合方法是以前提出來的，其他兩種是我們以現(xiàn)有的知識(shí)嗎，集當(dāng)前的智慧得到的。

?????? 附：原論文中，提到了更多的內(nèi)容，深入了解請(qǐng)參考原論文。另外，自己還沒來得及去實(shí)現(xiàn)一些，等以后可以了再放上來和大家交流下。也希望大家已經(jīng)實(shí)現(xiàn)了的也可以共享下，謝謝。

總結(jié)

以上是生活随笔為你收集整理的AI：IPPR的数学表示-CNN可视化语义分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。