可視化自編碼器訓(xùn)練結(jié)果

From Ufldl

Jump to: navigation, search

訓(xùn)練完（稀疏）自編碼器，我們還想把這自編碼器學(xué)到的函數(shù)可視化出來，好弄明白它到底學(xué)到了什么。我們以在10×10圖像（即n=100）上訓(xùn)練自編碼器為例。在該自編碼器中，每個隱藏單元i對如下關(guān)于輸入的函數(shù)進(jìn)行計(jì)算：

我們將要可視化的函數(shù)，就是上面這個以2D圖像為輸入、并由隱藏單元i計(jì)算出來的函數(shù)。它是依賴于參數(shù)的（暫時忽略偏置項(xiàng)b_i）。需要注意的是，可看作輸入的非線性特征。不過還有個問題：什么樣的輸入圖像可讓得到最大程度的激勵？（通俗一點(diǎn)說，隱藏單元要找個什么樣的特征？）。這里我們必須給加約束，否則會得到平凡解。若假設(shè)輸入有范數(shù)約束，則可證（請讀者自行推導(dǎo)）令隱藏單元得到最大激勵的輸入應(yīng)由下面公式計(jì)算的像素給出（共需計(jì)算100個像素，j=1,…,100）：

當(dāng)我們用上式算出各像素的值、把它們組成一幅圖像、并將圖像呈現(xiàn)在我們面前之時，隱藏單元所追尋特征的真正含義也漸漸明朗起來。

假如我們訓(xùn)練的自編碼器有100個隱藏單元，可視化結(jié)果就會包含100幅這樣的圖像——每個隱藏單元都對應(yīng)一幅圖像。審視這100幅圖像，我們可以試著體會這些隱藏單元學(xué)出來的整體效果是什么樣的。

當(dāng)我們對稀疏自編碼器（100個隱藏單元，在10X10像素的輸入上訓(xùn)練 ）進(jìn)行上述可視化處理之后，結(jié)果如下所示：

上圖的每個小方塊都給出了一個（帶有有界范數(shù) 的）輸入圖像，它可使這100個隱藏單元中的某一個獲得最大激勵。我們可以看到，不同的隱藏單元學(xué)會了在圖像的不同位置和方向進(jìn)行邊緣檢測。

顯而易見，這些特征對物體識別等計(jì)算機(jī)視覺任務(wù)是十分有用的。若將其用于其他輸入域（如音頻），該算法也可學(xué)到對這些輸入域有用的表示或特征。

總結(jié)

以上是生活随笔為你收集整理的可视化自编码器训练结果的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。