深度學(xué)習(xí)之卷積神經(jīng)網(wǎng)絡(luò)（5）表示學(xué)習(xí)

?我們已經(jīng)介紹完卷積神經(jīng)網(wǎng)絡(luò)層的工作原理與實(shí)現(xiàn)方法，復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)模型也是基于卷積層的堆疊構(gòu)成的。在過去的一段時(shí)間內(nèi)，研究人員發(fā)現(xiàn)網(wǎng)絡(luò)層數(shù)越深，模型的表達(dá)能力越強(qiáng)，也就越有可能取得更好的性能。那么層層堆疊的卷積網(wǎng)絡(luò)到底學(xué)到了什么特征，使得層數(shù)越深，網(wǎng)絡(luò)的表達(dá)能力越強(qiáng)呢？

?2014年，Matthew D.Zeiler等人嘗試?yán)每梢暬姆椒ㄈダ斫饩矸e神經(jīng)網(wǎng)絡(luò)到底學(xué)到了什么。通過將每層的特征利用“反卷積”網(wǎng)絡(luò)（Deconvolutional Network）映射回輸入圖片，即可查看學(xué)到的特征分布，如下圖所示。可以觀察到，第二層的特征對(duì)應(yīng)到邊、角、色彩等底層圖像提取; 第三層開始捕獲到紋理這些中層特征; 第四、第五層呈現(xiàn)了物體的部分特征，如小狗的臉部、鳥類的腳步等高層特征。通過這些可視化的手段，我們可以一定程度上感受神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)過程。

卷積神經(jīng)網(wǎng)絡(luò)特征可視化

?圖片數(shù)據(jù)的識(shí)別過程一般認(rèn)為也是表示學(xué)習(xí)（Represent-ation Learning）的過程，從接受到的原始像素特征開始，逐漸提取邊緣、角點(diǎn)等底層特征，再到紋理等中層特征，再到頭部、物體部件等高層特征，最后的網(wǎng)絡(luò)層基于這些學(xué)習(xí)到的抽象特征表示（Representation）做邏輯分類的學(xué)習(xí)。學(xué)習(xí)到的特征越高層、越準(zhǔn)確，就越利于分類器的分類，從而獲得較好的性能。從表示學(xué)習(xí)的角度來理解，卷積神經(jīng)網(wǎng)絡(luò)通過層層堆疊來逐層提取特征，網(wǎng)絡(luò)訓(xùn)練的過程可以看成特征的學(xué)習(xí)過程，基于學(xué)習(xí)到高層的特征可以方便地進(jìn)行分類任務(wù)。

?應(yīng)用表示學(xué)習(xí)的思想，訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)往往能學(xué)習(xí)到較好的特征，這種特征的提取方法一般是通用的。比如在貓、狗任務(wù)上學(xué)習(xí)到頭、腳、身軀等特征的表示，在其它動(dòng)物上也能夠一定程度上使用。基于這種思想，可以將在任務(wù)A上訓(xùn)練好的深層神經(jīng)網(wǎng)絡(luò)的前面數(shù)個(gè)特征提取層遷移到任務(wù)B上，只需要訓(xùn)練任務(wù)B的分類邏輯（表現(xiàn)為網(wǎng)絡(luò)的最末數(shù)層），即可取得非常好的效果，這種方式是遷移學(xué)習(xí)的一種，從神經(jīng)網(wǎng)絡(luò)角度也稱為網(wǎng)絡(luò)微調(diào)（Fine-tuning）。

總結(jié)

以上是生活随笔為你收集整理的深度学习之卷积神经网络（5）表示学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。