昨天聽室友問起DNN與CNN的區(qū)別，感覺自己不太了解，所在在網(wǎng)上搜了一些資料，這篇博客主要是根據(jù)知乎上的回答，加上自己的理解整理出來的。

廣義上來說，NN（或是DNN）確實可以認(rèn)為包含了CNN、RNN這些具體的變種形式。在實際應(yīng)用中，所謂的深度神經(jīng)網(wǎng)絡(luò)DNN，往往融合了多種已知的結(jié)構(gòu)，包括卷積層或是LSTM單元。但是從狹義上來說，單獨的DNN、CNN、RNN及LSTM也可以對比。

DNN(深度神經(jīng)網(wǎng)絡(luò))

神經(jīng)網(wǎng)絡(luò)是基于感知機(jī)的擴(kuò)展，而DNN可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)DNN其實也是指的一個東西，DNN有時也叫做多層感知機(jī)（Multi-Layer perceptron,MLP）。

DNN存在的局限：

• 參數(shù)數(shù)量膨脹。由于DNN采用的是全連接的形式，結(jié)構(gòu)中的連接帶來了數(shù)量級的權(quán)值參數(shù)，這不僅容易導(dǎo)致過擬合，也容易造成陷入局部最優(yōu)。

• 局部最優(yōu)。隨著神經(jīng)網(wǎng)絡(luò)的加深，優(yōu)化函數(shù)更容易陷入局部最優(yōu)，且偏離真正的全局最優(yōu)，對于有限的訓(xùn)練數(shù)據(jù)，性能甚至不如淺層網(wǎng)絡(luò)。

• 梯度消失。使用sigmoid激活函數(shù)（傳遞函數(shù)），在BP反向傳播梯度時，梯度會衰減，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，衰減累積下，到底層時梯度基本為0。

• 無法對時間序列上的變化進(jìn)行建模。對于樣本的時間順序?qū)τ谧匀徽Z言處理、語音識別、手寫體識別等應(yīng)用非常重要。

DNN的基本介紹可參考：

深度神經(jīng)網(wǎng)絡(luò)（DNN）模型與前向傳播算法

神經(jīng)網(wǎng)絡(luò)入門：深層學(xué)習(xí)為何要“Deep”（上）

前饋神經(jīng)網(wǎng)絡(luò)引入的先驗知識：并行、迭代；深層學(xué)習(xí)為何要“Deep”（下）較難懂，建議先看完公開課再看該篇文章。

---

CNN(卷積神經(jīng)網(wǎng)絡(luò))

主要針對DNN存在的參數(shù)數(shù)量膨脹問題，對于CNN，并不是所有的上下層神經(jīng)元都能直接相連，而是通過“卷積核”作為中介。同一個卷積核在多有圖像內(nèi)是共享的，圖像通過卷積操作仍能保留原先的位置關(guān)系。

CNN之所以適合圖像識別，正式因為CNN模型限制參數(shù)個數(shù)并挖掘局部結(jié)構(gòu)的這個特點。

CNN相關(guān)知識可參考：

CNN相關(guān)知識總結(jié)

YJango的卷積神經(jīng)網(wǎng)絡(luò)——介紹

---

RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))

針對CNN中無法對時間序列上的變化進(jìn)行建模的局限，為了適應(yīng)對時序數(shù)據(jù)的處理，出現(xiàn)了RNN。

在普通的全連接網(wǎng)絡(luò)或者CNN中，每層神經(jīng)元的信號只能向上一層傳播，樣本的處理在各個時刻獨立（這種就是前饋神經(jīng)網(wǎng)絡(luò)）。而在RNN中，神經(jīng)元的輸出可以在下一個時間戳直接作用到自身。

（t+1）時刻網(wǎng)絡(luò)的最終結(jié)果O(t+1)是該時刻輸入和所有歷史共同作用的結(jié)果，這就達(dá)到了對時間序列建模的目的。

存在的問題：RNN可以看成一個在時間上傳遞的神經(jīng)網(wǎng)絡(luò)，它的深度是時間的長度，而梯度消失的現(xiàn)象出現(xiàn)時間軸上。

RNN相關(guān)知識可參考：

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型與前向反向傳播算法

YJango的循環(huán)神經(jīng)網(wǎng)絡(luò)——介紹

---

LSTM(長短時記憶單元)

為了解決RNN中時間上的梯度消失，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展出了長短時記憶單元LSTM，通過門的開關(guān)實現(xiàn)時間上記憶功能，并防止梯度消失。

參考：

[譯] 理解 LSTM(Long Short-Term Memory, LSTM) 網(wǎng)絡(luò)

探索LSTM：基本概念到內(nèi)部結(jié)構(gòu)

---

擴(kuò)展

深度神經(jīng)網(wǎng)絡(luò)中的梯度不穩(wěn)定性，前面層中的梯度或會消失，或會爆炸。前面層上的梯度是來自于后面層上梯度的乘乘積。當(dāng)存在過多的層次時，就出現(xiàn)了內(nèi)在本質(zhì)上的不穩(wěn)定場景，如梯度消失和梯度爆炸。

• 梯度爆炸（exploding gradient）：梯度爆炸就是由于初始化權(quán)值過大，前面層會比后面層變化的更快，就會導(dǎo)致權(quán)值越來越大，梯度爆炸的現(xiàn)象就發(fā)生了。

  在深層網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)中，誤差梯度可在更新中累積，變成非常大的梯度，然后導(dǎo)致網(wǎng)絡(luò)權(quán)重的大幅更新，并因此使網(wǎng)絡(luò)變得不穩(wěn)定。在極端情況下，權(quán)重的值變得非常大，以至于溢出，導(dǎo)致 NaN 值。

  網(wǎng)絡(luò)層之間的梯度（值大于 1.0）重復(fù)相乘導(dǎo)致的指數(shù)級增長會產(chǎn)生梯度爆炸。

  解決梯度爆炸的方法參考：詳解梯度爆炸和梯度消失

• 梯度消失（vanishing gradient）：前面的層比后面的層梯度變化更小，故變化更慢，從而引起了梯度消失問題。

  因為通常神經(jīng)網(wǎng)絡(luò)所用的激活函數(shù)是sigmoid函數(shù)，這個函數(shù)有個特點，就是能將負(fù)無窮到正無窮的數(shù)映射到0和1之間，并且對這個函數(shù)求導(dǎo)的結(jié)果是f′(x)=f(x)(1?f(x))。因此兩個0到1之間的數(shù)相乘，得到的結(jié)果就會變得很小了。神經(jīng)網(wǎng)絡(luò)的反向傳播是逐層對函數(shù)偏導(dǎo)相乘，因此當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)非常深的時候，最后一層產(chǎn)生的偏差就因為乘了很多的小于1的數(shù)而越來越小，最終就會變?yōu)?，從而導(dǎo)致層數(shù)比較淺的權(quán)重沒有更新，這就是梯度消失。

因為sigmoid導(dǎo)數(shù)最大為1/4，故只有當(dāng)abs(w)>4時梯度爆炸才可能出現(xiàn)。深度學(xué)習(xí)中最普遍發(fā)生的是梯度消失問題。

解決方法：使用ReLU,maxout等替代sigmoid。

ReLU與sigmoid的區(qū)別：（1）sigmoid函數(shù)值在[0,1],ReLU函數(shù)值在[0,+無窮]，所以sigmoid函數(shù)可以描述概率，ReLU適合用來描述實數(shù)；（2）sigmoid函數(shù)的梯度隨著x的增大或減小和消失，而ReLU不會。

---

參考：

CNN(卷積神經(jīng)網(wǎng)絡(luò))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))、DNN(深度神經(jīng)網(wǎng)絡(luò))…

機(jī)器學(xué)習(xí)總結(jié)（九）：梯度消失（vanishing gradient）與梯度爆炸（exploding gradient）問題

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的DNN、CNN、RNN、LSTM的区别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。