目錄

經(jīng)典網(wǎng)絡(luò)架構(gòu)：

（1）Alexnet：

?（2）Vgg：

（3）Resnet

---

經(jīng)典網(wǎng)絡(luò)架構(gòu)：

（1）Alexnet：

?12年的經(jīng)典之作，他是一個(gè)8層的網(wǎng)絡(luò)，有5層的卷積，3層的全連接，其中的LRN層后來(lái)被證明沒用，就不用去管他了。

?（2）Vgg：

14年的經(jīng)典之作，比12年的改進(jìn)了很多，右邊是vgg有很多不同的版本，紅色框起來(lái)的是比較主流的版本，Vgg所有的卷積都是3x3的(比較小)，都是細(xì)粒度進(jìn)行特征提取；

Vgg有16層和19層的版本，Vgg中每經(jīng)過一次pooling，會(huì)損失一部分特征信息，體積會(huì)變成原來(lái)的1/4，會(huì)損失信息，Vgg網(wǎng)絡(luò)在經(jīng)過pooling之后會(huì)損失信息，他會(huì)想辦法彌補(bǔ)回來(lái)，他會(huì)在下一次卷積過程當(dāng)中，使得特征圖翻倍，pooling前是64個(gè)特征圖，pooling后特征圖是128個(gè)特征圖，等等，使用特征圖個(gè)數(shù)翻倍來(lái)彌補(bǔ)長(zhǎng)寬的損失信息。

感受野：最終當(dāng)前一個(gè)點(diǎn)能夠感受到原始區(qū)域的一個(gè)大小，這叫做一個(gè)感受野。

（3）Resnet

?15年提出的，這個(gè)網(wǎng)絡(luò)基本的出發(fā)點(diǎn)就是有一個(gè)保底，我們的網(wǎng)絡(luò)學(xué)習(xí)完之后至少不會(huì)比原來(lái)的網(wǎng)絡(luò)差。

上一部分是之前遇到的問題，在Vgg上網(wǎng)絡(luò)層數(shù)越多，網(wǎng)絡(luò)結(jié)構(gòu)越深，但是error卻越大，所以增加層數(shù)的時(shí)候，后邊增加的層數(shù)學(xué)習(xí)的不好，影響了效果；為了解決這個(gè)問題，殘差網(wǎng)絡(luò)出現(xiàn)了，既要增加層數(shù)，也要保證學(xué)習(xí)的效果好一些。?

所以15年提出了同等映射，我希望加進(jìn)來(lái)一層，雖然你表現(xiàn)的不好，我不能給你剔除掉，但是你表現(xiàn)不好我讓你為0就好了，相當(dāng)于你加進(jìn)來(lái)我不用你，我知道你表現(xiàn)不好，我把你的權(quán)重參數(shù)設(shè)置為0，我不用你這一層。

Resnet效果：

?左邊是傳統(tǒng)網(wǎng)絡(luò)，層數(shù)越高他的error值越大；右邊是Resnet，層數(shù)越大比之前效果好了，所以說(shuō)有了殘差網(wǎng)絡(luò)，他相當(dāng)于把深度學(xué)習(xí)給救活了，神經(jīng)網(wǎng)絡(luò)的層數(shù)可以超過20層達(dá)到幾百層1千層都沒問題，不會(huì)比原來(lái)差但是提升也不大。

PS：所以以后大家在做一些實(shí)際的問題中，肯定要選擇不同的神經(jīng)網(wǎng)絡(luò)去做，建議首選是殘差網(wǎng)絡(luò)。

?

建議把這個(gè)網(wǎng)絡(luò)理解成特征提取，不建議把他當(dāng)做一個(gè)分類網(wǎng)絡(luò)，因?yàn)橐粋€(gè)問題他是分類還是回歸決定于的是損失函數(shù)還有最后的層是怎么連的，所以Resnet既然當(dāng)做一個(gè)特征提取，他能夠運(yùn)用到各種各樣的框架當(dāng)中，物體檢測(cè)的，物體追蹤的、分類的、檢索的、識(shí)別的、什么樣的任務(wù)都能用，他相當(dāng)于是一個(gè)通用的網(wǎng)絡(luò)結(jié)構(gòu)，能夠到101層(101層是比較常見的數(shù)值);

?

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络基础：（7）经典的网络架构的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。