本文參考的論文?
Deep Residual Learning for Image Recognition?
Identity Mappings in Deep Residual Networks?
Inception-v4， Inception-ResNet and the Impact of Residual Connections on Learning?
Wide Residual Networks

**

Residual Learning

**?
近日，看了Kaiming He的殘差網(wǎng)絡(luò)，讓人有種煥然一新的感覺(jué)。Deep Residual Learning for Image Recognition是CVPR2016 Best Paper。Kaiming He在CVPR2009也獲得Best Paper， 相比大牛，簡(jiǎn)直自慚形穢。

1、問(wèn)題提出?
在構(gòu)造深度網(wǎng)絡(luò)的時(shí)候，人們遇到一個(gè)奇怪的現(xiàn)象，叫做網(wǎng)絡(luò)退化。所謂的網(wǎng)絡(luò)退化，是指在增加層數(shù)之后，網(wǎng)絡(luò)的表達(dá)能力增強(qiáng)，可是訓(xùn)練精度卻下降了。下圖表示了網(wǎng)絡(luò)退化。注意，這并不是overfit的原因，因?yàn)橛?xùn)練精度也隨網(wǎng)絡(luò)層數(shù)增加而降低。?
于是他提出如下的假設(shè)：如果增加的層能夠構(gòu)建與上一層一樣的輸出，那么該增加一層的網(wǎng)絡(luò)訓(xùn)練精度應(yīng)該大于等于原來(lái)的網(wǎng)絡(luò)的訓(xùn)練精度。簡(jiǎn)單的疊加網(wǎng)絡(luò)可能學(xué)習(xí)重構(gòu)（identity mapping）有一定困難。那么如果我們讓網(wǎng)絡(luò)學(xué)習(xí)殘差會(huì)如何呢？?

2、殘差模型?
Residual Network的基本結(jié)構(gòu)如下圖?
?
在此模型中，由于x直接連接到下一層，沒(méi)有任何參數(shù)，即網(wǎng)絡(luò)學(xué)習(xí)到的是F(x)。

3、實(shí)驗(yàn)結(jié)果?
由下圖可見(jiàn)，殘差模型的訓(xùn)練和測(cè)試精度有有明顯的提升。?

在ImageNet上獲得了state-of-the-art結(jié)果。同時(shí)，在其他數(shù)據(jù)集以及檢測(cè)定位等實(shí)驗(yàn)中也取得了很好的效果。

4、結(jié)論?
1）深層殘差比淺層殘差好 （待商榷，因?yàn)橛幸黄猈ide Residual Networks）?
2）殘差比非殘差效果好?
3）殘差收斂快

5、個(gè)人感慨?
如此簡(jiǎn)單而又漂亮的結(jié)構(gòu)與假設(shè)，足夠獲得CVPR Best Paper了。能夠觀察出退化現(xiàn)象，并作出精妙的假設(shè)，厲害啊！跑這樣的實(shí)驗(yàn)，需要足夠的GPU，做夠的人去做?，F(xiàn)在的瓶頸貌似是硬件了。。。

**

Residual learning 后續(xù)—Identity Mapping in Deep Residual Networks

**?

改變了ReLU和BN的順序?
Conv->BN->ReLU ====>>>> BN->ReLU->Conv?
然后效果就又提升了。。。?
我不知道為什么，一定是實(shí)驗(yàn)做多了。

**

Residual learning 后續(xù)—Inception-v4 Inception-ResNet and the Impact of Residual Connections on Learning

**?
這篇文章將殘差用于Inception-v3，提出了Inception-v4模型，又取得了State-of-the-art result

**

Residual learning 后續(xù)—Wide Residual Networks

**?
在深度殘差模型中，可能只有一部分的residual block學(xué)到了有用的東西，而另一部分只是單純的復(fù)制input到output，因而可以減少層數(shù)。下圖是他做的改變?

他把kernel size變大（變寬），增加了dropout。實(shí)驗(yàn)結(jié)果達(dá)到了深度殘差的精度，而他最多只用了40層。因而也不能說(shuō)越深越好。

另一個(gè)值得關(guān)注的是他的計(jì)算速度比Kaiming He的速度快，這個(gè)是此網(wǎng)絡(luò)的另一重要優(yōu)勢(shì)。

總結(jié)

以上是生活随笔為你收集整理的Residual Learning的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。