鏈接

https://arxiv.org/abs/1412.6806

摘要

大多數執行目標檢測任務的卷積神經網絡架構基本都遵循 $(Laye{r}_{conv}?Laye{r}_{maxpooling})\times n+Laye{r}_{fullyconnection}\times m$ 這樣的架構，本文對目前從小圖片中進行目標檢測的幾種性能較好的網絡進行重新評估，提出了各種組件是否為必須組件這樣的提問。結果發現max-pooling層是可以通過 $stride>1$ 的卷積層來實現的，而且不會帶來精度的降低。據此提出了全卷積網絡。
為了分析網絡，還引入“反卷積方法”來把網絡特征可視化。

去掉Pooling層的思路

比方 $window=2$ 的Pooling層，直接去掉，然后在它前面的Conv層用 $stride=2$ 替代，結果是識別的準確率會稍微降低（為什么？）

用用 $size=3,stride=2$ 的Conv層替代 $window=3,stride=2$ 的Pooling層，不存在識別準確率降低的問題，但是會導致參數增加（可能會增加過擬合的可能？）注意：除非是參數矩陣 $\theta$ 有約束條件，否則用Conv層替換Pooling層會增加參數間的依賴（It is worth noting that replacing pooling by convolution adds inter-feature dependencies unless the weight matrix $\theta$ is constrained）

實驗的情況

一般來講，ALL_CNN_LAYERS的表現更為突出，就是上面提到的第二種情況

結論

一個只含有Conv層和Subsampling層的網絡性能和含有maxpooling層的網絡相比，可能差不多甚至更好；

和之前的觀察不一致的是，在網絡里顯式增加（最大）池化層并不總是提升性能，尤其是對于對于其訓練的數據集來說，用卷積層就能學到所有的必要的不變量的網絡。

可以借鑒的思路

在Tiny YoloV3里面的MaxPooling Layer里面用 $window=2,stride=2$ 的Conv層替換掉，看看效果（兩方面，一方面是準確率，另一方面是推理的時間有沒有增加）。

總結

以上是生活随笔為你收集整理的Striving For Simplicity-the All Convolutional Net 笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。