概述

作者觀察到目前的深度網絡有一個重要的特點是shorted connected，認為能夠訓練極深的網絡很可能就是由于這個原因。 于是作者提出了Densely connected convolutional network， 該網絡和ResNet類似，采用了短路鏈接。但是不同的是，在接收前層的feature maps時，ResNet采用了summation，而DenseNet采用的則是concated layer。作者認為這一小的改變影響了網絡的feature reuse 方式。 Dense 體現在任何一層都能訪問到前面各層的feature maps， 而且，任何一層的輸入都能到達后續的各層（盡管Dense Block間需要經過transition layer(1*1的卷積+2*2的average pooling)訪問）。

網絡結構

一個Dense Patch 的結構：

整個網絡的結構：

其中，DenseNet 包含3個Dense Blocks, Dense Block內部的每一個節點代表BN+ReLU+CONV，每個卷積層都是3*3*m的filter, 其中m 被稱為growth rate. 若每個Dense Block有12層，輸入到該block的feature map數為16，m=12, 則第一個Dense Block所有輸出的concat起來的feature map 數是 16+12*12=160，transition layer是一個1*1的卷積，num_out 數保持和輸入一致。這樣，第二、三個的輸出feature map 數分別是 160+12*12=304, 304+12*12=448.

若建立一個40層的DenseNet，除去第一個卷積層，兩個transition layers, 1個Innerproduct layer, 每個Block的層數是(40-4)/3=12. 文中還提到100層的，則Block中的層數是(100-4)/3=32。

Experiments

在Cifar 10, Cifar 100, cifar 10+,cifar 100+, SVHN上取得了很好的效果。
從Accuracy, Capacity, Parameter effectiveness, Overfitting 四個方面進行說明。
首先Accuracy說DenseNet超過了state-of-art methods—–>之后Capacity說隨著深度和growth rate的增加，效果也有提升——> 再者Parameter effectiveness說跟其他算法比相似參數效果較好—–> 最后，說因為參數少，所以不易過擬合。

分析

這篇文章最吸引我的是如何通過實驗對該網絡結構進行分析。
三個方面:parameter effectiveness（與ResNet相比能更有效的利用parameters, 說達到相同的accuray, 只需要ResNet大約一半的parameters）—-> implicity supervision（和DSN相比）—–>feature reuse（驗證兩方面：一是是不是后面的層都能用到前面各層的輸出，二是使用前m層的feature map是不是足夠的。用每層的每個channel上的filter的L2 norm表示對之前層的reuse程度。）.

總結

以上是生活随笔為你收集整理的论文阅读：DENSELY CONNECTED CONVOLUTIONAL NETWORKS的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。