概述

作者觀察到目前的深度網(wǎng)絡(luò)有一個(gè)重要的特點(diǎn)是shorted connected，認(rèn)為能夠訓(xùn)練極深的網(wǎng)絡(luò)很可能就是由于這個(gè)原因。 于是作者提出了Densely connected convolutional network， 該網(wǎng)絡(luò)和ResNet類似，采用了短路鏈接。但是不同的是，在接收前層的feature maps時(shí)，ResNet采用了summation，而DenseNet采用的則是concated layer。作者認(rèn)為這一小的改變影響了網(wǎng)絡(luò)的feature reuse 方式。 Dense 體現(xiàn)在任何一層都能訪問到前面各層的feature maps， 而且，任何一層的輸入都能到達(dá)后續(xù)的各層（盡管Dense Block間需要經(jīng)過transition layer(1*1的卷積+2*2的average pooling)訪問）。

網(wǎng)絡(luò)結(jié)構(gòu)

一個(gè)Dense Patch 的結(jié)構(gòu)：

整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)：

其中，DenseNet 包含3個(gè)Dense Blocks, Dense Block內(nèi)部的每一個(gè)節(jié)點(diǎn)代表BN+ReLU+CONV，每個(gè)卷積層都是3*3*m的filter, 其中m 被稱為growth rate. 若每個(gè)Dense Block有12層，輸入到該block的feature map數(shù)為16，m=12, 則第一個(gè)Dense Block所有輸出的concat起來的feature map 數(shù)是 16+12*12=160，transition layer是一個(gè)1*1的卷積，num_out 數(shù)保持和輸入一致。這樣，第二、三個(gè)的輸出feature map 數(shù)分別是 160+12*12=304, 304+12*12=448.

若建立一個(gè)40層的DenseNet，除去第一個(gè)卷積層，兩個(gè)transition layers, 1個(gè)Innerproduct layer, 每個(gè)Block的層數(shù)是(40-4)/3=12. 文中還提到100層的，則Block中的層數(shù)是(100-4)/3=32。

Experiments

在Cifar 10, Cifar 100, cifar 10+,cifar 100+, SVHN上取得了很好的效果。
從Accuracy, Capacity, Parameter effectiveness, Overfitting 四個(gè)方面進(jìn)行說明。
首先Accuracy說DenseNet超過了state-of-art methods—–>之后Capacity說隨著深度和growth rate的增加，效果也有提升——> 再者Parameter effectiveness說跟其他算法比相似參數(shù)效果較好—–> 最后，說因?yàn)閰?shù)少，所以不易過擬合。

分析

這篇文章最吸引我的是如何通過實(shí)驗(yàn)對該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析。
三個(gè)方面:parameter effectiveness（與ResNet相比能更有效的利用parameters, 說達(dá)到相同的accuray, 只需要ResNet大約一半的parameters）—-> implicity supervision（和DSN相比）—–>feature reuse（驗(yàn)證兩方面：一是是不是后面的層都能用到前面各層的輸出，二是使用前m層的feature map是不是足夠的。用每層的每個(gè)channel上的filter的L2 norm表示對之前層的reuse程度。）.

總結(jié)

以上是生活随笔為你收集整理的论文阅读：DENSELY CONNECTED CONVOLUTIONAL NETWORKS的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。