深度學(xué)習(xí)之卷積神經(jīng)網(wǎng)絡(luò)（13）DenseNet

?Skip Connection的思想在ResNet上面獲得了巨大的成功，研究人員開始嘗試不同的Skip Connection方案，其中比較流行的就是DenseNet[1]。DenseNet將前面所有層的特征圖信息通過Skip Connection與當(dāng)前層輸出進(jìn)行聚合，與ResNet的對應(yīng)位置相加方式不同，DenseNet采用在通道軸$c$維度進(jìn)行拼接操作，聚合特征信息。

[1] G. Huang, Z. Liu 和 K. Q. Weinberger, “Densely Connected Convolutional Networks,” CoRR, 卷 abs/1608.06993, 2016.

?如下圖所示，輸入${\mathbf{X}}_0$通過${\text{H}}_1$卷積層得到輸出${\mathbf{X}}_1$，${\mathbf{X}}_1$與${\mathbf{X}}_0$在通道軸上進(jìn)行拼接，得到聚合后的特征張量，送入${\text{H}}_2$卷積層，得到輸出${\mathbf{X}}_2$，同樣的方法，${\mathbf{X}}_2$與前面所有層的特征信息${\mathbf{X}}_1$與${\mathbf{X}}_0$進(jìn)行聚合，再送入下一層。如此循環(huán)，直至最后一層的輸出${\mathbf{X}}_4$和前面所有層的特征信息$\{X_i{\}}_{i=0,1,2,3}$進(jìn)行聚合得到模塊的最終輸出。這樣一種基于Skip Connection稠密連接的模塊叫做Dense Block。

Dense Block結(jié)構(gòu)

?DenseNet通過堆疊多個Dense Block構(gòu)成復(fù)雜的深層神經(jīng)網(wǎng)絡(luò)，如下圖所示:

一個典型的DenseNet結(jié)構(gòu)

?下圖比較了不同版本的DenseNet的性能、DenseNet與ResNet的性能比較，以及DenseNet與ResNet訓(xùn)練曲線。

DenseNet與ResNet性能比較

總結(jié)

以上是生活随笔為你收集整理的深度学习之卷积神经网络（13）DenseNet的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。