引言

在分辨率大，分割目標(biāo)尺度范圍廣的語句分割任務(wù)中，長距離的上下文信息以及不同尺度的信息對(duì)于分割結(jié)果十分重要。所以為了增大卷積但感受野，常常對(duì)提取的feature map進(jìn)行池化以達(dá)到感受野增大的效果，同時(shí)通過跳躍連接來結(jié)合多尺度的信息。

存在的問題

由于池化是一種直接粗暴的方式，所以每一次池化后都會(huì)犧牲空間分辨率，多次池化后可能造成信息丟失而影響分割效果

提出的方法

論文地址

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8578486&tag=1?ieeexplore.ieee.org

空洞卷積的出現(xiàn)就是為了解決在提升感受野的同時(shí)不損失信息，ASPP將不同空洞率的空洞卷積平行或者級(jí)聯(lián)堆疊來獲取多尺度的信息增益。

但是ASPP同樣存在問題，空洞卷積因?yàn)槠錂C(jī)制每次計(jì)算只選取少量的像素點(diǎn)，采樣并不密集，大量信息被拋棄；當(dāng)空洞率增加到一定程度(如dilation_rate>24)，空洞卷積變得不那么有效甚至沒有效果。

所以deepmotion就提出了DenseASPP，將DenseNet中的密集連接思想應(yīng)用到了ASPP中，其結(jié)構(gòu)如下圖

更直觀一點(diǎn)

每一層空洞卷積層的輸入都是 前面所有卷積層的輸出和輸入的feature map的拼接

空洞卷積的卷積核大小計(jì)算公式如下

,其中K為原始卷積核大小，d為空洞率

兩個(gè)卷積疊加后的卷積核大小計(jì)算公式如下

簡單起見，討論一維的情況

ASPP中，采樣點(diǎn)數(shù)為3，其感受野

DenseASPP中，空洞率d=6的卷積層的輸入是feature map和d=3的輸出

采樣點(diǎn)數(shù)為7，其感受野

從上面看出增加了密集連接后，采樣點(diǎn)數(shù)增加了，感受野也增加了。

思考

通過不同空洞率的空洞卷積來獲取不同尺度的特征，那么怎么選取不同的空洞率的組合呢？

根據(jù)paper中設(shè)置，組合 3,6,12,18,24 五個(gè)數(shù)字，最后使感受野接近feature map 的大小。

For example, the resolution of Cityscapes [4] is 2048×1024, and the last feature map of our segmentation network is 256 × 128. DenseASPP(6, 12, 18, 24) covers a feature map size of 122,and DenseASPP(3, 6, 12, 18, 24) covers a larger feature map size of 128.

文中的feature map大小為256*128，使用（6,12,18,24）的組合最后的感受野為

文中是122，可能是個(gè)計(jì)算失誤，因?yàn)樽髡呦胍獧z測(cè)大尺寸的物，所以讓感受野達(dá)到半張圖的大小，但是我們有時(shí)候不需要那么大感受野，就可以選擇適合自己的組合。

總結(jié)

以上是生活随笔為你收集整理的空间金字塔池化_回顾语义分割—DenseASPP （密集空洞空间金字塔池化）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。