PSPNet – Pyramid Scene Parsing Network
核心模塊是金字塔池化模塊( pyramid pooling module)，它能夠聚合不同區(qū)域的上下文信息,從而提高獲取全局信息的能力。實(shí)驗(yàn)表明這樣的先驗(yàn)表示(即指代PSP這個(gè)結(jié)構(gòu))是有效的，在多個(gè)數(shù)據(jù)集上展現(xiàn)了優(yōu)良的效果。

1.pyramid pooling module

該模塊融合了4種不同金字塔尺度的特征，第一行紅色是最粗糙的特征–全局池化生成單個(gè)bin輸出，后面三行是不同尺度的池化特征。為了保證全局特征的權(quán)重，如果金字塔共有N個(gè)級(jí)別，則在每個(gè)級(jí)別后使用1×1的卷積將對(duì)于級(jí)別通道降為原本的1/N。再通過(guò)雙線性插值獲得未池化前的大小，最終concat到一起。
金字塔等級(jí)的池化核大小是可以設(shè)定的，這與送到金字塔的輸入有關(guān)。論文中使用的4個(gè)等級(jí)，核大小分別為1×1，2×2，3×3，6×6

2.整體架構(gòu)
在PSP模塊的基礎(chǔ)上，PSPNet的整體架構(gòu)如下：

CNN是經(jīng)過(guò)預(yù)訓(xùn)練的模型(ResNet101)和空洞卷積策略，用來(lái)實(shí)現(xiàn)提取feature map,提取后的feature map是輸入的1/8大小
feature map經(jīng)過(guò)Pyramid Pooling Module得到融合的帶有整體信息的feature，在上采樣與池化前的feature map相concat
最后通過(guò)一個(gè)卷積層得到最終輸出。

3.輔助loss
在ResNet101的基礎(chǔ)上做了改進(jìn)，除了使用后面的softmax分類(lèi)做loss，額外的在第四階段添加了一個(gè)輔助的loss，兩個(gè)loss一起傳播，使用不同的權(quán)重，共同優(yōu)化參數(shù)。后續(xù)的實(shí)驗(yàn)證明這樣做有利于快速收斂。

4.在Cityscapes數(shù)據(jù)集的表現(xiàn)

5.結(jié)論
論文在結(jié)構(gòu)上提供了一個(gè)pyramid pooling module，在不同層次上融合feature,達(dá)到語(yǔ)義和細(xì)節(jié)的融合。

總結(jié)

以上是生活随笔為你收集整理的PSPNet介绍-语义分割的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。