作者：Tom Hardy
Date：2020-02-01
來(lái)源：MSFNet:多重空間融合網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)語(yǔ)義分割（北航和曠視聯(lián)合提出）

原文鏈接：https://arxiv.org/abs/1911.07217

主要內(nèi)容

實(shí)時(shí)語(yǔ)義分割是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)樾枰瑫r(shí)考慮效率和性能，其在自動(dòng)駕駛、機(jī)器人等工業(yè)應(yīng)用中發(fā)揮著重要的作用。針對(duì)這一復(fù)雜的任務(wù)，論文提出了一種高效的卷積網(wǎng)絡(luò)結(jié)構(gòu)：多重空間融合網(wǎng)絡(luò)（MSFNet）來(lái)完成快速和準(zhǔn)確的感知。MSFNet在多特征融合模塊的基礎(chǔ)上，利用類邊界監(jiān)督來(lái)處理相關(guān)的邊界信息，從而獲得空間信息，擴(kuò)大接收范圍。網(wǎng)絡(luò)最后對(duì)原始圖像1/8大小的特征圖進(jìn)行上采樣，在保持較高速度的同時(shí)，可以獲得良好的分割結(jié)果。網(wǎng)絡(luò)在Cityscapes和CAMVID數(shù)據(jù)集上的實(shí)驗(yàn)表明，與現(xiàn)有方法相比，所提出的方法具有明顯的優(yōu)勢(shì)。更為具體地，對(duì)于1024×2048輸入圖像，它以41 FPS的速度在Cityscapes測(cè)試數(shù)據(jù)集上達(dá)到77.1%的mean IOU，而在Camvid測(cè)試數(shù)據(jù)集上以91 FPS的速度達(dá)到75.4%的mean IOU。

創(chuàng)新和改進(jìn)點(diǎn)

1、論文提出了一種新的多特征融合模塊（MFM），利用精心設(shè)計(jì)的空間感知池（SAP），在保持較小計(jì)算開(kāi)銷的同時(shí)，擴(kuò)大接收范圍，恢復(fù)空間信息的丟失

2、為了解決邊緣相關(guān)空間信息的丟失問(wèn)題，論文提出了一種新的類邊界監(jiān)控方法。

3、現(xiàn)有的分割方法主要集中在提高精度上，但是低延時(shí)實(shí)現(xiàn)實(shí)時(shí)性能是實(shí)際應(yīng)用中最關(guān)鍵的問(wèn)題，MSFNet主要針對(duì)速度進(jìn)行改進(jìn)。

4、在兩個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，論文提出的方法在精度和推理時(shí)間上都優(yōu)于大多數(shù)state-of-the-art方法。

網(wǎng)絡(luò)結(jié)構(gòu)

先前的大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)降低輸入分辨率來(lái)加快推理速度，但這會(huì)嚴(yán)重丟失空間信息，尤其是和邊緣相關(guān)的信息；還有一些方法通過(guò)減少通道來(lái)降低計(jì)算成本，但這會(huì)導(dǎo)致網(wǎng)絡(luò)的精度急劇下降；除此之外，還有一些輕量級(jí)的淺層網(wǎng)絡(luò)，但這些網(wǎng)絡(luò)有明顯的缺陷，因?yàn)樗鼈兺ǔＬ珳\而無(wú)法獲得足夠的感受野。基于上述的種種缺陷，MSFNet在結(jié)構(gòu)上做了相關(guān)改進(jìn)和優(yōu)化。

MSFNet網(wǎng)絡(luò)結(jié)構(gòu)

MSFNet的這種結(jié)構(gòu)擴(kuò)大了感受野并重新彌補(bǔ)空間信息損失，同時(shí)保持較小的計(jì)算成本。MSFNet中的兩個(gè)核心：MFM（多特征融合）和SAP（空間感知池化）。

針對(duì)SAP：

1、多分支pooling進(jìn)行處理，論文分支數(shù)設(shè)為5個(gè)pooling和1個(gè)unpooling。

2、輸出多尺度f(wàn)eature map

針對(duì)MFM：

1、將SAP模塊中具有相同分辨率的特征圖進(jìn)行聚合輸出，最后一個(gè)32x down經(jīng)過(guò)SAP處理后，產(chǎn)生6個(gè)尺度的feature map，其中，第3~5個(gè)feature map分別和前面4x down、8x down、16x down經(jīng)過(guò)SAP處理后與之對(duì)應(yīng)相同分辨率的feature map進(jìn)行concat。

2、使用3x3的深度可分離卷積進(jìn)行特征融合，由于聚合后通道數(shù)量很多，使用深度可分離卷積可以顯著降低成本。

類別邊緣信息監(jiān)督模塊：

為了恢復(fù)邊緣空間信息，進(jìn)一步提高分割效果，論文提出了兩個(gè)獨(dú)立的上采樣分支。在上采樣過(guò)程中，兩個(gè)上采樣分支不相互傳遞信息。在類別邊緣方面，利用Ground Truth邊界來(lái)監(jiān)督分割任務(wù)，使得網(wǎng)絡(luò)更加關(guān)注邊緣類別信息，降低像素級(jí)別的錯(cuò)分率。

最后將類別邊緣監(jiān)督信息和上分支feature map進(jìn)行concat，然后使用深度可分離卷積進(jìn)行特征融合，輸出最終分割結(jié)果。

網(wǎng)絡(luò)損失函數(shù)：

這里一共兩類損失函數(shù)，一個(gè)是基于邊緣信息的，一個(gè)是基于整體輸出的，兩類損失構(gòu)成最終的loss，并用一個(gè)超參數(shù)λ來(lái)平衡：

實(shí)驗(yàn)結(jié)果

論文給出的實(shí)驗(yàn)結(jié)果，綜合考慮速度和mIoU，MSFNet效果最佳！

上述內(nèi)容，如有侵犯版權(quán)，請(qǐng)聯(lián)系作者，會(huì)自行刪文。

重磅！3DCVer-學(xué)術(shù)交流群已成立

歡迎加入我們公眾號(hào)讀者群一起和同行交流，目前有3D視覺(jué)、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、CV入門(mén)、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺(jué)產(chǎn)品落地、視覺(jué)競(jìng)賽、車牌識(shí)別等微信群，請(qǐng)掃描下面微信號(hào)加群，備注：”研究方向+學(xué)校/公司+昵稱“，例如：”3D視覺(jué) + 上海交大 + 靜靜“。請(qǐng)按照格式備注，否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)去相關(guān)微信群。原創(chuàng)投稿也請(qǐng)聯(lián)系。

▲長(zhǎng)按加群或投稿

圈里有高質(zhì)量教程資料、可答疑解惑、助你高效解決問(wèn)題

總結(jié)

以上是生活随笔為你收集整理的concat特征融合_MSFNet:多重空间融合网络进行实时语义分割（北航和旷视联合提出）...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。