RefineNet: Multi-Path Refinement Networks forHigh-Resolution Semantic Segmentation (2017) 論文筆記

文章的創(chuàng)新點(diǎn)在于decoder的方式，不同于U-Net在上采樣后直接和encoder的feature map進(jìn)行級(jí)聯(lián)，本文通過(guò)RefineNet進(jìn)行上采樣，把encoder產(chǎn)生的feature和上一階段decoder的輸出同時(shí)作為輸入，在RefineNet中進(jìn)行一系列卷積，融合，池化，使得多尺度特征的融合更加深入。另一創(chuàng)新點(diǎn)就是RefineNet模塊中的鏈?zhǔn)綒堄喑鼗?#xff0c;為了驗(yàn)證這個(gè)模塊的效果，作者做了對(duì)比實(shí)驗(yàn)，證明在加入該模塊后，分割效果確實(shí)變好了。

1. Abstract

• • 為了解決下采樣過(guò)程中導(dǎo)致的信息損失，論文提出了RefineNet,通過(guò)利用下采樣過(guò)程中能夠獲取到的所有信息。
  • 網(wǎng)絡(luò)組建使用了恒等映射的殘余連接。
  • 另外，論文還介紹了鏈?zhǔn)綒堄喑鼗?#xff08;chained residual pooling ），可以高效的獲取背景信息。
  • 在公共數(shù)據(jù)集（VOC 2012）中做了實(shí)驗(yàn)，實(shí)現(xiàn)了最佳效果

2. Introduction

反卷積不能恢復(fù)low-level的feature，deeplab使用空洞卷積來(lái)解決這一問(wèn)題。

但是空洞卷積有兩個(gè)問(wèn)題：

• • • 對(duì)高像素feature map的卷積會(huì)消耗算力，同時(shí)也需要大的GPU內(nèi)存，通常對(duì)于高像素的圖都會(huì)resize
    • 空洞卷積的特性決定了它會(huì)損失一些細(xì)節(jié)信息。

FCN等方法提出的特征融合雖然能夠保留低維和高維信息，但缺少了空間信息？

本文的貢獻(xiàn)：

• • • 提出了RefineNet,它是一種多路徑的提煉網(wǎng)絡(luò)，利用多級(jí)抽象特征進(jìn)行高分辨率的語(yǔ)義分割，通過(guò)遞歸方式提煉低分辨率的特征，生成高分辨率的特征
    • 級(jí)聯(lián)的refineNet可以end-to-end訓(xùn)練，使用了恒等映射的殘余連接
    • 提出了鏈?zhǔn)綒堄喑鼗Ｊ褂貌煌叽绲拇翱诔鼗?#xff0c;并且使用殘余連接和可學(xué)習(xí)的權(quán)重把他們?nèi)诤掀饋?lái)

3. Related work

• • 提到了FCN，segnet，deconvnet, unet， deeplab v2等
  • 能夠利用低維的feature來(lái)精煉高維的semantic feature.
  • 使用了短范圍和長(zhǎng)范圍的殘余連接，實(shí)驗(yàn)表明，我們的網(wǎng)絡(luò)十分有效。

4. Background

分析resnetnet

• • • 降采樣增加了感受野
    • 提高了訓(xùn)練效率
    • 一般的最終會(huì)降采樣到1/32,會(huì)損失信息，可選的解決方法是使用空洞卷積

deeplab v2

• • • 降采樣操作全部被取消，在第1個(gè)block之后的卷積層全部使用空洞卷積。優(yōu)點(diǎn)是在不增加參數(shù)的情況下增加了感受野。
    • 文章說(shuō)，空洞卷積很消耗內(nèi)存，原因在于空洞卷積在較高分辨率上保留大量的feature map，在網(wǎng)絡(luò)的后層通道數(shù)很多。
    • 我的理解是因?yàn)樯倭讼虏蓸?#xff0c;feature map自然就會(huì)很大，但對(duì)于文章所說(shuō)的后層通道數(shù)增多不太理解。

5. 網(wǎng)絡(luò)結(jié)構(gòu)

• • 網(wǎng)絡(luò)整體結(jié)構(gòu)

• • 下圖是單獨(dú)一個(gè)refineNet的結(jié)構(gòu)，上面的圖中包含了4個(gè)refineNet。

• • 也就是說(shuō)，一個(gè)RefineNet相當(dāng)于一個(gè)上采樣模塊，接受多個(gè)（一個(gè)）輸入，輸出一個(gè)。下采樣是ResNet，然后經(jīng)過(guò)4個(gè)RefineNet上采樣，得到原來(lái)大小圖。作者的創(chuàng)新點(diǎn)一方面在于提出了整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，另一方面是RefineNet模塊中的鏈?zhǔn)綒堄喑鼗?/li>
  • 根據(jù)整體結(jié)構(gòu)圖可以看到，RefineNet-4只接受一個(gè)輸入，后面的3個(gè)每個(gè)都接受兩個(gè)輸入。
  • RefineNet
    • 根據(jù)圖片可以看到，每個(gè)RefineNet包含4個(gè)部分
      • Residual convolution unit ：對(duì)ResNet block進(jìn)行2層的卷積操作。注意這里有多個(gè)ResNet block作為輸入。
      • Multi-resolution fusion：將1中得到的feature map進(jìn)行加和融合。
      • Chained residual pooling ：該模塊用于從一個(gè)大圖像區(qū)域中捕捉背景上下文。注意：pooling的stride為1。
      • Output convolutions：由三個(gè)RCUs構(gòu)成。

Reference

https://zhuanlan.zhihu.com/p/37805109RefineNet: Multi-Path Refinement Networks forHigh-Resolution Semantic Segmentation

總結(jié)

以上是生活随笔為你收集整理的unet论文_图像分割之RefineNet 论文笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。