本文主要記錄幾種提升基于深度學(xué)習(xí)的圖像語(yǔ)義分割精度的方法，以防忘記！

??????????????????????????????????????? By zhengzibing2011, 2017年10月21日-星期六

??? 1

1.圖像語(yǔ)義分割面臨的挑戰(zhàn)

(1).特征分辨率減小：主要是由神經(jīng)網(wǎng)絡(luò)中的重復(fù)最大池化和降采樣（stride跨越）操作造成的，而采用此種操作的原因是
A.降維，以免參數(shù)過(guò)多難以優(yōu)化；
B.基于DL的語(yǔ)義分割是從用于分類任務(wù)的CNN轉(zhuǎn)化而來(lái)，而在分類任務(wù)中，分類器要求對(duì)輸入的空間變換具有不變性，池化恰能滿足這樣的要求。

(2).不同scale下的目標(biāo)存在的狀況：主要是目標(biāo)在multi-scale圖像中的狀態(tài)造成的，因?yàn)樵谕环N尺度下，不同目標(biāo)的特征往往響應(yīng)并不相同。如需要在較大的尺度下才能較好地提取圖像中比較小的目標(biāo)，而較大的目標(biāo)為了獲取全局性信息也必須在較小的尺度下才能實(shí)現(xiàn)。

(3). CNN的空間不變性造成定位精度的下降：對(duì)于分割任務(wù)而言，由于pooling操作引起的分類器對(duì)輸入的空間變換具有不變性丟失空間信息，內(nèi)在的限制了分割的空間精度。
2.潛在的解決方法

FCN作為將CNN應(yīng)用于semantic segmentation的forerunner，貢獻(xiàn)巨大。但不可回避，其提出的方法具有一些不足。為保證卻終的feature map不至于過(guò)小，FCN的conv1引入pad=100，引入了較大的噪聲；
32倍upsample(deconvolution)非常粗糙，而且deconvolution的filter不可學(xué)習(xí)； skip architecture雖能有效提高精度，但需要3次訓(xùn)練即FCN-32s->FCN-16s->FCN-8s。除skip architecture外。隨著研究的深入，針對(duì)以上挑戰(zhàn)，有以下幾種方法解決：
(1). Encoder-Decoder結(jié)構(gòu)

采用此種思想的代表為DeconvNet，SegNet，其基本思想是采用一種對(duì)稱結(jié)構(gòu)將由于pooling操作而減小的feature map通過(guò)逐步的upsample逐漸恢復(fù)到原圖像大小，同時(shí)在upsample階段，融合了subsample中pooling index，具體細(xì)節(jié)可參見(jiàn)原文。
SegNet
(2). Atrous convolution

feature map的減小是由于pooling造成的，為確保一定精度的feature map，能否不使用或減少使用pooling呢？理論上是可行的，但如果這樣做會(huì)使得需要優(yōu)化的參數(shù)過(guò)多，重要的是難以基于以前的model進(jìn)行fine-tuning，atrous convolution解決了這個(gè)問(wèn)題。
在DeepLab中令pool4,pool5的stride=1，再加上1 padding，這樣經(jīng)過(guò)pooling后feature map大小不變，但后層的感受野發(fā)生了變化，為使感受野不變，后面的卷積層使用atrous convolution，其作用是在不增加參數(shù)的前提下，增加感受野。因此，解決了feature map空間分辨率下降的問(wèn)題。

(3). ASPP

針對(duì)不同scale下的目標(biāo)存在的狀況問(wèn)題，可通過(guò)兩種方法解決：
A.標(biāo)準(zhǔn)的多尺度處理方法，用共享相同參數(shù)的并行CNN的分支，從不同尺度的Input image中提取score map，然后進(jìn)行雙線性差值，最終對(duì)它們進(jìn)行融合，在不同尺度上獲得每個(gè)位置的最大響應(yīng)。訓(xùn)練和測(cè)試時(shí)均這樣處理，比較繁瑣的是需要計(jì)算輸入圖像的每個(gè)尺度在各layer上的特征響應(yīng)。

B.基于任意尺度上的區(qū)域都可以用在這個(gè)單一尺度上重采樣卷積特征進(jìn)行精確有效地分類的思想，使用多個(gè)不同采樣率上的多個(gè)并行多空卷積，每個(gè)采樣率上提取的特征再用單獨(dú)的分支處理，融合生成最后的結(jié)果。

(4). FC-CRF

CRF幾乎可以用于所有的分割任務(wù)中圖像精度的提高。CNN可用于對(duì)圖像中的目標(biāo)進(jìn)行分類并預(yù)測(cè)出目標(biāo)的大致位置，但并不能真正描繪他們的邊界。因此，將DCNN的識(shí)別能力和全連接CRF優(yōu)化定位精度耦合在一起，能成功的處理定位挑戰(zhàn)問(wèn)題，生成了精確的語(yǔ)義分割結(jié)果。全連接CRF理論較為復(fù)雜，在此不作闡述。類似的概率圖模型(PGM)還有MRF，G-CRF(高斯-條件隨機(jī)場(chǎng))。

3.總結(jié)

目前，暫且先記錄以上4種提高分割精度的方法。后續(xù)若有新的方法，予以追加！
--------------------- ?
作者：zhengzibing2011 ?
來(lái)源：CSDN ?
原文：https://blog.csdn.net/zhengzibing2011/article/details/78305199 ?
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請(qǐng)附上博文鏈接！

總結(jié)

以上是生活随笔為你收集整理的提升语义分割性能的几种方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。