文章目錄

• • 摘要
  • 1. 引言
  • 2. 相關(guān)工作
  • 3. 深層特征聚合網(wǎng)絡(luò)
  • • 3.1 Observations
    • 3.2 深層特征聚合
    • 3.3 網(wǎng)絡(luò)結(jié)構(gòu)
  • 4. 實驗
  • • 4.1 DFA 結(jié)構(gòu)的分析
    • • 4.1.1 輕量級 backbone 網(wǎng)絡(luò)
      • 4.1.2 特征聚合
      • 4.1.3 DFANet 的整體結(jié)構(gòu)
    • 4.2 速度和正確度的比較
    • 4.3 在其他數(shù)據(jù)集上的實驗
  • 5. 結(jié)論

摘要

本文提出了一種及其高效的 CNN 結(jié)構(gòu)——DFANet，來解決計算資源受限情況下的語義分割。

本文提出的網(wǎng)絡(luò)，始于一個簡單的backbone，并將這些子網(wǎng)絡(luò)、子層級的有區(qū)分力的特征分別進(jìn)行聚合。

基于多尺度特征傳遞的 DFANet 不僅僅減少了大量的參數(shù)，也獲得了足夠的感受野并加強(qiáng)了模型的學(xué)習(xí)能力，保持了分割速度和分割性能的平衡。

在 Cityscapes 和 CamVid 數(shù)據(jù)集上的實驗證明了 DFANet 在取得與現(xiàn)有SOTA 實時語義分割算法相當(dāng)?shù)男阅芮闆r下，比其 FLOPs 少8倍，速度快2倍。

DFANet速度和效果：

平臺： NVIDIA Titan X
mean IoU：Cityscapes 上達(dá)到了 70.3%
速度：170 FPS
內(nèi)存量：1.7 GFLOPs
高分辨率圖像： Mean IoU 達(dá)到了 71.3%，3.4 GFPLOs

1. 引言

語義分割的目的是給每個像素都分配一個類別標(biāo)簽，是計算機(jī)視覺的基礎(chǔ)任務(wù)，應(yīng)用于自動駕駛、視頻監(jiān)控、機(jī)器人感知等等領(lǐng)域。

對很多任務(wù)來說，如何對高分辨率的圖像同時保持高速推理和高精度的性能一直難以解決。

已有的實時語義分割方法[1][25][27][29][33][22]在特定的基準(zhǔn)上取得了較好的效果[10][9][18][36][2]，但在高分辨率特征圖的 U型 結(jié)構(gòu)耗費了大量的時間。

現(xiàn)有方法解決高分辨率圖像分割的不足：

很多方法利用減小輸入圖像尺寸[27]或降低網(wǎng)絡(luò)通道數(shù)來提高推理速度[1,22]，這樣會丟失時域邊緣信息和小圖像信息，并且變簡單的網(wǎng)絡(luò)結(jié)構(gòu)難以提取有區(qū)分力的特征。

為了克服這些不足，其他方法[33][29] 提出了一個 多分支框架 將時域細(xì)節(jié)和上下文信息結(jié)合起來。然鵝，額外的分支會限制其速度，且分支之間是獨立的，這會限制模型的學(xué)習(xí)能力。

一般情況，語義分割任務(wù)通常使用從圖像分類任務(wù)訓(xùn)練所得的 “funnel” backbone，如 ResNet[11], Xception[8], DenseNet[13] 等等。

實時分割的推理階段，本文使用了一個輕量級的backbone，并研究了如何在計算能力受限的情況下提升分割性能。

目前主流的分割方法中，金字塔特征組合（類似于空域金字塔池化[34,5] ）的方法被用來使用高層上下文信息來豐富化特征，但會增加很多計算復(fù)雜度。

此外，傳統(tǒng)的方法通常使用單一通道結(jié)構(gòu)的最終輸出來豐富化特征，這種設(shè)計中，高層上下文缺乏與原有的層特征的結(jié)合，同時保留了網(wǎng)絡(luò)路徑中的空間細(xì)節(jié)和語義信息，為了強(qiáng)化模型學(xué)習(xí)能力并提升感受野，特征的重復(fù)利用實最直觀的方法。這啟發(fā)了本文尋找輕量級方式來多層上下文信息來編碼特征。

本文的方法有兩個階段來實現(xiàn)尺度間的特征聚合：

• 首先，將從 backbone 中抽取得到的高層特征重復(fù)利用，來解決語義信息和結(jié)構(gòu)細(xì)節(jié)的gap
• 其次，將網(wǎng)絡(luò)的處理過程的不同階段所獲得的特征進(jìn)行組合，來提高特征的表達(dá)能力，如圖2所示。
  
  詳細(xì)來說：

本文將輕量級 backbone 重復(fù)使用來證實特征聚合的方法。

DFANet 包含三個步驟：

• lightweight backbones
• sub-network aggregation
• sub-stage aggregation。

由于深層可分離卷積被證明是實時分割推理階段最高效的結(jié)構(gòu)，故本文使用 Xception 網(wǎng)絡(luò)作為 backbone。

1. lightweight backbones：

為了獲得更好的準(zhǔn)確性，本文在 backbone 的尾部使用一個全連接的注意力模型來存儲最大的感受野。

2. sub-network aggregation：

將前一個 backbone 的高層特征映射進(jìn)行上采樣，保證輸入下一個 backbone 的特征圖大小，來精細(xì)化預(yù)測結(jié)果。也就是可以看做一個從粗尺度到細(xì)尺度的像素分類

3. sub-stage aggregation：

將粗尺度和精細(xì)尺度的特征表達(dá)進(jìn)行聚合，通過將大小相同的層級結(jié)合起來，可以保持感受野和高維結(jié)構(gòu)細(xì)節(jié)信息。

這三個步驟之后，由“卷積+雙線性上采樣”操作組成的簡單解碼器被應(yīng)用于每個stage來產(chǎn)生從粗糙到精細(xì)尺度的分割結(jié)果。DFANet 結(jié)構(gòu)如圖3所示。

在 NVIDIA Titan X card上，用標(biāo)準(zhǔn)的基線數(shù)據(jù)集 Cityscapes 和 CamVid 做實驗，輸入 1024*1024，DFANet達(dá)到了 71.3% 的mIoU，3.4G FLOPs，速度為 100 FPS 。
當(dāng)使用較小尺寸的輸入和較輕量級的 backbone 時，Mean IoU 仍能分別達(dá)到 70.3% 和61.7%，1.7 G FLOPS 和 2.1G FLOPS，比許多實時分割算法性能都好。

本文主要貢獻(xiàn)如下：

• 為低運算力場合的實時分割提供了新的可能，對比已有的結(jié)果，本文的 FLOPS小8倍，速度快2倍，效果也很好。
• 本文提出了一個全新的分割網(wǎng)絡(luò)結(jié)構(gòu)，擁有多級連通的編碼流程，以將高層的上下文信息編碼到特征中去。
• 本文方法能夠最大程度的利用多尺度感受野，并在計算量略有增加的情況下多次細(xì)化高級特性。
• 給 Xception backbone 添加了一個 注意力層來增強(qiáng)感受野，且基本不需要增加額外的計算量。

2. 相關(guān)工作

實時分割：

實時語義分割的目標(biāo)是在計算力有限的情況下產(chǎn)生高質(zhì)量的預(yù)測，SegNet[1] 使用一個小的結(jié)構(gòu)和pooling indices 策略來減少網(wǎng)絡(luò)參數(shù)。

ENet [22] 考慮減小下采樣次數(shù)，以獲得一個緊致的框架結(jié)構(gòu)，由于其使用模型的最后一級特征，導(dǎo)致感受野非常小，難以對大目標(biāo)進(jìn)行檢測和分割。

ESPNet [26] 使用心得金字塔模型來提高計算速度。

ICNet[33] 使用多尺度圖像作為輸入并串聯(lián)網(wǎng)絡(luò)來提升效率。

BiSeNet[29] 引入空間路徑和語義路徑來減少計算量。

ICNet 和 BiSeNet中，只有一條分支是用于特征提取的深層 CNN，其余分支被用于捕捉細(xì)節(jié)信息。

本文結(jié)構(gòu)與其不同，我們在特征空間中增強(qiáng)了單個模型的容量，以保留更多的細(xì)節(jié)信息。

Depthwise Separable Convolution：

深度可分離卷積（跟隨于逐點卷積之后），是近年來應(yīng)用很廣的一種網(wǎng)絡(luò)設(shè)計方法，該方法可以減小計算開銷和網(wǎng)絡(luò)參數(shù)量，并保持基本相當(dāng)?shù)男阅堋?/p>

High-level Features：

分割任務(wù)的重點在于感受野和分類能力，一般的編碼-解碼結(jié)構(gòu)中，編碼器輸出的高層特征刻畫了輸入圖像的語義信息?；诖?#xff0c;PSPNet[34], DeepLab series[7][5][4], PAN[16] 使用額外的操作來將更多的上下文信息和多尺度特征表達(dá)結(jié)合起來。空域金字塔池化已經(jīng)廣泛用于提供總體區(qū)域場景，尤其是多尺度情況下多個目標(biāo)的情況。這些模型展示了高質(zhì)量的分割結(jié)果，但計算量仍然很大。

Context Encoding：

SE-Net [12] 通過對通道信息的學(xué)習(xí)得到一個“ channel-wise 注意力模型”，并獲得了最好的圖像分類性能，注意力機(jī)制稱為的深度神經(jīng)網(wǎng)絡(luò)的一個有力工具。可以看成一個通過逐通道選擇來提升模型的特征表示能力的過程。

EncNet 引入了 Context Encoding 機(jī)制來提升每個像素的預(yù)測能力，這取決于編碼語義。本文中，提出了一種全連接的模型來增強(qiáng)backbone性能，且對計算復(fù)雜度的影響很小。

Feature Aggregation：

傳統(tǒng)的方法僅僅使用單一路徑的編碼-解碼網(wǎng)絡(luò)來解決逐個像素的預(yù)測。

隨著網(wǎng)絡(luò)深度的增加，更需要研究的是如何將不同模塊之間的特征聚合起來。

RefineNet [17] 給編碼器和解碼器中間的每個上采樣stage中引入復(fù)雜的 refine 模塊，來抽取多尺度特征，另外一種聚合方法是使用稠密連接。DLA [31] 將該方法擴(kuò)展，獲得了一個更深的聚合結(jié)果來提升特征表達(dá)能力。

3. 深層特征聚合網(wǎng)絡(luò)

3.1 Observations

圖2中簡單描述了分割網(wǎng)絡(luò)結(jié)構(gòu)，對于實時推理， [33,29] 中使用多分支來實現(xiàn)多尺度特征抽取并保留圖像空域細(xì)節(jié)信息。例如，BiSeNet[29] 針對高分辨率圖像提出了一種 shallow network （淺層網(wǎng)絡(luò)），并且使用具有快速下采樣能力的深層網(wǎng)絡(luò)來保存分類效果和感受野的平衡。如圖2(a) 所示。

這些方法的缺點在于沒有很好的使用并行分支中的高層特征，僅僅使用了卷積層來融合特征，此外，并行分支之間也沒有過多的交流，且高分辨率圖像的額外分支導(dǎo)致其計算量增大。

語義分割任務(wù)中，空域金字塔池化（SPP）模塊經(jīng)常被用于解決干層特征 [5]，如圖2(b) 所示，SPP 模型被用于抽取高層語義上下文信息并提升感受野，如 [4,34,16] ，然鵝，SPP 模塊很耗費時間。

受上述模型的啟發(fā)，本文先用網(wǎng)絡(luò)輸出的上采樣結(jié)果來代替高層操作，并使用另外的sub-network 來精細(xì)化特征圖，如圖2? 所示，不同于 SPP模型，特征圖在交大分辨率下進(jìn)行了細(xì)化，同時學(xué)習(xí)了 sub-pixel 的細(xì)節(jié)。

然而隨著整體網(wǎng)絡(luò)結(jié)構(gòu)的深化，高維特征和感受野通常會面臨精度下降的問題，因為其只有一條路徑。

本文提出了一種 stage-level 的方法（圖2(d)所示），來傳遞 low-level 和空域信息來進(jìn)行語義理解，由于所有的 sub-network 擁有相同的結(jié)構(gòu)，可以將相同分辨率的層級進(jìn)行連接，來產(chǎn)生 multi-stage 的上下文，從而進(jìn)行 stage-level 的精細(xì)化。

本文方法要同時結(jié)構(gòu) network-level 和 stage-level 的特征。

3.2 深層特征聚合

本文聚焦于將不同深度的特征進(jìn)行聚合的任務(wù)，聚合策略由 sub-network 聚合和sub-stage 聚合組成，DFANet 的結(jié)構(gòu)如圖3所示。

sub-network 聚合：

sub-network聚合是將高層特征進(jìn)行結(jié)合，我們將DFANet作為一個backbones的集合，也就是將上一個backbone的輸出作為下一個backbone的輸入。換句話說，sub-network 聚合可以被看成一個精細(xì)化的過程，backbone處理過程可以定義為 $y=\Phi (x)$，編碼器 ${\Phi }_n$ 的輸出是編碼器 ${\Phi }_{n+1}$ 的輸入，所有sub-network聚合可以表示成：$$Y={\Phi }_n({\Phi }_{n?1}(...{\Phi }_1(X)))$$

類似的想法在[21]中有提出，其結(jié)構(gòu)是由編碼器-解碼器的 “沙漏” 結(jié)構(gòu)堆疊而成，sub-network 聚合過程允許可以再次處理這些高層特征來進(jìn)一步評估和再次評估高階空域關(guān)系。

sub-stage 聚合：

sub-stage 聚合局建議融合多個網(wǎng)絡(luò)間的stage-level的語義和空域信息。隨著網(wǎng)絡(luò)深度的增加，空域細(xì)節(jié)會丟失。常見的方法，如U型 結(jié)構(gòu)，用來實現(xiàn)skip connection 從解碼器中恢復(fù)圖像細(xì)節(jié)。

然而，更深的編碼器模塊缺乏低層特征和空域信息，無法對大尺度的各種目標(biāo)和精細(xì)的結(jié)構(gòu)邊緣做出判斷。

并行分支結(jié)構(gòu)的設(shè)計采樣原始分辨率和低分辨率作為輸入，其輸出是大規(guī)模分支和小規(guī)模分支結(jié)果的融合，而這種設(shè)計缺乏并行分支之間的信息通信。

sub-stage 聚合對編碼過程的特征進(jìn)行組合，對同一深度下不同stage之間的特征進(jìn)行融合。

前一個 sub-network 的特定 stage 的輸出，作為下一個 sub-network 的相同 stage 的輸入。

對單個的backbone ${\Phi }_n(x)$，一個 stage 的過程可以定義為 ${?}_n^i$，前一個 stage 定義為 ${?}_{n?1}^i$。$i$ 表示 stage 的索引。

sub-stage 聚合方法可以表示如下：

其中，$x_{n?1}^i$ 來自于：

$$x_{n?1}^i=x_{n?1}^{i?1}+{?}_{n?1}^i(x_{n?1}^{i?1})$$

傳統(tǒng)的方法是對于 $x_n^{i?1}$ 學(xué)習(xí)一個mapping $F(x)+x$，本文方法中，sub-stage 聚合方法是在每個 stage 的開始學(xué)習(xí)一個殘差項 $[x_n^{i?1},x_{n?1}^i]$。

對于 $n>1$ 的情況，第 $n$ 個 network 的第 $i$ 個stage的輸入是第 $n?1$ 個 network 的第$i$ 個 stage 的輸出，之后，第 $i$ 個stage 學(xué)習(xí)到一個殘差表示 $[x_n^{i?1},x_{n?1}^i]$。$x_n^{i?1}$ 和 $x_{n?1}^i$ 具有相同的分辨率，之后將其融合。

本文始終將特征是從高分辨率到低分辨率，上面表達(dá)式的表達(dá)不僅僅學(xué)習(xí)第 $n$ 個特征圖的新的 mapping，同時也保存第 $(n?1)$ 個特征圖和感受野，信息可以通過多級網(wǎng)絡(luò)進(jìn)行流動。

3.3 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖3所示，通常情況下，語義分割網(wǎng)絡(luò)可以被看成一個編碼-解碼結(jié)構(gòu)，編碼器將三個 Xception backbones 進(jìn)行聚合，由sub-stage 聚合和sub-network聚合組成。

對于實時推理，我們沒有在解碼器上做過多的研究，解碼器是作為一個高效的特征下采樣模型來融合低層特征和高層特征，為了方便實施聚合策略，sub-network 采樣單個的雙線性上采樣 backbone 作為解碼器，所有的backbone有相同的結(jié)構(gòu)且用相同的權(quán)重來初始化。

backbone：

基準(zhǔn) backbone 是略有微調(diào)的適用于分割任務(wù)的輕量級 Xception 模型。

對于語義分割問題，不僅僅提供稠密特征表達(dá)方式是一個問題，如何有效的獲得上下文語義信息也是一個問題。所以，我們保存 ImageNet 預(yù)訓(xùn)練的全連接層來提高語義抽取。

分類任務(wù)中，全連接層是在全局池化層之后，來獲取最終概率向量，由于分類任務(wù)的數(shù)據(jù)集比分割任務(wù)的數(shù)據(jù)集提供了更多的類別，從分類任務(wù)中得到的預(yù)訓(xùn)練網(wǎng)絡(luò)比從分割任務(wù)中訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)能力更強(qiáng)。

我們在全連接層之后使用一個 1x1 的卷積層，用于減少通道數(shù)，使得其能和 Xception backbone 的特征圖進(jìn)行匹配。之后， 一個大小為 $N\times C\times 1\times 1$ 的編碼向量和初始抽取的特征以逐 channel 的方式相乘。

Decoder：

本文提出的解碼模型如圖3所示，對于實時推斷，我們沒有太多的研究設(shè)計解碼器的模型。

根據(jù) DeepLabV3+ [7] ，一個stage中，并不是所有的特征都是對解碼器有用的，我們直接將高層和低層的特征結(jié)合起來，因為編碼器是由三個backbone組成的，我們首先將三個backbone中的最下面的backbone的高層特征進(jìn)行融合，之后對這些高層特征進(jìn)行因子為4的雙線性上采樣。每個backbone的分辨率相同的底層信息也分別進(jìn)行了融合。

之后，高層特征和底層細(xì)節(jié)相加，并以4為因子進(jìn)行上采樣，來獲得最終的預(yù)測。

編碼模塊中，我們僅僅使用很少的卷積計算來減小通道的數(shù)量。

4. 實驗

雖然本文的網(wǎng)絡(luò)對高分辨率圖像的處理效率較高，我們在兩個具有挑戰(zhàn)性的數(shù)據(jù)集上進(jìn)行了實驗：Cityscapes 和 CamVid。

兩數(shù)據(jù)集的圖像大小分別為 2048x1024 和 960x720，這對實時分割來說是一個較大的挑戰(zhàn)。

下面，我們首先介紹本文結(jié)構(gòu)的效果，之后和已有方法進(jìn)行對比。

所有提到的方法都使用相同的訓(xùn)練方式，使用mini-batch SGD ，batch 大小為 48，動量為0.9，權(quán)重衰減為 $10^{?5}$。

初始學(xué)習(xí)率為0.2，使用“poly” 學(xué)習(xí)率方法，乘因子為$1?{\frac{iter}{max?iter}}^{iter}$。

所有類別的每個像素交叉熵誤差作為loss function，數(shù)據(jù)增強(qiáng)方法包括去掉均值、水平翻轉(zhuǎn)、縮放率在 [0.75,1.75] 內(nèi)的尺度縮放、隨機(jī)裁剪等。

4.1 DFA 結(jié)構(gòu)的分析

本文使用 Cityscapes 來對網(wǎng)絡(luò)進(jìn)行定性和定量的分析，Cityscapes 是從來自于50個不同城市的街區(qū)的視頻序列中截取的數(shù)據(jù)集，包含30個類別，其中19個類別用于訓(xùn)練和評估。

數(shù)據(jù)集包含5000個精細(xì)標(biāo)注的圖像，19998個粗略標(biāo)注的圖像，分辨率都為 2048x1024。

精細(xì)標(biāo)注的數(shù)據(jù)集劃分為訓(xùn)練、驗證和測試集，分別包含2979,500和1525個圖像。在訓(xùn)練中僅僅使用精細(xì)標(biāo)注的圖像，在迭代次數(shù)為40k時停止訓(xùn)練。

模型性能的評估使用驗證集，為了公平起見，消融實驗中將圖像裁剪為 1024x1024大小，該過程中，為了獲得更好的效果，不使用任何測試的數(shù)據(jù)增強(qiáng)，像多尺度或多裁剪的測試集。

定量分析，class-wise mean IoU 和 float-point operations（FLOPs）被用來分別作為準(zhǔn)確率和計算復(fù)雜度的衡量標(biāo)準(zhǔn)。

4.1.1 輕量級 backbone 網(wǎng)絡(luò)

如上所述，backbone 網(wǎng)絡(luò)是模型加速的主要限制，然而，兩個小的backbone網(wǎng)絡(luò)會導(dǎo)致分割效果急劇下降。

Xception 是一個輕量級結(jié)構(gòu)，能夠?qū)崿F(xiàn)速度和性能的平衡，本文使用兩個修正的 Xception 網(wǎng)絡(luò)（A 和 B），計算復(fù)雜度也較低，推斷階段速度較快，細(xì)節(jié)如表1所示。

修正的 Xception 網(wǎng)絡(luò)在 ImageNet-1k 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，初始學(xué)習(xí)率為0.3，使用 Nesterov momentum，且動量=0.9，權(quán)重衰減為$4\times 10^{?5}$.

訓(xùn)練30個epoches之后，將后面30個迭代的學(xué)習(xí)率設(shè)置為0.03，batch size 為256，圖像大小為224x224。

使用修正的 Xception 在Cityscapes 驗證集上進(jìn)行驗證，為了保證預(yù)測的分辨率和初始分辨率相同，特征以16倍進(jìn)行雙線性上采樣。

為了對比，我們復(fù)現(xiàn)ResNet-50，其采用擴(kuò)張卷積進(jìn)行1/16的下采樣，可以看出，當(dāng)使用 Xception A 時，分割準(zhǔn)確率從68.3%下降到了59.2%。

當(dāng)將其和 ASPP[5] 一起使用的時候性能下降的較少（ ResNet-50 + ASPP 獲得 72.1%， Xception A + ASPP 獲得 67.1%），這也證明了ASPP 模塊對輕量級網(wǎng)絡(luò)的效果。

Xception A + ASPP 的模型能夠獲得67.1%的mIoU，基本上和 ResNet-50 的 68.3% 相當(dāng)，但其計算復(fù)雜度遠(yuǎn)遠(yuǎn)低于ResNet-50。

這就表示我們可以將輕量級網(wǎng)絡(luò)和和高層上下文模塊進(jìn)行結(jié)合，來解決算力受限的語義分割問題。

我們也考慮降低輸入圖像的分辨率來提升計算速度：

之前的方法中，研究人員嘗試使用低分辨率的輸入來實現(xiàn)實時推斷，然而當(dāng)縮放率為0.25時，對應(yīng)的 mIoU 就很低了，且 FLOPS 仍然比使用 small backbone 要大很多。

在輕量級 backbone 后邊加上 ASPP之后，Xception A 很容易的就能達(dá)到比傳統(tǒng) ResNet-50更好的效果，即使使用更小的 Xception B，準(zhǔn)確率也較好且 FLOPs 是其一半。

忽略掉 ASPP 模塊，計算復(fù)雜度仍然很大

我們在3.3節(jié)中驗證了 FC 注意力模型的作用，如表2所示，可以提高約 4%-6%的準(zhǔn)確率，計算量幾乎沒變，FC注意力模型證明了高維上下文信息的作用，實現(xiàn)了簡單且有效的融合。

下面實驗中，使用 Backbone A 和 B 作為基本單元，來驗證 DFANet 的性能。

4.1.2 特征聚合

本節(jié)中，我們研究了聚合策略在本框架中的作用

特征聚合是由 sub-network 聚合和 sub-stage 聚合組成的。

如表3所示，基于 Backbone A ，分割效果從 65.4%提高到了 66.3%，且僅僅使用了 sub-network 聚合。

當(dāng)使用兩次聚合時（x3），準(zhǔn)確率從 66.3% 降到了 65.1%，我們認(rèn)為，Backbone A x2 的感受野已經(jīng)比整個圖都大了，另外的一次聚合會帶來其他噪聲。

由于輸出直接被上采樣到了和原始大小一樣，所以噪聲也被放大了，盡管上采樣可以帶來很多細(xì)節(jié)，但噪聲會帶來很多負(fù)面影響。

當(dāng)聚合次數(shù)為‘x4’ 時，準(zhǔn)確率沒有得到很大的提升，因為當(dāng)輸入為1024x1024時，最終輸出的分辨率為 8x8，特征太小了，不足以進(jìn)行分類。

如圖4展示了三種不同 backbone 堆積方式的結(jié)果：

第一個backbone 的預(yù)測有些噪聲，下一 stage 的輸出會更小，空域細(xì)節(jié)會丟失，結(jié)果證明，sub-stage 學(xué)習(xí)之后，感受野變大了且引入了全局上下文。

之后，經(jīng)過第三個聚合backbone的處理之后，最終的結(jié)果中包含了很多精細(xì)的細(xì)節(jié)信息，細(xì)節(jié)信息和上下文信息被結(jié)合起來。

sub-stage 聚合能夠帶來多尺度信息的結(jié)合，基于本文的級聯(lián)模型，能夠?qū)W習(xí)到更多的有區(qū)分力的特征，且亞像素學(xué)習(xí)是逐步進(jìn)行了。

4.1.3 DFANet 的整體結(jié)構(gòu)

3.3 小節(jié)中設(shè)計的解碼模塊是一個簡單高效的能夠?qū)⒏邔雍偷讓犹卣鹘Y(jié)合起來的模塊，解碼模塊匯總沒有直接利用上采樣，而是對結(jié)合的結(jié)果進(jìn)行了深層的平滑，聚合解碼器的性能見表4。

盡管使用 Backbone A x3 的性能比使用 Backbone A x2 的性能要差，但最終的聚合編碼是由三個backbone組成的，如圖3所示?；诮獯a操作，Backbone A x3 的效果要明顯好于 Backbone A x2，該結(jié)果也證明了之前的結(jié)論，即sub-stage 3 中能夠?qū)W習(xí)到更多的細(xì)節(jié)信息，不同尺度的輸出的融合能夠消除一定的噪聲。

由于聚合方法可以提供大量的特征，我們不一定要構(gòu)建一個復(fù)雜的解碼器。

上面兩個不同的 backbone中，所有的高層和底層解碼器在提升性能的同時僅僅引入了很少的計算開銷。

Cityscapes 數(shù)據(jù)集的驗證集上，獲得了 71.9%的 mIoU，3.4 GFLOPs

此外，基于 Backbone B 的整個網(wǎng)絡(luò)的計算速度降低到了 2.1 GFLOPs，達(dá)到了 68.4%的 mIoU。

4.2 速度和正確度的比較

表5 中展示了所有速度的比較，此處用推斷階段的時間來表示效率。

從表中可知，本文的方法的推斷速度比現(xiàn)有的SOTA 方法都要快，且性能相當(dāng)。

Cityscapes：

mIoU：71.3%
inference speed：100FPS

此處用兩種改變方式來探究DFANet：輸入圖像大小 + 通道數(shù)

當(dāng) backbone 模型是簡單的那種時，準(zhǔn)確率為 67.1%，120 FPS inference speed，和現(xiàn)有的bisenet 性能（68.4%）相當(dāng)。

輸入圖像大小削減一半時， FLOPs 降到了 1.7G，準(zhǔn)確率仍然較好。

本文方法能達(dá)到最快的速度是 160 FPS，mIoU 為 70.3%，之前最快的是 135 FPS ，mIoU 為 57%。

DFANet A、B、A’ 分別比已有的最好算法快 1.38倍、1.65 倍和 2.21 倍，FLOPs 分別是其 1/4、1/7 和 1/8。且性能還略有上升。

圖4中展示了一些結(jié)果，本文方法的效果較好。

4.3 在其他數(shù)據(jù)集上的實驗

DFANet 同樣在 CamVid 數(shù)據(jù)集上進(jìn)行了實驗，該數(shù)據(jù)集是從時頻序列中截取的分辨率大小為 960x720 的圖像。包括 701 幅圖像，其中357個用于訓(xùn)練，101個用于驗證，233個用于測試。

結(jié)果見表6，DFANet A/B 分別獲得了120 FPS 和 160 FPS 的速度。

5. 結(jié)論

本文中，提出了一種基于深度特征聚合的方法來實現(xiàn)高分辨率圖像的實時分割。

聚合策略級聯(lián)了一系列卷積層來有效的精細(xì)化高層和底層特征，沒有其他額外的操作。

定性和定量的分析表明本文方法在保持高效的情況下也能獲得較為樂觀的分割結(jié)果。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的感知算法论文（七）：DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation（2019）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。