論文主要解決的問(wèn)題：
全卷積神經(jīng)網(wǎng)絡(luò)(FCNs)在突出的目標(biāo)檢測(cè)任務(wù)中顯示出了其優(yōu)勢(shì)。然而，大多數(shù)現(xiàn)有的基于fcns的方法仍然存在粗糙的對(duì)象邊界。與基于區(qū)域的方法相比，像素級(jí)顯著目標(biāo)檢測(cè)方法具有優(yōu)勢(shì)。然而，他們忽略了圖像中的空間相干性，導(dǎo)致顯著的物體邊界不滿意。大多數(shù)方法都希望通過(guò)融合多尺度信息來(lái)解決這一問(wèn)題。一些方法使用后處理，如CRF來(lái)細(xì)化突出的對(duì)象邊界。在NLDF中，他們提出了一個(gè)IOU損失來(lái)影響邊緣周圍位置的梯度。它們都不注意顯著邊緣檢測(cè)和顯著目標(biāo)檢測(cè)之間的互補(bǔ)性。一個(gè)良好的顯著邊緣檢測(cè)結(jié)果可以幫助分割和定位中顯著的目標(biāo)檢測(cè)任務(wù)，反之亦然。在此基礎(chǔ)上，我們提出了一種EGNet，以端到端方式對(duì)互補(bǔ)的顯著邊緣信息和顯著對(duì)象信息進(jìn)行建模和融合。
論文所提出的解決方法：
我們重點(diǎn)研究了顯著邊緣信息和顯著對(duì)象信息之間的互補(bǔ)性。為此，我們提出了一種用于顯著目標(biāo)檢測(cè)的邊緣制導(dǎo)網(wǎng)絡(luò)(EGNet)，可以在一個(gè)單一網(wǎng)絡(luò)中同時(shí)建模這兩種互補(bǔ)信息。在第一步中，我們通過(guò)一種漸進(jìn)融合的方式提取顯著的對(duì)象特征。在第二步中，我們整合局部邊緣信息和全局位置信息，得到顯著的邊緣特征。最后，為了充分利用這些互補(bǔ)特征，我們將相同的顯著邊緣特征與不同分辨率的顯著對(duì)象特征耦合。利用顯著邊緣特征中豐富的邊緣信息和位置信息，融合后的特征可以幫助更準(zhǔn)確地定位突出對(duì)象，特別是其邊界。

互補(bǔ)的信息建模：

Progressive salient object features extraction
如圖中的PSFEM所示，為了獲得更豐富的上下文特征，我們利用廣泛使用的架構(gòu)UNet來(lái)生成多分辨率特征。與原來(lái)的U-Net不同，為了獲得更魯棒的顯著對(duì)象特征，我們?cè)诿總€(gè)邊路徑上添加三個(gè)卷積層(圖中的Conv)，在每個(gè)卷積層之后增加一個(gè)ReLU層，以保證非線性。為了簡(jiǎn)單地說(shuō)明，我們使用T表示這些卷積層和ReLU層。此外，對(duì)每條側(cè)邊路徑都采用了深度監(jiān)督。我們采用卷積層將特征映射轉(zhuǎn)換為單通道預(yù)測(cè)掩模，并使用D來(lái)表示它。卷積層的細(xì)節(jié)可以在Tab中找到。

每個(gè)邊輸出的詳細(xì)信息。T為特征增強(qiáng)模塊(Conv如上圖所示)。每個(gè)T包含三個(gè)卷積層：T1、T2、T3和三個(gè)后面的ReLu層。我們展示了每個(gè)卷積層的核大小、填充和通道數(shù)。例如，3、1、128表示核大小為3，填充量為1，通道數(shù)為128的卷積層。D表示將多通道特征映射轉(zhuǎn)換為單通道激活映射的過(guò)渡層。S表示側(cè)道。
Non-local salient edge features extraction
在這個(gè)模塊中，我們的目標(biāo)是對(duì)顯著邊緣信息進(jìn)行建模和提取顯著邊緣特征。如上所述，Conv2-2保存了更好的邊緣信息。因此，我們從Conv2-2中提取局部邊緣信息。然而，為了獲得顯著的邊緣特征，只有局部信息是不夠的。還需要高級(jí)的語(yǔ)義信息或位置信息。當(dāng)信息像U-Net架構(gòu)一樣，逐步從頂層返回到低層次，高級(jí)位置信息逐漸被稀釋。此外，頂層的感受域最大，位置最準(zhǔn)確。因此，我們?cè)O(shè)計(jì)了一個(gè)自頂向下的位置傳播方法，將頂層位置信息傳播到側(cè)路徑S（2），以約束非凸性邊緣。融合特征ˉC（2）可表示為：

其中，Trans（?；θ）是一個(gè)帶有參數(shù)θ的卷積層，旨在改變特征的通道數(shù)，φ()表示ReLU激活函數(shù)。Up(?；C（2）)是一種雙線性插值操作，其目的是將樣本*提升到與C（2）相同的大小。在方程的右邊，第二項(xiàng)表示來(lái)自較高側(cè)路徑的特征。為了清楚地說(shuō)明，我們使用UpT(F?(i)；θ，C(j))來(lái)表示Up（φ(Trans(F?(i)；θ))；C(j)）。F?（6）表示側(cè)徑S（6）中的增強(qiáng)的特征。增強(qiáng)特征F?（6）可表示為f(C（6）；WT（6）)，S（3）、S（4）、S（5）中的增強(qiáng)特征可計(jì)算為：

其中W(i)T表示T(i)中的參數(shù)，f（?；W(i)T）表示一系列具有參數(shù)W(i)T的卷積和非線性運(yùn)算。在獲得與其他側(cè)路徑相似的引導(dǎo)特征ˉC（2）后，我們添加了一系列卷積層來(lái)增強(qiáng)引導(dǎo)特征，然后將S（2）中的最終顯著邊緣特征FE計(jì)算為f(ˉC（2）；WT（2）)。配置的詳細(xì)信息可以在標(biāo)簽中找到。 1.為了明確地對(duì)顯著邊緣特征進(jìn)行建模，我們添加了一個(gè)額外的顯著邊緣監(jiān)督來(lái)監(jiān)督顯著邊緣特征。我們使用交叉熵?fù)p失，它可以定義為：

其中，Z+和Z?分別表示顯著的邊緣像素集和背景像素集。WD為過(guò)渡層的參數(shù)，如表中所示。 1.Pr(yj=1|FE；WD（2）)是一個(gè)預(yù)測(cè)映射，其中每個(gè)值表示像素的顯著邊緣置信度。此外，在顯著目標(biāo)檢測(cè)側(cè)路徑上添加的監(jiān)督可以表示為：

其中，Y+和Y?分別表示顯著區(qū)域像素集和非顯著像素集。因此，在互補(bǔ)信息建模中的總損失L可以記為：

One-to-one guidance module
在獲得互補(bǔ)的顯著邊緣特征和顯著目標(biāo)特征后，我們的目標(biāo)是利用顯著邊緣特征來(lái)引導(dǎo)顯著目標(biāo)特征更好地進(jìn)行分割和定位。最簡(jiǎn)單的方法是融合FE和F?（3）。最好是充分利用多分辨率的顯著對(duì)象特性。然而，將顯著邊緣特征和多分辨率顯著對(duì)象特征從下到上逐步融合的缺點(diǎn)是，當(dāng)顯著對(duì)象特征融合時(shí)，顯著邊緣特征被稀釋。此外，目標(biāo)是融合顯著目標(biāo)特征和顯著邊緣特征，利用互補(bǔ)信息獲得更好的預(yù)測(cè)結(jié)果。因此，我們提出了一個(gè)一對(duì)一的指導(dǎo)模塊。此外，實(shí)驗(yàn)部分驗(yàn)證了我們的觀點(diǎn)。
具體來(lái)說(shuō)，我們?yōu)镾（3）、S（4）、S（5）、S（6）添加了子側(cè)路徑。在每條支線路徑中，通過(guò)將顯著邊緣特征融合為增強(qiáng)的顯著對(duì)象特征，使高級(jí)預(yù)測(cè)的位置更加準(zhǔn)確，更重要的是，分割細(xì)節(jié)變得更好。顯著的邊緣制導(dǎo)特征（s個(gè)特征）可表示為：

然后與PSFEM類似，我們?cè)诿總€(gè)子側(cè)路徑上采用一系列卷積層T來(lái)進(jìn)一步增強(qiáng)s-特征，并采用過(guò)渡層D來(lái)將多通道特征圖轉(zhuǎn)換為單通道預(yù)測(cè)圖。這里為了清楚地說(shuō)明，我們?cè)谶@個(gè)模塊中將T和D表示為T(mén)‘和D’。由等式提供（3），我們得到了增強(qiáng)的s-特征?G(i)。
在這里，我們還為這些增強(qiáng)的特性添加了深度監(jiān)督。對(duì)于每個(gè)支線輸出預(yù)測(cè)圖，損失可計(jì)算為：

然后將多尺度精細(xì)的預(yù)測(cè)圖融合，得到融合圖。融合地圖的損失函數(shù)可記為：

其中，σ（?，?）表示預(yù)測(cè)圖與顯著性地面真值之間的交叉熵?fù)p失，與等式的形式相同 (5).因此，這部分的損失和擬議網(wǎng)絡(luò)的總損失可以表示為：

論文方法的實(shí)驗(yàn)結(jié)果（略）：

論文總結(jié)：

在本文中，我們旨在很好地保持突出的物體邊界。與其他整合多尺度特征或利用后處理的方法不同，我們關(guān)注突出邊緣信息和顯著對(duì)象信息之間的互補(bǔ)性。基于這一想法，我們提出了EGNet來(lái)建模網(wǎng)絡(luò)內(nèi)的這些互補(bǔ)特征。首先，我們提取了基于U-Net的多分辨率顯著目標(biāo)特征。然后，我們提出了一個(gè)非局部顯著邊緣特征提取模塊，該模塊集成了局部邊緣信息和全局位置信息，得到了顯著邊緣特征。最后，我們采用了一個(gè)一對(duì)一的引導(dǎo)模塊來(lái)融合這些互補(bǔ)的特性。利用顯著的邊緣特征，改善了顯著的對(duì)象的邊界和定位。我們的模型在6個(gè)廣泛使用的數(shù)據(jù)集上表現(xiàn)得優(yōu)于最先進(jìn)的方法。我們還提供了對(duì)EGNet的有效性的分析。

總結(jié)

以上是生活随笔為你收集整理的EGNet: Edge Guidance Network for Salient Object Detection的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。