論文主要解決的問題：
全卷積神經網絡(FCNs)在突出的目標檢測任務中顯示出了其優勢。然而，大多數現有的基于fcns的方法仍然存在粗糙的對象邊界。與基于區域的方法相比，像素級顯著目標檢測方法具有優勢。然而，他們忽略了圖像中的空間相干性，導致顯著的物體邊界不滿意。大多數方法都希望通過融合多尺度信息來解決這一問題。一些方法使用后處理，如CRF來細化突出的對象邊界。在NLDF中，他們提出了一個IOU損失來影響邊緣周圍位置的梯度。它們都不注意顯著邊緣檢測和顯著目標檢測之間的互補性。一個良好的顯著邊緣檢測結果可以幫助分割和定位中顯著的目標檢測任務，反之亦然。在此基礎上，我們提出了一種EGNet，以端到端方式對互補的顯著邊緣信息和顯著對象信息進行建模和融合。
論文所提出的解決方法：
我們重點研究了顯著邊緣信息和顯著對象信息之間的互補性。為此，我們提出了一種用于顯著目標檢測的邊緣制導網絡(EGNet)，可以在一個單一網絡中同時建模這兩種互補信息。在第一步中，我們通過一種漸進融合的方式提取顯著的對象特征。在第二步中，我們整合局部邊緣信息和全局位置信息，得到顯著的邊緣特征。最后，為了充分利用這些互補特征，我們將相同的顯著邊緣特征與不同分辨率的顯著對象特征耦合。利用顯著邊緣特征中豐富的邊緣信息和位置信息，融合后的特征可以幫助更準確地定位突出對象，特別是其邊界。

互補的信息建模：

Progressive salient object features extraction
如圖中的PSFEM所示，為了獲得更豐富的上下文特征，我們利用廣泛使用的架構UNet來生成多分辨率特征。與原來的U-Net不同，為了獲得更魯棒的顯著對象特征，我們在每個邊路徑上添加三個卷積層(圖中的Conv)，在每個卷積層之后增加一個ReLU層，以保證非線性。為了簡單地說明，我們使用T表示這些卷積層和ReLU層。此外，對每條側邊路徑都采用了深度監督。我們采用卷積層將特征映射轉換為單通道預測掩模，并使用D來表示它。卷積層的細節可以在Tab中找到。

每個邊輸出的詳細信息。T為特征增強模塊(Conv如上圖所示)。每個T包含三個卷積層：T1、T2、T3和三個后面的ReLu層。我們展示了每個卷積層的核大小、填充和通道數。例如，3、1、128表示核大小為3，填充量為1，通道數為128的卷積層。D表示將多通道特征映射轉換為單通道激活映射的過渡層。S表示側道。
Non-local salient edge features extraction
在這個模塊中，我們的目標是對顯著邊緣信息進行建模和提取顯著邊緣特征。如上所述，Conv2-2保存了更好的邊緣信息。因此，我們從Conv2-2中提取局部邊緣信息。然而，為了獲得顯著的邊緣特征，只有局部信息是不夠的。還需要高級的語義信息或位置信息。當信息像U-Net架構一樣，逐步從頂層返回到低層次，高級位置信息逐漸被稀釋。此外，頂層的感受域最大，位置最準確。因此，我們設計了一個自頂向下的位置傳播方法，將頂層位置信息傳播到側路徑S（2），以約束非凸性邊緣。融合特征ˉC（2）可表示為：

其中，Trans（?；θ）是一個帶有參數θ的卷積層，旨在改變特征的通道數，φ()表示ReLU激活函數。Up(?；C（2）)是一種雙線性插值操作，其目的是將樣本*提升到與C（2）相同的大小。在方程的右邊，第二項表示來自較高側路徑的特征。為了清楚地說明，我們使用UpT(F?(i)；θ，C(j))來表示Up（φ(Trans(F?(i)；θ))；C(j)）。F?（6）表示側徑S（6）中的增強的特征。增強特征F?（6）可表示為f(C（6）；WT（6）)，S（3）、S（4）、S（5）中的增強特征可計算為：

其中W(i)T表示T(i)中的參數，f（?；W(i)T）表示一系列具有參數W(i)T的卷積和非線性運算。在獲得與其他側路徑相似的引導特征ˉC（2）后，我們添加了一系列卷積層來增強引導特征，然后將S（2）中的最終顯著邊緣特征FE計算為f(ˉC（2）；WT（2）)。配置的詳細信息可以在標簽中找到。 1.為了明確地對顯著邊緣特征進行建模，我們添加了一個額外的顯著邊緣監督來監督顯著邊緣特征。我們使用交叉熵損失，它可以定義為：

其中，Z+和Z?分別表示顯著的邊緣像素集和背景像素集。WD為過渡層的參數，如表中所示。 1.Pr(yj=1|FE；WD（2）)是一個預測映射，其中每個值表示像素的顯著邊緣置信度。此外，在顯著目標檢測側路徑上添加的監督可以表示為：

其中，Y+和Y?分別表示顯著區域像素集和非顯著像素集。因此，在互補信息建模中的總損失L可以記為：

One-to-one guidance module
在獲得互補的顯著邊緣特征和顯著目標特征后，我們的目標是利用顯著邊緣特征來引導顯著目標特征更好地進行分割和定位。最簡單的方法是融合FE和F?（3）。最好是充分利用多分辨率的顯著對象特性。然而，將顯著邊緣特征和多分辨率顯著對象特征從下到上逐步融合的缺點是，當顯著對象特征融合時，顯著邊緣特征被稀釋。此外，目標是融合顯著目標特征和顯著邊緣特征，利用互補信息獲得更好的預測結果。因此，我們提出了一個一對一的指導模塊。此外，實驗部分驗證了我們的觀點。
具體來說，我們為S（3）、S（4）、S（5）、S（6）添加了子側路徑。在每條支線路徑中，通過將顯著邊緣特征融合為增強的顯著對象特征，使高級預測的位置更加準確，更重要的是，分割細節變得更好。顯著的邊緣制導特征（s個特征）可表示為：

然后與PSFEM類似，我們在每個子側路徑上采用一系列卷積層T來進一步增強s-特征，并采用過渡層D來將多通道特征圖轉換為單通道預測圖。這里為了清楚地說明，我們在這個模塊中將T和D表示為T‘和D’。由等式提供（3），我們得到了增強的s-特征?G(i)。
在這里，我們還為這些增強的特性添加了深度監督。對于每個支線輸出預測圖，損失可計算為：

然后將多尺度精細的預測圖融合，得到融合圖。融合地圖的損失函數可記為：

其中，σ（?，?）表示預測圖與顯著性地面真值之間的交叉熵損失，與等式的形式相同 (5).因此，這部分的損失和擬議網絡的總損失可以表示為：

論文方法的實驗結果（略）：

論文總結：

在本文中，我們旨在很好地保持突出的物體邊界。與其他整合多尺度特征或利用后處理的方法不同，我們關注突出邊緣信息和顯著對象信息之間的互補性。基于這一想法，我們提出了EGNet來建模網絡內的這些互補特征。首先，我們提取了基于U-Net的多分辨率顯著目標特征。然后，我們提出了一個非局部顯著邊緣特征提取模塊，該模塊集成了局部邊緣信息和全局位置信息，得到了顯著邊緣特征。最后，我們采用了一個一對一的引導模塊來融合這些互補的特性。利用顯著的邊緣特征，改善了顯著的對象的邊界和定位。我們的模型在6個廣泛使用的數據集上表現得優于最先進的方法。我們還提供了對EGNet的有效性的分析。

總結

以上是生活随笔為你收集整理的EGNet: Edge Guidance Network for Salient Object Detection的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。