【導讀】邊緣檢測是計算機視覺中的一個基本問題。近年來，卷積神經網絡(CNNs)的出現極大地推動了這一領域的發展。現有的方法采用特定的深層CNN，但由于尺度和縱橫比的變化，可能無法捕捉到復雜的數據結構。今天分享的paper提出了一種利用更豐富的卷積特征(RCF)來精確的邊緣檢測方法。

引言

如下圖所示，構建了一個簡單的網絡，使用帶有HED架構（S. Xie and Z. Tu, “Holistically-nested edge detection,” Int. J. Comput. Vis., vol. 125, no. 1-3, pp. 3–18, 2017.）的VGG-16生成中間層的輸出，可以看出不同卷積層所獲得的信息逐漸變粗。

從上圖可以得到更重要的是，中間Conv層包含重要的細節。然而以往的CNN體系結構只使用最終的Conv層或在神經網絡的池化層之前的層，而忽略了中間層。另一方面，由于更豐富的卷積特征對于許多視覺任務是非常有效的，許多研究人員致力于開發更深層次的網絡。然而，由于漸變/爆炸梯度的消失和訓練數據的不足，很難使網絡在更深的范圍內收斂。

那么，我們為什么不充分利用現在的CNN特征呢？？？在此基礎上，提出了一種充分利用CNN特征的新深層結構-更豐富的卷積特征(RCF)，以圖像對圖像的方式對邊緣檢測進行像素級預測。RCF可以自動學習將來自CNN的所有層的互補信息組合起來，從而能夠獲得不同尺度上的目標價或目標部件的精確表示。

亮點

RCF將所有卷積特征封裝成更有區分性的表示，從而很好地利用了豐富的特征層次結構，并且可以通過反向傳播進行訓練。RCF充分利用對象的多尺度和多層次信息，全面地進行圖像到圖像的預測。利用VGG-16網絡，在幾個可用的數據集上實現了最先進的性能。

在對著名的BSDS 500基準進行評估時，在保持快速速度(8 FPS)的同時，實現了ODS F-measure為0.811。此外，提出的方法還有一個快速版本，其達到了ODS F-measure為為0.806與30 fps。通過將RCF邊緣應用于經典圖像分割，驗證了該方法的通用性。

RCF

借鑒了現有工作HED、FCN并開始VGG-16網絡。VGG-16網絡由13個Conv層和3個全連接層組成。將其Conv層劃分為五個階段，在這五個階段中，在每個階段之后連接池化層。由每個Conv層捕獲的有用信息隨著其感受野大小的增加變得更粗。在HED文獻中中可以找到不同層的詳細感受野大小。假設使用這種豐富的分層信息來幫助邊緣檢測，網絡設計的出發點就是在這里。

上圖顯示了提出的新網絡。與VGG-16相比，主要的修改可以概括為：

• 切割了所有全連接的層和池化層。一方面，去除了全連接的圖層，形成一個全卷積的網絡來進行圖像到圖像的預測；另一方面，增加池化層會使步長增加兩倍，往往導致邊緣定位的退化；
• VGG-16中的每個Conv層連接到內核大小為1×1、深度為21的Conv層。并在每一階段的結果特征映射被累積使用一個eltwise層來獲得混合特征；
• 一個1×1?1 Conv層在每個電子層后面。然后，用反卷積層對該特征映射進行采樣；
• 在每個階段，交叉熵損失/sigmoid層連接到上采樣層；
• 所有上采樣層都連接在一起，然后用1×1 Conv層對每個階段的特征映射進行融合。最后，采用交叉熵損失/sigmoid層來獲得融合損失/輸出。

Annotator-robust損失函數

這個邊緣數據集通常由幾個注釋者使用他們關于對象或對象部分的存在的知識來標記。雖然人類的認知能力不同，但對于同一幅圖像，這些人標記的邊緣具有很高的一致性。對于每幅圖像，平均所有的Ground Truth，生成一幅從0到1的邊緣概率圖。

多尺度分層邊緣檢測

在單尺度邊緣檢測中，將原始圖像傳送到微調的RCF網絡中，然后輸出是邊緣概率圖。

為了進一步提高邊緣質量，在測試階段使用圖像棱錐。具體地，我們調整圖像的大小以構造圖像金字塔，并且這些圖像中的每一個分別傳送到單個比例檢測器。然后，使用雙線性插值將所有得到的邊緣概率映射調整為原始圖像大小。最后對這些圖進行融合得到最終的預測圖。

在本研究中采用簡單的平均融合，盡管其他先進的策略也適用。通過這種方式，初步版本首先證明了多尺度測試仍然有利于邊緣檢測，盡管RCf本身能夠。

實驗分析

表1 在BSDS500數據集上的比較

圖 在BSDS500和NYUD數據集上的評估結果

圖 RCf的一些可視化案例

表 不同融合的結果

圖 在不同數據集上邊緣檢測的評估PR曲線

如果想加入我們“計算機視覺戰隊”，請掃二維碼加入學習群。計算機視覺戰隊主要涉及機器學習、深度學習等領域，由來自于各校的碩博研究生組成的團隊，主要致力于人臉檢測、人臉識別，多目標檢測、目標跟蹤、圖像分割等研究方向。

我們開創一段時間的“計算機視覺協會”知識星球，也得到很多同學的認可，我們定時會推送實踐型內容與大家分享，在星球里的同學可以隨時提問，隨時提需求，我們都會及時給予回復及給出對應的答復。

微信學習討論群也可以加入，我們會第一時間在該些群里預告！

論文地址：http://mftp.mmcheng.net/Papers/19PamiEdge.pdf

源碼：https://github.com/yun-liu/rcf

總結

以上是生活随笔為你收集整理的特征级融合_更丰富的卷积特征用于目标边缘检测（文末附有论文及源码下载）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。