摘要

我們對41個最先進的模型（29個顯著目標檢測，10個注視點預測，1個算法，1個基線)，從定性和定量的角度廣泛的比較了7個具有挑戰性的數據集，以對顯著的目標檢測和分割方法進行基準測試。從目前獲得的結果來看，我們的評估在過去幾年在準確性和運行時間方面都取得了一致的快速進展。在這一基準測試中，排名前幾位的模型表現明顯好于三年前進行的前一基準測試中被認為最好的模型。我們發現，專為顯著目標檢測設計的模型通常比密切相關領域的模型表現得更好，這反過來又提供了一個精確的定義，并提出了一個適當的處理方法，以區別于其他問題。特別地，我們分析了中心偏差和場景復雜性對模型性能的影響，這與最先進的模型的困難情況一起，為構建更具挑戰性的大規模數據集和更好的顯著性模型提供了有用的提示。最后，我們提出可能的解決方案，以解決幾個開放的問題，如評價分數和數據集偏差，這也提出了未來的研究方向，在快速增長的領域的顯著目標檢測。

引言

視覺注意力是人類視覺系統選擇性地處理視覺刺激細節的驚人能力，已經被認知心理學、神經科學和計算機視覺等多個學科研究過。遵循認知理論(如特征整合理論(FIT)、引導搜索模型)和早期注意模型如Koch、Ullman和Itti等人的，數以百計的計算顯著性模型提出了從圖像和視頻中檢測視覺顯著子集的方法。
盡管有心理學和神經生物學的定義，視覺顯著性的概念在計算機視覺領域變得模糊。一些視覺顯著性模型旨在預測人類注視來測試他們的準確性顯著檢測，而其他模型通常是由計算機視覺應用,如content-aware圖像縮放和照片可視化，試圖確定顯著區域/對象和明確的特點判斷用于評估。盡管這兩種顯著性模型可以互換使用，但由于顯著性檢測的目的不同，它們生成的顯著性圖實際上表現出顯著不同的特征。例如，注視點預測模型通常會彈出稀疏的類塊顯著區域，而顯著目標檢測模型通常會生成平滑的連通區域。一方面，對大的顯著區域進行檢測，往往會導致嚴重的誤報，從而影響對注視點的預測。另一方面，僅彈出式稀疏顯著區域在檢測突出區域和目標時，會造成大量的脫靶。
為了區分這兩種類型的顯著性模型，我們在本研究中給出了一個精確的定義，并提出了一種合適的顯著性目標檢測方法。一般來說，一個顯著目標檢測模型應該首先檢測場景中突出的吸引注意力的對象，然后對整個對象進行分割。通常，模型的輸出是一個顯著性映射，其中每個像素的強度表示其屬于顯著性對象的概率。從這個定義中我們可以看出，這個問題的本質是一個figure/ground segmentation的問題，其目的是將顯著的前景對象從背景中分割出來。注意，它與傳統的圖像分割問題稍有不同，后者的目標是將圖像分割成感知上一致的區域。
在本研究中，我們比較和分析了三類模型:1)顯著目標檢測，2)注視預測，3)目標建議生成。之所以將后兩種模型包括進來，是為了進行跨類別的比較，研究針對突出目標檢測設計的模型在固定預測和目標建議生成方面是否比模型具有實際優勢。這一點特別重要，因為這些模型具有不同的目標，并生成視覺上獨特的地圖。我們還包括一個基線模型來研究模型比較中中心偏差的影響。綜上所述，我們希望這樣的基準測試不僅能讓研究人員將其模型與其他算法進行比較，還能幫助識別影響突出目標檢測模型性能的主要因素。

顯著目標檢測基準

在此基準測試中，我們主要評估輸入為單個圖像的模型。這是由于對單個輸入圖像的顯著性目標檢測是主要的研究方向，而對多個輸入圖像的工作模型(如共顯著性目標檢測和時空顯著性)的綜合評價缺乏公共基準。

A 模型比較

本研究共運行41個模型(29個顯著目標檢測模型、10個注視預測模型、1個客觀建議模型和1個基線模型)，這些模型的代碼或可執行文件是可訪問的(完整列表見圖1)。基線模型表示為“平均注釋圖(Average Annotation Map, AAM)”，它只是每個數據集上所有圖像的地面真相注釋的平均值。值得注意的是，AAM通常在圖像中心有較大的激活(見圖2)，因此我們可以研究中心偏置對模型比較的影響。

B 數據集

由于存在許多數據集，這些數據集在圖像數量、每幅圖像的對象數量、圖像分辨率和注釋形式(邊界框或精確區域掩碼)方面存在差異，因此模型在不同數據集之間的排名可能不同。因此，為了進行公平的比較，有必要對多個數據集運行模型，從而得出客觀的結論。一個好的模型應該能夠很好地處理幾乎所有的數據集。為此，選擇7個數據集進行模型比較，包括

MASRA10K

THUR15K

ECSSD

.JuddDB

DUT-OMRON

SED2

PASCAL-S
選擇這些數據集的準則：
1)使用廣泛，2)包含大量圖像，3)有不同的偏差(如:突出物體的數量、圖像雜亂、中心偏差)，4)有可能作為未來研究的基準。

C 評價方法

有幾種方法可以衡量模型預測和人工注釋之間的一致性。一些度量方法評估標記區域和模型預測之間的重疊，而另一些度量方法嘗試評估帶有對象邊界的繪制形狀的準確性。此外，一些度量標準試圖同時考慮邊界和形狀。

• PR：M mask G ground-truth
  
  mask 方法：
  1閾值，顯著性平均值的2倍。
  
  2 固定閾值 （0-255）
  3 saliency cut algorithm
• F-度量 （${\beta }^2=0.3$）
  
• ROC
  
• AUC
• 平均絕對誤差
  
• $F_{\beta }^W$度量

總結

以上是生活随笔為你收集整理的Salient Object Detection: A Benchmark （显著性目标检测的一个基准）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。