論文記錄-2019-Salient object detection: A survey

• 論文內容
• • 摘要
  • 1 簡介
  • • （1）什么是顯著物體檢測？
    • （2）定位顯著物體檢測（與其他問題差異）
    • （3）顯著物體檢測的歷史
  • 2 SOTA方法綜述
  • • （1）經典模型
    • （2）深度學習模型
  • 3 應用
  • 4 數據集&評估
  • 5 討論與總結
  • • （1）設計選擇
    • （2）數據集偏差
    • （3）未來方向

---

論文內容

Salient object detection: A survey¹
顯著物體檢測：綜述
以下僅為作者閱讀論文時的記錄，學識淺薄，如有錯誤，歡迎指正。

摘要

• Detecting and segmenting salient objects from natural scenes, often referred to as salient object
  detection, has attracted great interest in computer vision.
  從自然場景中檢測和分割顯著物體，通常被稱為顯著物體檢測，已經引起了計算機視覺領域的極大興趣。

• While many models have been proposed and several applications have emerged, a deep understanding of achievements and issues remains lacking.
  雖然已經提出了許多模型，并出現了一些應用程序，但仍然缺乏對這種成就和問題的深刻理解。

• We aim to provide a comprehensive review of recent progress in salient object detection and situate this field among other closely related areas such as generic scene segmentation, object proposal generation, and saliency for fixation prediction.
  我們的目標是針對顯著物體檢測的最新進展進行全方面的回顧，并將該領域與其他密切相關的領域進行比較，如通用場景分割、目標建議生成和眼動點預測的顯著性。

• Covering 228 publications, we survey i) roots, key concepts, and tasks, ii) core techniques and main modeling trends, and iii) datasets and evaluation metrics for salient object detection.
  我們從228篇出版物總結出：
  1）起源、關鍵概念和任務，
  2）核心技術和主要建模趨勢
  3）用于顯著目標檢測的數據集和評估指標。

• We also discuss open problems such as evaluation metrics and dataset bias in model performance, and suggest future research directions.
  我們還對一些開放性問題進行了討論，如模型表現上的評價指標和數據集偏差，并對未來的研究方向提出了建議。

1 簡介

• 人類能夠在預先注意的階段（ pre-attentive stage） 輕松而快速地檢測到視覺上獨特的，也就是“顯著的（salient）”，場景區域，這些區域會在注意階段（attentive stage） 提取更豐富的高級信息。

• 這種能力有助于找到代表場景的物體或區域，這是復雜視覺問題的關鍵步驟，例如場景理解等。

• 一些與視覺顯著性相關的主題包括：

  • 顯著物體檢測（salient object detection）
  • 眼動點預測（fixation prediction）
  • 物體重要性（object importance）
  • 記憶性（memorability）
  • 場景雜波（ scene clutter）
  • 視頻興趣（video interestingness）
  • ……

• 本文只關注顯著物體檢測，這是一個在過去20年里發展得極大的研究領域，特別是自2007年以來。

（1）什么是顯著物體檢測？

• 顯著物體檢測（Salient object detection） 或顯著物體分割（salient object segmentation） 通常包括兩個階段：

• 檢測最顯著的物體（detecting the most salient object）
• 分割該物體的精確區域（segmenting the accurate region of that object）

• 良好的顯著性檢測模型至少應該滿足以下三個標準：

• 良好的檢測（good detection）：未檢測到的顯著區域和錯將背景標記為顯著區域的概率應該較低；
• 高分辨率（high resolution）：顯著映射圖應該具有高分辨率或全分辨率，以準確定位顯著目標并保留原始圖像信息；
• 計算效率（computational efficiency）：作為其他復雜過程的前期工作，這些模型應該快速檢測顯著區域。

（2）定位顯著物體檢測（與其他問題差異）

• 眼動點定位（fixation locations） 與顯著物體（ salient objects） 之間存在著很強的相關性。兩者的輸出都是一張連續值的映射圖（continuous-valued saliency map），像素值更高表示該點更可能被注視；

• 物體提議生成（Object proposal generation） 也與顯著物體檢測高度相關，但前者輸出一些候選對象的邊框或區域建議；

• 圖像分割（Image segmentation），也稱為語義場景標記（semantic scene labeling） 或語義分割（ semantic segmentation），為每個像素標記一個類別，例如天空、道路、建筑等，而顯著物體檢測的輸出是一個二元映射圖；

• 幾種問題的對比如下圖：
  （從左至右分別為：原圖像，顯著物體檢測，眼動點預測，圖像分割（不同大小），圖像分割（類似大小），物體提議）
  

（3）顯著物體檢測的歷史

• 第一波浪潮：Itti等人提出最早一批顯著模型，跨越了多個學科；
• 第二波浪潮：將顯著物體檢測視為二元分割問題（ binary segmentation problem）；
• 第三波浪潮：卷積神經網絡（convolutional neural networks，CNNs）的興起。
  

2 SOTA方法綜述

（1）經典模型

基于塊（Block-based） VS 基于區域（region-based）
前者主要用于早期方法，而后者隨著超像素算法的引入而變得流行。

內部線索（Intrinsic cues） VS 外部線索（extrinsic cues）
前者來自輸入圖像內部，而后者借助用戶標注、深度圖等信息。

• 本文將模型分三類討論（上述方法的組合）：
  • 內部線索+基于塊
  • 內部線索+基于區域
  • 外部線索（基于塊+基于區域）

（2）深度學習模型

基于傳統卷積網絡（classic convolutional network，CCN）的模型

基于完全卷積網絡（fully convolutional networks ，FCNs）的模型

3 應用

• 物體檢測與識別（object detection and recognition）
• 圖像與視頻壓縮（image and video compression）
• 視頻總結（video summarization）、
• 照片拼貼/媒體重定位/裁剪/縮略圖（photo collage/media retargeting/cropping/thumbnailing）
• 圖像質量評估（image quality assessment）
• 圖像分割（image segmentation）
• 基于內容的圖像檢索和圖像收集瀏覽（ content-based image retrieval and image collection browsing）
• 圖像編輯與操作（image editing and manipulation）
• 視覺跟蹤（visual tracking）
• 對象發現（object discovery）
• 人機交互（human-robot interaction）

4 數據集&評估

• 數據集總結如下圖：
  
• 評估指標：
  • 查準率和查全率（precision–recall ，PR)
  • F-度量（F-measure）
  • 觀測者操作特性曲線（Receiver operating characteristics ，ROC)
  • ROC曲線下的面積（Area under ROC curve，AUC)
  • 平均絕對誤差（Mean absolute error，MAE)

5 討論與總結

（1）設計選擇

• 啟發式（Heuristics ）VS 從數據中學習 （learning from data）

• 手工特征（ Hand-crafted）VS CNN特征（ CNN-based features）

• 基于CNN的顯著性檢測的近期進展

（2）數據集偏差

• 選擇偏差（selection bias）

• 捕獲偏差（capture bias）

• 負集偏差（negative set bias）

（3）未來方向

• 超越單一圖像

• 實例級顯著物體檢測

• 多功能網絡結構

---

Borji A, Cheng M M, Hou Q, et al. Salient object detection: A survey[J]. Computational visual media, 2019, 5(2): 117-150. ??

總結

以上是生活随笔為你收集整理的论文记录-2019-Salient object detection: A survey的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。