傳統的方法：

可大致分為三類：基于block和intrinsic cues的模型、基于region和intrinsic cues的模型、基于extrinsic cues的模型（包括block和region）。

• 基于block和intrinsic cues的模型

Itti等人提出的開創性工作[1]之后，大多數模型都是基于中央周邊差操作。[2]中用特征的極坐標變換將輸入圖像表示在一個二維空間中，里面的每一個區域被映射到一維的線性子空間中，之后利用廣義的主成分分析[3]來對這個線性子空間進行估計，最后通過測量特征的對比和區域的幾何性質來產生顯著性區域。還有[4]和[5]，[4]的方法是無參數的，只需要非常簡單的像素操作，如邊緣檢測，閾值分解和二值化矩保持。[5]利用一種基于等距圖的框架，其中顯著圖是通過線性計算顯著圖曲線，顏色增強和等中心聚類來估計的。

之后[6]（FT）提出了頻率調制的方法來產生全像素的顯著性圖。[7]和[8]利用多尺度對比來提高魯棒性，建立多層的高斯金字塔，通過公式計算每一個像素的顯著性得分。

即使利用多尺度信息，pixel級的內在線索在顯著性計算任務中依然顯得乏力。于是提出了patch級的處理方法。[9]提出了信息理論的方法，利用KL聚類算法計算灰度、顏色和方向的中央周邊差特征分布。[10]將中央周邊差操作看作成本敏感的最大邊界分類問題，用SVM來實現。

[11]（CA）用與其他區域的對比度來定義patch的顯著性，如果一個patch和與他最相似patch的差別都很大的話，那么這個patch就是顯著性區域，同時考慮了空間因素。[12]中提出在高維空間中，不痛同patch更加分散，而相同的區域則更加靠近。基于這一觀察，計算區域與平均區域的距離來作為這個區域的顯著性，一個patch的顯著性是通過在圖像主分量上將它的path投射到平均patch上來度量的。

總的來說，基于block/patch和intrinsic cues的模型有兩方面的問題：Ⅰ. 邊界（通常具有高對比度）會顯著性計算。Ⅱ. 顯著性區域的邊界不能很好的保留。為了克服這些問題，提出了基于region的模型，有兩個好處有：Ⅰ. region的數量比block/patch要少很多，這有助于實現一個高效快速的算法。Ⅱ. 在region區域中更有可能提取出信息量大的特征。

• 基于region和intrinsic cues的模型

用基于圖的圖像分割算法[13]、Mean shift[14]、超像素分割[15]和Turbopixels算法[16]等來產生region。通常先將輸入圖像分割成不同灰度的區域，然后計算區域顯著性圖。

[17]中region顯著性是計算其包含的像素的顯著性的平均，通過多尺度顯著性的對比來計算像素的顯著性。[18]通過observation提出了一系列的規則來計算每一個region背景的得分。

在那之后提出了一些通過global regional contrast來計算顯著性區域的算法。[19]提出了HC和RC算法，HC算法中每一個像素的顯著性通過計算該像素與其他像素在LAB顏色空間中的距離來計算。RC算法中加入了空間域信息。[20]（SF）提出可以使用高效的基于過濾的技術來計算HC和RC中的顯著性，即利用[21]中的方法。

除了顏色信息，也加入的紋理[22]和結構信息[23]，[24]提出了計算region和patch來構建顯著性。在[25]中提出了一種soft abstraction，利用直方圖量化和高斯混合模型來生成一組大尺度的感知均勻區域，而不是保持每個像素的hard region index。通過避免超像素的硬決策邊界，這種軟抽象提供了較大的空間支持，從而產生更加均勻的顯著區域。（？）

[26]中提出了一種基于multi-scale local region contrast的算法，通過計算多尺度的顯著性來增加魯棒性，結合這些region的顯著性來計算出一個像素級的顯著性圖。[27]和[28]也采用了類似多層次分割的辦法。[29]通過構建hypergraph擴展成對的局部對比，hypergraph由超像素的非參數多尺度聚類構造，來同時捕獲區域的internal consistency和external separation。顯著目標檢測被描述為在hypergraph中尋找salient vertices和hyperedges。

顯著性區域也可被定義為sparse noises在特定的特征空間中，這個特征空間將輸入圖片表示為低秩矩陣。這樣做基本的假設是背景區域可以被解釋為低秩矩陣，而顯著性區域用稀疏噪聲表示。基于這個低秩基本假設框架，[30]提出了一個統一的方法將傳統的底層次特征與高層的指導結合起來（e.g., center prior, face prior 和 color prior），用學習到的特征變換來檢測顯著的目標。相似的，[31]提出了一種樹狀結構的稀疏誘導范數正則化方法，來分層描述圖像結構，以統一突出整個顯著性對象。[32]與[30]不同的是，[32]建議利用自底向上分割作為低秩矩陣恢復的指導線索，以達到魯棒性目的。

除了計算圖中的uniqueness，越來越多的先驗信息被引顯著性檢測。[8]中提出了Spatial distribution prior，也就是說，一種顏色在圖像中分布的越廣泛，那么顯著性物體越不可能包括這種顏色。超像素區域的空間分布可被高斯濾波在線性時間內高效評估，跟RC中顯著性區域的計算公式相似。

中心分布假設顯著性物體更有可能出現在圖片中心，背景區域則遠離中心區域。因此backgroundness prior也被加入到了顯著性檢測中，圖像的狹窄的四個邊界包括的區域是背景區域（i.e., the pseudo-background，偽背景）。基于偽背景，顯著性區域可以通過與背景區域的比較獲得。[33]中提出了一種兩階段的基于無向加權圖的流形排序計算框架，通來計算顯著性區域。在第一個階段，區域顯著性得分被定義為該區域與圖像偽背景的query。第二個階段，每個區域的顯著性得分定義為與第一步計算出的前景區域的相關性。[34]中的顯著性計算被定義為與偽背景的稠密與稀疏重構的誤差。每個區域的稠密重構誤差是基于背景模板的主成分分析來計算的，而稀疏重構誤差則表示為基于背景模板稀疏表示的殘差。這兩種類型的重構誤差在多次分割后傳播到像素上，融合形成最終的顯著性圖。[35]通過吸收馬爾可夫鏈來實現顯著性檢測。其中暫態節點和吸收節點分別是圖像中心和邊界的超像素區域。每個超像素區域的顯著性被定義為暫態節點到馬爾可夫鏈吸收節點的吸收時間。

除了這些方法外，通用的objectness prior（這種先驗通常由學習獲得）也被用來通過利用對象的proposals來促進顯著的對象檢測[36]。[37]提出一種計算框架，通過將對象和區域顯著性融合到圖形模型中。這兩部分通過迭代最小化能量函數來共同近似，這個能量函數編碼了他們的相互作用關系。在[38]中，區域對象度被定義為其所包含像素的平均對象度值，并將其納入區域顯著性計算中。[39]根據對象性先驗，將其與“soft”前景和背景相比較，計算每個區域的顯著性。

基于偽背景假設的顯著性檢測在顯著性物體包含邊界時就會失效。為此，一種boundary connectivity prior被提了出來。一般來說，跟背景相比顯著性物體連接到偽背景的可能性更低。因此，一個區域的boundary connectivity得分根據這個區域在邊界上的長與這個區域的the spanning area的比例來估計[40]。可以根據其到偽背景區域和其他區域的測地線距離來分別具體計算。這些得分被整合到一個二次函數中，得到最后優化的顯著性圖。boundary connectivity prior作為segmentation prior用在[32]中，作為surroundness用在[41]中。

為了吸引更多的注意，一個突出的物體經常被對準焦點拍攝，這就是focusness prior。[38]根據焦距模糊的程度，來計算focusness prior。通過將這種去聚焦模糊建模為銳利圖像與點擴展函數的卷積，用高斯核近似，像素級清晰度被轉換為通過尺度空間分析估計高斯核的標準差。區域焦點分數通過傳播邊界和內部邊緣像素的焦點和/或銳度來計算。顯著性評分最終由獨特性（全局對比）、客觀性和關注度評分的非線性組合得到。

基于region的顯著性物體檢測的性能可能會受分割參數的影響。除了基于多尺度的方法， [42]通過求解facility location problem，提取出單尺度的潛在顯著區域。在這個方法中，一張輸入圖片一開始被表示為超像素的無向圖，然后通過凝聚聚類產生一個更小的候選區域中心集合。在這個集合中，構建一個子模塊目標函數來最大化相似性。通過貪婪算法，目標函數不斷整合超像素進region來迭代優化，這些region的顯著性值進一步通過區域全局對比和空間分布來衡量。

基于的貝葉斯框架也被引入顯著性計算[43][44]，通過計算輸入圖像每個像素的后驗概率來估計。為了估計顯著性先驗，首先需要將顯著性點包括進一個凸包，也就是包裹進所有的顯著性點。這個凸包外面的部分可以被粗略地估計為背景而里面的部分被粗略地估計為前景，用來進行似然計算。[45]采用一個優化地框架來檢測顯著性物體，也采用了一個凸包來粗略估計前景和背景。然后，從圖像中學習saliency seeds，同時從背景區域和先驗知識中學習一個guidance map。利用這些線索，引入一個一般的帶有狄利克雷邊界的線性橢圓系統來模擬種子向其他區域的擴散，從而生成顯著性映射。

在這一小節中的所有模型中，一方面主要用三種算法產生區域用來實現顯著性計算。基于圖的分割算法、mean-shift算法、聚類算法可以生成大小不一的不規則區域。另一方面，超像素算法逐漸成熟，可用SLIC[15]、Turbopixel[16]將具有像素集合成相當大小的緊湊區域。這兩種類型的區域的主要區別是region的大小是否會對結果有影響。此外，soft region也被考慮用于顯著性分析，其中每個像素都保持屬于所有區域（分量）的概率，而不僅僅是一個hard region標簽（如用GMM擬合）。為了進一步增強分割的魯棒性，可以通過多次分割或分層生成區域。通常來說，單尺度分割更快，多尺度的分割可以提高性能。

uniqueness仍然是使用的最頻繁的特征，以全局和局部對比的形式，通常用來衡量區域的顯著性。此外，越來越多的區域顯著性的先驗被加入到研究中，以提高整體表現。比如，backgroundness，objectness，focusness和boundary connectivity，這些先驗知識也是使模型性能優于基于block顯著性模型的原因。此外，region提供了更復雜的線索（如顏色直方圖），以更好地捕捉場景的顯著對象，而不是像素和補丁，另一個好處是效率會高。由于圖像中區域的數量遠小于像素的數量，在region計算顯著性可以顯著降低計算成本，同時生成全分辨率顯著性圖。

?

?

?

?

?

?

?

?

?

?

?

?

?

[1]《A model of saliency-based visual attention for rapid scene analysis》

[2]《Robust subspace analysis for detecting visual attention regions in images》

[3]《Generalized principal component analysis (gpca)》

[4]《“GrabCut”: interactive foreground extraction using iterated graph cuts》

[5]《Image saliency by isocentric curvedness and color》

[6]《Frequency-tuned salient region detection》

[7]《Region enhanced scale-invariant saliency detection》

[8]《Learning to detect a salient object》

[9]《Center-surround divergence of feature statistics for salient object detection》

[10]《Contextual hypergraph modeling for salient object detection》

[11]《Context-aware saliency detection》

[12]《What makes a patch distinct?》

[13]《Effificient graph based image segmentation》

[14]《Mean shift: A robust approach toward feature space analysis》

[15]《Slic superpixels compared to state-of-the-art superpixel methods》

[16]《Turbopixels: Fast superpixels using geometric flflows》

[17]《Region enhanced scale-invariant saliency detection》

[18]《A rule based technique for extraction of visual attention regions based on real-time clustering》

[19]《Global contrast based salient region detection》

[20]《Saliency fifilters: Contrast based fifiltering for salient region detection》

[21]《Fast high-dimensional fifiltering using the permutohedral lattice》

[22]《Statistical textural distinctiveness for salient region detection in natural images》

[23]《Pisa: Pixelwise imagesaliency by aggregating complementary appearance contrast measures with spatial priors》

[24]《What makes a patch distinct?》

[25]《Effificient salient region detection with soft image abstraction》

[26]《Automatic salient object segmentation based on context and shape prior》

[27]《Saliency detection via dense and sparse reconstruction》

[28]《Hierarchical saliency detection》

[29]《Contextual hypergraph modeling for salient object detection》

[30]《A unified approach to salient object detection via low rank matrix recovery》

[31]《Salient object detection via low-rank and structured sparse matrix decomposition》

[32]《Segmentation driven low-rank matrix recovery for saliency detection》

[33]《Saliency detection via graph-based manifold ranking》

[34]《Saliency detection via dense and sparse reconstruction》

[35]《Saliency detection via absorbing markov chain》

[36]《From co-saliency to co-segmentation: An effificient and fully unsupervised energy minimization model》

[37]《Fusing generic objectness and visual saliency for salient object detection》

[38]《Salient region detection by ufo: Uniqueness, focusness and objectness》

[39]《Category-independent object-level saliency detection》

[40]《Saliency optimization from robust background detection》

[41]《A boolean map approach》

[42]《Submodular salient region detection》

[43]《Segmenting salient objects from images and videos》

[44]《Bayesian saliency via low and mid level cues》

[45]《Adaptive partial differential equation learning for visual saliency detection》

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的论文翻译《Salient object detection: A survey》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。