摘要

摘要:本文提出了一種視差細化方法，通過對視差統計意義的探討，直接細化贏者通吃視差圖。根據基于分割的立體匹配的主要步驟，將參考圖像過度分割為超像素，并通過改進的隨機樣本對每個超像素進行視差面擬合共識(RANSAC)。我們設計了一個兩層優化來細化視差平面。在全局優化中，利用馬爾可夫隨機域(MRF)推理估計超像素點的平均視差，然后根據平均視差推導出遮擋處理的三維鄰域系統。在局部優化中，采用貝葉斯推理和貝葉斯預測相結合的概率模型，隱式地實現了三維鄰居間的二階平滑。兩層優化是一種純視差細化方法，因為在細化過程中不需要立體圖像對之間的相關信息。在Middlebury和KITTI數據集上的實驗結果表明，該方法能夠快速準確地進行立體匹配，有效地處理遮擋。由此可見，“匹配成本計算+視差細化”框架是在較低的計算成本下生成精確視差圖的一種可能的解決方案。

?

?

1.相關工作

1.1MRF Stereo Methods

? ? ? 馬爾可夫隨機場(MRF)立體視覺方法將匹配問題形式化為標簽問題，其目標是優化測量標簽質量的全局能量函數。傳統的MRF立體方法[18]、[19]給每個像素分配一個一維離散視差標簽。利用圖割[20]、[21]、信念傳播[22]、[23]、TRW[24]等優化方法，實現能量函數的最小化。基于圖切割的擴展移動和交換移動[18]顯示出良好的性能。這些移動可以同時更新所有像素的標簽，因此優化很難被局部極小值捕獲。一維標簽立體聲方法的缺點是建模高度傾斜的表面。三維標簽立體方法[25][27]的提出，以建立更準確的模型。這些方法不僅可以對高度傾斜曲面進行建模，而且可以實現二階平滑約束[25]、[28]、[29]。因此，它們通常比1D標簽方法有更好的準確性。然而，像素級的全局優化使計算變得復雜。

? ?我們的方法在超像素層上執行一維標簽MRF推理。由于超像素的數量遠遠小于圖像中的像素數量，因此推理速度要快得多。與之前的工作不同，我們的工作是以superpixel的離散均值差作為標簽。即使在高度傾斜的表面上，也能正確地估計出這種差異。

1.2?Segment-based Stereo Methods?

? ? ?? 基于分段的立體方法[30][32]假設場景結構為分段平面，差值映射的估計轉化為為每個分段分配一個三維視差平面。首先，將參考圖像分割成顏色均勻的區域。然后用已知的立體匹配方法計算初始視差圖，通過對視差圖的平面擬合生成候選視差平面。最后，利用圖形切割和信念傳播等全局優化方法，為每一段分配一個最優的平面標簽。最終的結果取決于分割的質量。為了放寬路段約束，提出了若干改進措施。為了保證深度不連續只出現在段的邊界上，過度分割是一種常見的解決方案。Bleyer等人提出了一個像素級的MRF公式，該公式包含了軟分段約束。聯合分割和視差計算[34]，[35]可以提高優化過程中的分割質量。但是這些方法有一個共同的缺點。一個段的finalplane標簽是從候選標簽集中分配的。有限集可能不包含正確的標記，在這種情況下，視差計劃的估計是錯誤的，錯誤是無法糾正的。在wang和Zheng[36]的工作中，通過協同優化對總能量函數進行優化，并將其分解為局部優化的子目標能量函數和。優化過程是迭代的，局部優化可以修正虛規劃。因此，該方法對初始擬合結果具有較強的魯棒性。

? ? ?與以往的全局能量函數優化方法相比，該方法通過局部優化和隱式約束平滑來細化視差面。此外，視差細化方法不需要立體圖像對之間的相關信息，因此可以在單一視圖中進行處理。

?

2.OVERVIEW OF THE TWO LAYEROPTIMIZATION（兩層優化的概述）

?

? ? 我們提出了一個兩層優化來細化WTAdisparity map。在全局優化層(第四節)，采用MRF優化算法對后向平行視差圖進行估計。

3維鄰域系統通過超像素的平均視差劃分。在局部優化層(SectionV)中，RANSAC對超像素點擬合了傾斜平面A，并利用超像素點S的平均視差對擬合結果進行了約束。利用貝葉斯推理和貝葉斯預測的概率模型對初始傾斜視差圖進行了改進。這兩個優化層都在超像素級運行，具有很高的效率。

2.1. FRONT-PARALLEL DISPARITY MAP（前向-平行視差圖）

我們使用全局MRF優化來估計一個前并行視差圖。超像素被表示為圖形節點。MRF優化的目的是最小化后續的能量。

us是標簽，在我們的例子中是超像素s的均值視差;n是超像素集合，N代表相鄰超像素集合；g(us) 為數據項，f(us,ut)平滑項，l為平衡系數。與3D標簽MRF相比，在超像素級優化1Dlabel是有效的(Section IV-B)。我們提出了一種新的基于視差分布(Section IV-A)的數據項，而不是基于左右圖像之間的匹配成本或相似度度量。為了處理前-背景遮擋，由us推導出表示深度不連續的三維鄰域系統(Section IV-C)。我們還研究了一個特殊的情況，證明1D標簽的MRF公式不能模擬高裂紋表面(IV-D部分)。

A.視差分布的解釋

?? 基于分段的立體視覺方法假設視差在一個分段內近似線性。在分段平面假設下，具有適當邊界的平面的視差分布是均勻的。

考慮到超像素點的不規則邊界形狀，建立了超像素點內視差分布的數學模型超像素是正態分布。

? ? d代表視差，us和ds分別代表超像素s的均值和方差。較高的ds表示較傾斜的表面，而對于前平行表面，ds 近似等于零。(2)的數據項基于視差分布直方圖，如本節所述B

B.MRF Optimization

為了估計一個前向平行視差圖，我們估計了超像素的超像素視差。front-parallel平面可以通過π=（0，0，us）獲取。(2)的數據項和平滑項定義如下：

1）數據項：評估視差中心的置信度，超像素的視差分布是被分成直方圖箱，我統計超像素視差落入直方圖的數目，寬度為L。定義如下：

?

?Ns為在超像素的素數數目，us的取值為0，1l,2l......,而較低的數據項表示由于負號而較高的置信度，I是一個條件函數：

I表示是否落入Bin的直方圖重。數據項的設計是基于投票的。

? ? 落在同一個箱子里的觀測次數越多，可信度越高。閉塞區域的wta差異存在噪聲干擾，難以達成一致。因此，被遮擋區域的dataterm相對較高，標簽以平滑項為主。

2）平滑項:平滑項使相鄰超像素間的視差分布中心具有相似性，定義為：

Wst顏色相似度權重,定義為:

y是控制顏色權重的影響系數。I(S)為超像素的色彩平均值，E為下界截斷值，L(s,t)相鄰的超像素s和t是共享邊界長度;T可以是一個度規或半度規，將在C部分定義。

C.3D鄰域系統：

通過MRF優化估計的超像素平均視差提供了全局的場景信息。提出了表示深度不連續性的三維鄰域系統：

（s,t）為超像素對，如果他們均值視差不相似，那么他們的一范式大于L，那么他們不是相鄰，因此，在N3d中可能存在的前-背景連接是切斷的。這是遮擋處理的一個重要屬性。E章節有更多的描述。

估計N3d的準確度，T是平滑項，通過定N3d ,T的定義如下：

其中τ> 2。Ts是一個半度量，它是非子模的，不能通過流行的擴展移動[18]來優化。

?

代碼地址：https://github.com/TingmanYan/SDR

總結

以上是生活随笔為你收集整理的Segment-based Disparity Refinement with Occlusion Handling for Stereo Matching翻译和理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。