KLT光流跟蹤

簡介
只有在良好的特征被識別出來并從一幀跟蹤到另一幀時，基于視覺的系統才能正常工作。雖然跟蹤本身基本上是一個已解決的問題，但選擇能夠很好地跟蹤并與世界上的物理點相對應的特征仍然很困難。本文提出了一種基于跟蹤器工作原理的結構最優特征選擇準則，并提出了一種特征監測方法，可以檢測到遮擋、遮擋和與世界上的點不一致的特征。這些方法基于一種新的跟蹤算法，該算法擴展了先前牛頓-拉斐遜式搜索方法在仿射圖像變換下的工作。我們用幾個模擬和實驗來測試性能。
1、引言*
在幀間位移較小的情況下，可以通過優化、平移和線性圖像變形相關的匹配準則來跟蹤窗口，并且可能具有自適應窗口大小。特征窗口可以根據一些紋理或角點的測量值來選擇，例如空間強度分布的高標準偏差、圖像強度的拉普拉斯零交叉的可能性和角點。然而，即使是一個富有質感的地區也可能是信息缺乏的。例如，它可以跨越深度不連續或光澤曲面上反射高光的邊界。在任何一種情況下，窗口都不會附著在世界上的某個固定點上，這使得該特性對運動算法中的大多數結構無效甚至有害。此外，即使是好的特征也可能會被遮擋，當這種情況發生時，跟蹤器通常會離開原來的目標。在這些問題得到解決之前，沒有一個基于特征的視覺系統能夠真正工作。
本文介紹了在跟蹤過程中，如何利用特征相異性度量來監控圖像特征在第一幀和當前幀之間的變化。這個想法很簡單：相異性是特征在第一幀和當前幀之間的均方根殘差，當相異性變得太大時，應該放棄特征。
在本文中，我們對這個問題做出了兩個主要貢獻。首先，我們提供了實驗證據，當測量相異性時，純平移并不是一個合適的圖像運動模型，但是仿射圖像變化，即線性翹曲和平移，是足夠的。其次，我們以Lu-cas和Kanade對純平移模型所做的那樣，提出了一種用Newton-Raphson-stile極小化方法來確定仿射變化的一種合理而有效的方法。
此外，我們提出了一種比傳統的“興趣”或“角點 ”度量更原則性的方法來選擇特性。具體地說，通過優化跟蹤器的精度，可以定義具有良好紋理特性的特征。換言之，正確的功能正是使跟蹤器工作得最好的特性。最后，我們認為使用兩個圖像運動模型比使用一個模型要好。事實上，當幀間攝像機平移很小時，平移比仿射變換給出更可靠的結果，但仿射變化是比較遠距離幀以確定相異性所必需的。我們在下一節中定義這兩個模型。
2、圖像運動的兩種模型
隨著相機的移動，圖像的紋理模式會發生復雜的變化。然而，遠離遮擋邊界和近表面標記，這些變化通常可以描述為圖像運動：

因此，后期圖像可以通過適當移動時間t的當前圖像中的每個點適來獲得。運動量
被點（x,y）稱為位移矢量。位移矢量是圖像位置x的函數，即使在用于跟蹤的小窗口內變化也常常很明顯。因此，談論（（“特征窗口的位移”是沒有意義的，因為同一窗口內有不同的位移。變換函數是一個更好的表示：x=（x，Y）

是一個變形矩陣，d是特征窗口中心的平移。圖像坐標x是相對于窗口中心測量的。然后，第一圖像I中的點x移動到第二圖像J中的點Ax+d，其中A=1+D，I是2x2單位矩陣：

給定兩個圖像I和J以及圖像I中的一個窗口，跟蹤意味著確定出現在變形矩陣D和位移向量d中的六個參數。該估計的質量取決于特征窗口的大小、其中圖像的紋理以及幀之間的相機運動量。當窗口很小時，矩陣D就更難估計，因為它內部的運動變化較小，因此可靠性較低。然而，較小的窗口通常更適合跟蹤，因為它們不太可能跨越深度不連續。因此，在跟蹤過程中，最好使用純轉換模型，其中假設變形矩陣D為零：
這兩種運動模型的最佳組合是純平移跟蹤，因為它比攝像機的小幀間運動具有更高的可靠性和準確性，以及用于比較在第一幀和當前幀之間特征的仿射運動進行質量監控。然而，為了定量地解決這些問題，我們首先需要介紹我們的跟蹤方法
3、計算圖像運動
由于圖像噪聲和仿射運動模型的不完美性，方程（2）一般不能完全滿足。確定運動參數的問題就是找到最小化差異的A和d

其中W是給定的特征窗口，w（x）是加權函數。在最簡單的情況下，w（x）=1。或者，w可以是一個類似高斯的函數來強調窗口的中心區域。在純平移下，矩陣A被約束為等于單位矩陣。為了使殘差（3）最小化，我們根據變形矩陣D和位移向量D的未知項對其進行微分，并將結果設為零。然后我們用截斷泰勒展開將得到的系統線性化

這產生了以下線性6 x 6系統：


即使仿射運動是一個好的模型，由于方程（4）的線性化，方程5也只能近似滿足。然而，正確的仿射變化可以通過在牛頓-拉斐遜式的最小化中迭代使用方程5來找到。在跟蹤過程中，特征窗口的仿射變形D很可能很小，因為相鄰幀之間的運動首先必須很小，這樣跟蹤才能工作。然后將D設為零矩陣更安全。事實上，在這種情況下試圖確定變形參數不僅沒有用，而且會導致位移解的較差：事實上，變形D和位移D通過方程（6）的4×2矩陣V相互作用，并且D中的任何誤差都會導致D的誤差。因此，當目標是確定D時，較小的系統

應求解，其中e收集方程（5）向量a的最后兩個條目。另一方面，當監控第一幀和當前幀之間的特征的外觀不一致時，需要解決全仿射運動系統（5）。事實上，現在的運動模型太大了。此外，在確定相異性時，兩個窗口之間的整體變換是相互影響的，精確的位移是不太重要的，因此D和D通過矩陣I/在一定程度上相互作用是可以接受的。在接下來的兩個部分中，我們將更詳細地討論這些問題：首先，我們確定系統（7）何時能夠產生良好的位移測量值（第4節），然后我們了解何時可以使用等式（5）來監控特征的質量（第5節）。
4、圖像紋理

不管采用何種跟蹤方法，并非圖像的所有部分都包含完整的運動信息（孔徑問題）：例如，對于水平強度邊緣，只能確定運動的垂直分量。為了克服這一困難，研究人員提出跟蹤角點，或用高空間頻率的窗口，或者二階導數的某些組合足夠高的區域。但是，有兩個問題關于興趣點選擇。首先，它們通常是基于對一個好窗口的外觀的先入為主的武斷想法。得到的特征可能是直觀的，但并不保證是跟蹤算法產生良好結果的最佳特征。第二，第二節的純平移模型通常定義了“興趣算子”，其基礎概念很難推廣到仿射運動。
在本文中，我們提出了一個更加原則性的特征質量定義。根據所提出的定義，一個好的特征是能夠被很好地跟蹤，從而通過構造來優化選擇準則。如果系統7代表良好的測量值，并且能夠可靠地解決問題，我們就可以從一個窗口跟蹤到另一個窗口。因此，系統的對稱2x2矩陣Z必須高于圖像噪聲水平，并且條件良好。噪聲要求意味著Z的兩個特征值都必須大，而條件要求意味著它們不能相差幾個數量級。兩個小的特征值意味著一個窗口內大致恒定的強度分布。一個大的和一個小的特征值對應一個單向紋理圖案。兩個大的特征值可以代表角點，紋理，或任何其他模式，可以可靠地跟蹤。
在實際應用中，當較小的特征值足夠大以滿足噪聲準則時，矩陣2通常也是條件良好的。實際上，窗口中的強度變化受允許的最大像素值的限制，因此較大的特征值不能任意大。綜上所述，如果Z的兩個特征值是XI和Xz，我們接受一個窗口

其中X是預定義的閾值。在求解變形D和位移D的全仿射運動系統（5）時也有類似的考慮。但是，必須指出一個本質的區別：在特征監視期間，變形用于確定第一幀中的窗口是否與當前幀中的窗口匹配得足夠好。因此，目標不是確定變形本身。因此，如果不能可靠地確定變形的一個組成部分，則無關緊要。事實上，這意味著該組件不會對窗口產生實質性的影響，并且該組件上的任何值都會在比較中起作用。在實際應用中，系統（5）可通過計算7’的偽逆來求解。然后，當某個分量不確定時，計算最小范數解，即沿待定分量方向零變形的解。
5、相異性
如前一節中所定義的，具有高紋理內容的特征仍然可能是不好跟蹤的特征。例如，在樹的圖像中，前景中的水平細枝可以與背景中的垂直細枝相交。這種交集只出現在圖像中，而不出現在世界上，因為這兩條樹枝的深度不同。任何選擇標準都會選擇交叉點作為一個好的特征來跟蹤，但是沒有真實世界的特征對應。等式（3）中定義的差異性度量通常可以表明出了問題。由于可能有大量的幀可以跟蹤給定的特征，因此在純翻譯模型中，差異性度量無法很好地工作。
雖然幀間變化很小，足以使純平移跟蹤器工作，但超過25幀的累積變化相當大。事實上，符號的大小增加了大約15%，并且不同度量（3）隨著幀數的增加而迅速增加：如圖3的虛線和交叉線所示。同一圖中的實線和交叉線顯示了當同時考慮偏差時的不同度量，即，如果整個系統（5）被求解為z。這種新的差異度量保持較小且大致不變。圖2的底行顯示了與頂行相同的窗口，但是由于計算的變形而扭曲。形變使五個窗口幾乎相等。

圖3中的兩條帶圓圈的曲線表示來自同一序列的另一個特性，如圖4所示。圖5的頂行顯示了五個框架的特性窗口。在中間的畫面中，交通標志開始阻擋原來的特征。圖3中的圓曲線是仿射運動（實體）和純平移（虛線）下的不同測量。圍繞第4幀的仿射運動曲線中的急劇跳躍表示遮擋。圖5的最后一行顯示，變形計算嘗試將交通標志變形為窗口。

總結

以上是生活随笔為你收集整理的前端：Good Features to Track的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。