? ? ? ?MOSSE跟蹤算法來自2010年David S. Bolme等人在CVPR上發表的論文《Visual Object Tracking using Adaptive Correlation Filters》。

? ? ? ?論文首次將相關濾波運用到跟蹤算法中，算法速度可達到669FPS.

論文摘要：雖然不常用，但相關濾波器可以通過旋轉，遮擋和其他干擾來跟蹤復雜物體，其速度是當前最先進技術的20倍以上。 最舊和最簡單的相關過濾器使用單一模板，并且在應用于跟蹤時通常會失敗。 諸如ASEF和UMACE等更現代的方法表現更好，但他們的培訓需求不太適合跟蹤。 視覺跟蹤需要從單幀來訓練魯棒的濾波器，并在目標對象的外觀發生變化時動態調整。

? ? ? ?本文提出了一種新型的相關濾波器，即最小平方誤差輸出和（MOSSE）濾波器，它在使用單幀初始化時產生穩定的相關濾波器。 基于MOSSE濾波器的跟蹤器對于光照，尺度，姿勢和非剛性變形的變化具有魯棒性，同時以每秒669幀的速度運行。基于峰值旁瓣比PSR（PSR定義為，其中gmax是峰值，μsl和σsl是旁瓣的平均值和標準偏差）檢測遮擋，這使得跟蹤器能夠暫停并在對象重新出現時從其停止的位置恢復。

一、介紹

? ? ? ?視覺跟蹤在視頻處理中有許多實際應用。 當目標位于視頻的一幀中時，在后續幀中跟蹤該對象通常很有用。 成功跟蹤目標的每個幀能夠提供有關目標的標識和活動的更多信息。 由于跟蹤比檢測更容易，因此跟蹤算法在每個幀上可以比目標檢測器使用更少的計算資源。

? ? ? ?視覺跟蹤近年來受到了很多關注。 已經提出了許多強大的跟蹤策略，其通過復雜的運算來確定目標外觀的變化和跟蹤目標。 最近的例子包括：增量視覺跟蹤（IVT）[17]，基于穩健碎片的跟蹤（FragTrack）[1]，基于圖形的判別學習（GBDL）[19]和多實例學習（MILTrack）[2]。 雖然有效，但這些技術并不簡單; 它們通常包括復雜的外觀模型和/或優化算法，因此很難跟上許多現代相機產生的每秒25到30幀（見表1）。

? ? ? ?在本文中，我們研究了一種更簡單的跟蹤策略。目標外觀由自適應相關濾波器建模，并且通過卷積（f * g）進行跟蹤。用于創建過濾器的樸素方法（例如，從圖像中裁剪模板）會為目標生成強峰，但也會錯誤地響應背景。因此，它們對目標外觀的變化不是特別魯棒，并且在挑戰性跟蹤問題上失敗。合成精確濾波器（ASEF）的平均值，無約束最小平均相關能量（UMACE）和平方誤差的最小輸出和（MOSSE）（本文介紹）產生的濾波器對于外觀變化更加魯棒并且更好地區分目標和背景。如下圖所示，結果是一個更強的峰值被轉換為更少的漂移和更少的下降軌道。傳統上，ASEF和UMACE濾波器已經離線培訓，用于物體檢測或目標識別。 在這項研究中，我們修改了這些技術，以便在線進行訓練，并采用自適應進行視覺跟蹤。 結果使跟蹤成為最先進的性能，保留了基礎相關性方法的大部分速度和簡單性。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

該圖顯示了魚測試序列的第25幀的輸入，濾波器和相關輸出。 三個相關濾波器產生的峰值比Naive濾波器產生的峰值更緊湊。

? ? ? ?盡管該方法簡單，但基于改進的ASEF，UMACE或MOSSE濾波器的跟蹤在旋轉，縮放，光照和部分遮擋的變化下表現良好（參見圖1）。 測量相關峰值強度的峰值旁瓣比（PSR）可用于檢測遮擋或跟蹤失敗，停止在線更新，以及如果目標以類似外觀重新出現則重新獲取跟蹤。 更一般地說，這些高級相關濾波器實現的性能與前面提到的更復雜的跟蹤器一致; 但是，基于濾波器的方法速度提高了20多倍，每秒可處理669幀（見表1）。

表1：該表比較了MOSSE跟蹤器與其他跟蹤系統的幀速率。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ?本文的其余部分安排如下。 第二節回顧了相關的相關濾波技術。 第三節介紹了MOSSE濾波器以及如何使用它來創建基于魯棒濾波器的跟蹤器。 第四節介紹了來自[17]的七個視頻序列的實驗結果。 最后，第五節將重新審視本文的主要發現。

二、研究背景

? ? ? ?在20世紀80年代和90年代，相關濾波器的許多變體，包括合成判別函數（SDF）[7,6]，最小方差合成判別函數（MVSDF）[9]，最小平均相關能量（MACE）[11]，最優權衡 濾波器（OTF）[16]和最小平方誤差綜合判別函數（MSESDF）[10]。 這些濾波器在具有不同外觀和強制硬約束的目標對象的示例上進行訓練，使得濾波器總是產生相同高度的峰值。 最相關的是MACE，它產生尖峰和高PSR。在[12]中，發現基于SDF的濾波器（如MACE）的硬約束導致了失真容限問題。 解決方案是消除硬約束，而用濾波器產生高平均相關響應來代替。 這種最大平均相關高度（MACH）的新型“無約束”相關濾波器被稱為UMACE，是MACE的變體。

? ? ? ?一種稱為ASEF的新型相關過濾器[3]引入了一種調整特定任務過濾器的方法。 在早期方法僅指定單個峰值的情況下，ASEF指定每個訓練圖像的整個相關輸出。 ASEF在眼睛定位[3]和行人檢測[4]方面表現良好。 不幸的是，在這兩項研究中，ASEF都需要大量的訓練圖像，這使得視覺跟蹤速度太慢。 本文通過引入適用于視覺跟蹤的ASEF的正則化變體來降低此數據要求。

?三、基于相關濾波器的跟蹤

? ? ? ??基于濾波器的跟蹤器使用在示例圖像上訓練的濾波器來建立目標的外觀。最初基于以第一幀中的目標為中心的小跟蹤窗口來選擇目標。從這一點開始，跟蹤和濾波訓練一起工作。通過在下一幀中的搜索窗口上的相關濾波器來跟蹤目標;?對應于相關響應中的最大值的位置表示目標的新位置。 然后基于該新位置執行在線更新。

? ? ? ?為了建立快速跟蹤器，在傅立葉域快速傅立葉變換（FFT）[15]中計算相關性。?首先，計算輸入圖像的2D傅立葉變換：F = F（f），并計算濾波器：H = F（h）。卷積定理指出相關性在傅里葉域中成為元素乘法。 使用⊙符號明確表示逐元素乘法，*表示復數共軛，相關性采用以下形式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?G = F ⊙ H*? ? ? ? ? ? ? ? ? （1）?

? ? ? ?使用逆FFT將相關輸出變換回空間域。 該過程中的瓶頸是計算正向和反向FFT，使得整個過程具有O（P log P）的復雜度，其中P是跟蹤窗口中的像素數。

? ? ? ?在本章中，我們將討論基于濾波器的跟蹤器的組成。 3.1節討論了在跟蹤窗口上執行的預處理。 3.2節介紹了MOSSE濾波器，它是從少量圖像構建穩定相關濾波器的改進方法。 3.3節說明了如何使用正則化來生成更穩定的UMACE和ASEF濾波器。 3.4節討論了用于在線更新過濾器的簡單策略。

3.1 預處理

? ? ? ?FFT卷積算法的一個問題是圖像和濾波器被映射到環面的拓撲結構。 換句話說，它將圖像的左邊緣連接到右邊緣，并將頂部連接到底部。 在卷積期間，圖像旋轉通過環形空間而不是像在空間域中那樣進行平移。 人為地連接圖像的邊界會影響相關輸出的正確性。遵循[3]中概述的預處理步驟可以減少這種影響。 首先，使用對數函數變換像素值，這有助于低對比度照明情況。 將像素值歸一化為具有0.0的平均值和1.0的范數。 最后，圖像乘以余弦窗口，該窗口逐漸將邊緣附近的像素值減小到零。 這也有利于它將更多的重點放在目標的中心附近。

3.2 MOSSE濾波器

? ? ? ? MOSSE是一種用于從較少的訓練圖像產生類似ASEF的濾波器的算法。 首先，它需要一組訓練圖像和訓練輸出。通常，可以采用任何形式。?在這種情況下，從真實標記生成，使得它具有以訓練圖像中的目標為中心的緊湊（σ= 2.0）2D高斯形狀的峰值。?在傅里葉域中進行訓練，以利用輸入和輸出之間的簡單元素關系。 與前一節一樣，我們將大寫變量，和濾波器H定義為它們的小寫對應量的傅里葉變換。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ? ? ? ? ? ? ? ? ? ? （2）除法是按元素進行的。

? ? ? ?為了找到將訓練輸入映射到所需訓練輸出的濾波器，MOSSE找到一個濾波器H，它最小化卷積的實際輸出和卷積的期望輸出之間的平方誤差之和。 這種最小化問題采取以下形式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ?在輸出上最小化平方誤差和（SSE）的想法并不新鮮。事實上，公式3中的優化問題幾乎與[10]和[12]中提出的優化問題相同。不同之處在于，在這些工作中，假設目標始終以為中心并且輸出（）對于整個訓練集是固定的，而定制每個是ASEF和MOSSE的基本思想。在跟蹤問題中，目標并不總是居中，并且中的峰值移動以跟隨中的目標。 在更一般的情況下，可以具有任何形狀。 例如，在[4]中，包含多個目標，具有多個相應的峰值。

? ? ? ?解決這個優化問題并不是特別困難，但需要注意，因為被優化的函數是復變量的實值函數。首先，H的每個元素（由ω和ν索引）可以獨立求解，因為傅立葉域中的所有操作都是按元素執行的。?這涉及根據和重寫函數。然后，部分W.R.T. 設置為等于零，同時將視為一個獨立變量[13]。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

?通過求解H*，找到MOSSE過濾器的閉合表達式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

?完整的推導在附錄A中。等式5中的術語具有有趣的解釋。 分子是輸入和所需輸出之間的相關性，分母是輸入的能譜。

? ? ? ?從公式5中，我們可以很容易地證明UMACE是MOSSE的一個特例。 UMACE定義為H * = m *，其中m是包含平均中心裁剪訓練圖像的FFT的矢量，D是包含訓練圖像的平均能譜的對角矩陣[18]。 因為D是對角矩陣，所以乘以其逆基本上執行逐元素劃分。 使用當前表示法重寫時，UMACE采用以下形式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? 但是，UMACE要求目標以為中心。 可以使用相關來執行接收。 如果我們將定義為Kronecker delta（目標中心的峰值為1，其他位置為零），則這將基本上重新定位目標并計算UMACE濾波器。 這與傳統實現之間的區別在于，我們在這里進行裁剪，然后轉換，傳統方法先轉換然后裁剪。

? ? ? ?為了表明MOSSE產生比ASEF更好的濾波器，進行了一項實驗，該實驗改變了用于訓練濾波器的圖像數量。 通過將隨機小仿射擾動應用于視頻的第一幀的跟蹤窗口來初始化濾波器。 第二幀上的PSR用作過濾器質量的度量。 圖3顯示MOSSE在少量圖像窗口上訓練時產生更好的濾波器。 原因將在下一節中討論。

?3.3?ASEF的正則化

?3.4 濾波器初始化和在線更新

? ? ? ?對第一個目標窗口進行八個仿射變換得到一組訓練圖像，而則以目標中心生成高斯矩陣。

? ? ? ?等式5描述了在初始化期間如何構造濾波器。 使用隨機仿射變換構造訓練集，以在初始幀中生成跟蹤窗口的八個小擾動（）。 還生成訓練輸出（），其峰值對應于目標中心。

? ? ? ?在跟蹤期間，目標通常可以通過改變其旋轉，尺度，姿勢，通過在不同的光照條件下移動，或甚至通過經歷非剛性變形來改變外觀。 因此，濾波器需要快速適應以跟蹤對象。 運行平均值用于此目的。 例如，從第 i 幀學習的ASEF過濾器計算如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?和MOSSE過濾器：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ?其中η是學習率。 這更加重視最近的幀，并使先前幀的效果隨時間呈指數衰減。 在實踐中，我們發現η= 0.125允許濾波器快速適應外觀變化，同時仍保持魯棒。

?3.5?故障檢測和PSR

? ? ? ?如前所述，峰值強度的簡單測量稱為峰值旁瓣比（PSR）。 為了計算PSR，相關輸出g被分成作為最大值的峰值和旁瓣（其是除了峰值周圍的11×11窗口之外的其余像素）。然后將PSR定義為，其中gmax是峰值，μsl和σsl是旁瓣的平均值和標準偏差。

? ? ? ?根據我們的經驗，在正常跟蹤條件下，UMACE，ASEF和MOSSE的PSR通常介于20.0和60.0之間，這表明峰值非常強。 我們發現當PSR下降到7.0左右時，表明目標被遮擋或跟蹤失敗。 對于Naive實現，PSR的范圍在3.0到10.0之間，對于預測跟蹤質量沒有用。

總結

以上是生活随笔為你收集整理的【跟踪算法】MOSSE论文翻译的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。