引言

??近些年來，目標追蹤備受關注。一系列較魯棒的追蹤策略被提出，來適應目標外觀的變化。最近的算法有增量目標追蹤 IVT，魯棒的基于目標分塊的跟蹤 Frag Track，甄別學習 GBDL 以及多實例學習。這些技術是有效的，但是技術實現上并不簡單。他們通常包括復雜的外觀模型和優化算法，并且，實時性也保證不了，適應不了 25幀或者30幀的攝像頭。見下表：

??本文提出一種更簡單的追蹤策略。通過自適應相關濾波器對目標外形進行建模，并通過卷積進行跟蹤。創建濾波器有幾種簡單的方法，比如，從一幀圖像中裁剪模板，為目標生成強大的峰值，但是也會對背景產生響應。因此，對于目標外觀的變化，跟蹤結果不是特別魯棒，在一些具有挑戰性的追蹤場景上會失敗。ASEF ,UMACE以及本文提出的 MOSSE產生的濾波器，對目標外觀的改變更加魯棒，同時，區分目標和背景的效果也更好。如下圖所示：

相關工作

??在20世紀八九十年代，相關濾波器有很多變體。比如綜合判別函數 SDF，最小化方差綜合判別函數 MVSDF，最小化平均相關能（MACE），最優全局濾波器（OTF），最小化平方差綜合判別函數（MSESDF），這些濾波器的訓練依賴目標物體的外觀變化和一些硬約束，因此，總是產生相同高度的峰值。其中最好的是產生尖銳峰值和高的PSRS的MACE濾波器。
??基于像MACE那類方法的包含硬約束的 SDF 濾波器，會造成失真容差問題。解決方法就是消除硬約束，而不是使濾波器產生較高的平均相關響應。這種新型的無約束的相關濾波器被稱為最大化 MACH，這也使得 MACE 的進化版稱為 UMACE。
??之前的方法僅僅指定了一個峰值，而ASEF對每一幀訓練圖像都明確指定整個的相關輸出。 ASEF 在眼部追蹤和行人檢測上表現良好。遺憾的是，在這兩項研究中，ASEF 需要大量的訓練樣本圖像，這使得跟蹤速度非常慢。

方法

??基于追蹤的濾波器以物體的外觀作為模型。在第一幀中選擇一個追蹤窗口，來初始化目標。從此時開始，追蹤模塊和濾波器訓練模塊同時開始工作。通過將濾波器與下一幀的搜索窗口關聯起來，進行目標追蹤。與相關輸出中的最大值相對應的位置，就是下一幀目標的位置。
??為了創建更快速的追蹤器，相關性的計算是通過快速傅里葉變換（FFT），首先，先對輸入的圖像計算 2D 的傅里葉變換F = F(f)和濾波器H = F(h)。卷積定理指出，在傅里葉域，相關性可以表示成對應元素相乘。本文使用?表示對應元素相乘。*表示共軛復數。相關性的任務可以被描述成：

??先介紹在追蹤窗口上的預處理方法是：首先，使用一個log函數對像素進行轉換，有助于應對低對比度照明。這些像素值被歸一化：均值為0，標準差為1。最后，將圖像乘以一個余弦窗，逐漸將圖像邊緣的像素值減小為0。這還有一個好處就是，將更多的重點放在目標的中心位置。
??然后介紹MOSSE濾波器：MOSSE 算法可以從較少的訓練樣本中，產生類似于ASEF的濾波器。首先，它需要一系列訓練圖像fi和訓練輸出gi，一般而言，gi可以取任何形狀。在這種情況下，gi是從ground truth中生成的，因此，在訓練圖像的目標物體上，會產生一個非常緊湊的標準差為2的2D高斯尖峰。濾波器H的計算為：

??為了找到一個濾波器來使訓練圖片輸出接近于ground true，MOSSE來找一個H使得實際輸出和ground true輸出之間誤差平方和最小。最小化問題如下：

??對H的每個元素進行獨立求導運算分別得出結果：

??最后近似求解為：

??UMACE是MOSSE的一個特殊形式，公式可以表達為：

??ASEF公式為:


??在追蹤過程中，目標經常會改變外觀，比如旋轉、尺度、姿態、光照，甚至通過非剛性變換。利用平均值就是為了解決此類問題。比如，從第 i 幀圖像中學習 ASEF 濾波器可以這樣被計算；

??MOSSE 濾波器：

??其中，η 是學習率。這給最近的一些幀增加了一些權重，并且，之前的若干幀對濾波器的影響，是隨著時間的推移呈指數式衰減。實際上，我們在實踐中發現，η = 0.125，能讓濾波器快速適應目標外觀的變化，同時也能保證濾波器比較魯棒。
??最后介紹一種對峰值強度的一種簡單測量方法：Peak to Sidelobe Ratio（PSR），為了計算PSR，將相關性輸出g分為兩部分：峰值和旁瓣，峰值即為最大值，旁瓣是峰值周圍的11×11窗口內，除峰值以外的其余像素。然后將PSR定義為(g_max-μ_sl)/σ_sl ,其中g_max是峰值，而μ_sl和σ_sl是旁瓣的平均值和標準差。
??這里文章有一段原話翻譯后如下：“根據我們的經驗，在正常跟蹤條件下，用于UMACE，ASEF和MOSSE的PSR通常在20.0至60.0之間，這表示非常強的峰值。我們發現，當PSR降至7.0左右時，表明該對象被遮擋或跟蹤失敗。對于樸素的實施(最一般的方法)，PSR的范圍是3.0到10.0，對于預測軌道質量沒有用。”

實驗

??在七個測試視頻序列里對濾波器進行了測評, 這些視頻都是灰度的，并且在光照，姿勢和外觀上都具有挑戰性。存在攝像機運動，這增加了目標的不穩定運動。這七個序列分別是car4，car11，fish，sylv，davidin300，dudek和trellis70。

??上圖評估UMACE，ASEF和MOSSE濾波器的跟蹤質量。將這些與樸素濾波器進行比較，該濾波器基于在線更新的平均預處理跟蹤窗口。跟蹤輸出被手動標記為良好跟蹤、偏離中心的跟蹤或跟蹤失敗，其中綠色表示跟蹤良好，黃色表示跟蹤偏離中心，紅色表示跟蹤失敗。黑線表示將PSR剪切到[0,20]范圍，并表示視頻每一幀的跟蹤質量。
??定性實驗表明，包括樸素濾波器在內的所有濾波器，在對象存在比例變化，旋轉以及光照變化時，都能夠以很小的漂移定位到目標。但是當目標發生超出畫面之外的大面積旋轉時（非平面旋轉），窗口大漂移和故障就會發生。當旋轉目標時，跟蹤點將移向目標邊界，并且跟蹤器最終處于大部分跟蹤窗口被背景覆蓋的狀態。濾波器會適應這半個背景窗口，并且當目標旋轉回正面姿勢時移至新位置，否則它們可能會丟失目標，反而跟蹤背景。下圖舉了一例有關davidin300序列的測試結果

總結

??這是第一篇將Correlation filter引入Tracking領域內的文章，提出基于 MOSSE(Minimum Output Sum of Squared Error)的濾波器，其能提供穩定的相關濾波器，對光照、尺度、姿勢和變形具有健壯性，同時實現極快的跟蹤速度，在作者的實驗中可以達到669FPS。當目標發生遮擋時，可以根據PSR值來判斷目標跟蹤是否失敗來決定是否更新濾波器參數，當目標再次出現在視野中時，可以再次跟上目標。
??這篇論文存在許多數學描述和公式推導，這一點想要讀懂花費了大量時間；而且在全文結構上，我一開始認為有一點不太明白：在摘要中，是說ASEF、UMACE等濾波器很優秀，但需求不適用于跟蹤，然后在正文中雖然也有提到說ASEF需要大量的訓練圖像，但是本文卻引入正則化降低其數據要求影響，并且在后面UMACE，ASEF和MOSSE三個相關濾波的算法基本是一起出現，即使是在后面的對比實驗中，也僅在dudek序列上，三個濾波器之間存在顯著差異，顯得MOSSE會更好一點，并且即使PSR，也只是說對于傳統濾波器無效果，而不只是MOSSE專屬。這一系列讓我迷惑：這難道不是介紹MOSSE優點的論文嗎？咋感覺是在看綜述文章，然后在網上搜索為什么也看不到有人心存疑慮的博客，甚至懷疑過是不是我下的論文是草稿版，后面再對著論文看幾遍，發現可能是我一開始想錯了，并不一定得單講一個提出來的算法比其他好在哪，該論文的貢獻點就是在于作為第一篇將相關濾波引入目標跟蹤的論文，并提出了MOSSE濾波器。

總結

以上是生活随笔為你收集整理的《MOSSE》简述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。