當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

目标跟踪 — MOSSE

發布時間：2023/12/10 编程问答 38 豆豆

生活随笔收集整理的這篇文章主要介紹了目标跟踪 — MOSSE 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

MOSSE（Minimum Output Sum of Square Error）

題目：Visual Object Tracking using Adaptive Correlation Filters
來源：CVPR2010
作者：David S. Bolme等, Colorado State University

MOSSE可以算是相關濾波（CF）類跟蹤器的開山之作。

1. 信號相關

? ?信號處理中，用相關性描述兩個因素的關系。分為自相關（auto-correlation，自身信號在頻域的關系）和互相關（cross-correlation，兩個信號之間的關系）。
? ?互相關，也被稱為“滑動內積”（sliding inner-product）或“滑動點乘”（sliding dot product），通常用于在一個長序列( $g$ )中尋找一個短序列( $f$ )（即特征）。假設有兩個信號 $f (t)$ 和 $g (t)$ ，則兩個信號的相關性（correlation）為
$(1.1)(f?g)(τ)=def∫?∞+∞f?(t)g(t+τ)dt=∫?∞+∞f?(t?τ)g(t)dt(f?g)[n]=def∑m=?∞+∞f?[m]g[m+n]\begin{aligned} (f\star g)(τ)\overset{\underset{\mathrm{def}}{}}{=}&∫_{-∞}^{+∞}{f^* (t)g(t+τ)dt}=∫_{-∞}^{+∞}{f^* (t-τ)g(t)dt} \\ \tag{1.1} (f\star g)[n]\overset{\underset{\mathrm{def}}{}}{=}&\sum_{m=-\infty}^{+\infty}{f^*[m]g[m+n]} \end{aligned}$
其中?表示互相關操作， $f^*$ 表示 $f$ 的共軛， $τ$ 表示信號f在t軸上向右滑動的大小(lag)。

互相關與卷積有相似的性質，只是沒有信號翻轉的步驟，即

(1.3)[f(t)?g(t)](t)=[f?(?t)?g(t)](t)[f(t)\star g(t)](t)=[f^*(-t)*g(t)](t) \tag{1.3}

如果

f

是一個Hermitian函數（即

f(t)=f^*(-t)

）,則

f?g=f?gf\star g=f*g

根據卷積定理，有

(1.4)F{f?g}=F{f}??F{g}F{f(?t)}=F{f(t)}?\begin{aligned} \mathcal{F}\{f\star g \}&amp;=\mathcal{F}\{f\}^*\cdot \mathcal{F}\{g\}\\ \tag{1.4} \mathcal{F}\{f(-t)\}&amp;=\mathcal{F}\{f(t)\}^* \end{aligned}

自相關用于找出一個信號序列中的周期重復模式，lag=0 時取得峰值，峰值幅度表示信號能量。

2. 原理介紹

? ?兩個信號越相似，其相關值越高。在視覺跟蹤領域，就是找到與跟蹤目標響應最大的項。
? ?設輸入灰度圖像為 $f$ ，濾波器為 $h$ ，響應輸出為 $g$ ，（注意，文中 $f, h, g$ 的尺寸相等）則可表達為 $(2.1)g=h?fg=h\star f \tag{2.1}$
? ?設定期望的輸出 $g$ 是高斯函數（ $g$ 可以為任意函數，文中取二維高斯形函數， $σ = 2$ ，以訓練圖像 $f$ 中的目標為中心），即在目標位置處相應最大，則只需解出濾波器h。為了簡化運算，可以利用卷積定理和互相關的性質，在傅里葉頻域求解，表達式為
$(2.2)F{g}=F{h}?⊙F{f}，即G=H?⊙F，\mathcal{F}\{g\}=\mathcal{F}\{h\}^*⊙\mathcal{F}\{f\}，即G=H^*⊙F ， \tag{2.2}$
待求的 $H^*$ 可由 $H^*=G/F$ 得到。但是為了獲得更加魯棒的濾波器（應對目標發生形變等），需要同時考慮多個包含目標的訓練圖像 $f_i$ 。由Parseval定理（下式第二個等號, 能量守恒），可得
$(2.3)error=∑i∥h?fi?gi∥2=1MN∑i∥H?⊙Fi?Gi∥2error=∑_{i}{{\| h\star f_i-g_i \|}^{2}}=\frac{1}{MN} ∑_{i}{{\| H^*⊙F_i-G_i \|}^2} \tag{2.3}$
其中 $f_i,g_i,h$ 的尺寸均為 $M \times N$ 。可以通過優化下式得到 $H^*$
$(2.4)minH?∑i∥H?⊙Fi?Gi∥2.min_{H^*}∑_{i}{{\| H^*⊙F_i-G_i \|}^2} . \tag{2.4}$
? ?設 $H_{wv}$ 為 $H$ 矩陣的元素。由于在傅里葉頻域都是元素級運算（element-wise），因此上邊的優化目標等價于優化每個 $H_{wv}$ ，即對上式求偏導，并使偏導為0:
$(2.5)0=??Hwv?∑i∥Hwv?Fiwv?Giwv∥2.0=\frac{\partial}{\partial H^*_{wv}}∑_{i}{{\| H_{wv}^*F_{iwv}-G_{iwv} \|}^2} . \tag{2.5}$
經過頻域中復雜的求導推算，可以得到 $Hwv=∑iFiwvGiwv?∑iFiwvFiwv?H_{wv}=\frac{\sum_i{F_{iwv}G^*_{iwv}}}{\sum_i{F_{iwv}F^*_{iwv}}}$ , 最后得到 $H?=∑iGi⊙Fi?∑iFi⊙Fi?H^*=\frac{\sum_i{G_{i}\odot F^*_{i}}}{\sum_i{F_{i}\odot F^*_{i}}}$ . 當只有一個訓練樣本時， $Hi?=GiFi=Gi⊙Fi?Fi⊙Fi?H^*_i=\frac{G_i}{F_i}=\frac{G_{i}\odot F^*_{i}}{F_{i}\odot F^*_{i}}$ , 過擬合會比較嚴重，使用平均化策略效果會比較好，即
$(2.6)H?=1N∑iGi⊙Fi?Fi⊙Fi?.H^*=\frac{1}{N}\sum_{i}{\frac{G_{i}\odot F^*_{i}}{F_{i}\odot F^*_{i}}}. \tag{2.6}$
為了保障求解的穩定性，在分母上加一個較小的正則項 $ε$ （相當于在頻譜上增加一個白噪聲），試驗發現 $ε = 0.1$ 時PSR（參見第3節）最高。
在第一幀時，對跟蹤框（groundtruth）進行隨機仿射變換（random affine transformations），獲取多個訓練樣本（文中為8個） $f_i$ 。在 $f_i$ 上以目標為中心做出對應的期望高斯相應 $g_i$ .
? ?為了使輸出連續光滑，作者加入了平滑濾波的更新策略，第i幀的MOSSE濾波器由下式得到
$(2.7)Hi?=AiBiAi=ηGi⊙Fi?+(1?η)Ai?1Bi=ηFi⊙Fi?+(1?η)Bi?1\begin{aligned} H^*_i&=\frac{A_i}{B_i}\\ A_i&=\eta G_i \odot F^*_i +(1-\eta)A_{i-1} \\ B_i&=\eta F_i \odot F^*_i +(1-\eta)B_{i-1} \tag{2.7} \end{aligned}$
其中 $η$ 為學習率；較近幀在本幀的決策中的權重較大。作者通過實驗，發現 $η = 0.125$ 能夠使濾波器快速適應目標形變，還能保持較好的魯棒性。
? ?當在當前幀內 $M \times N$ 大小的檢測區域 $Z$ 進行檢測時，檢測結果為
$(2.8)y=F?1H?⊙Zy=F^{-1} {H^*\odot Z} \tag{2.8}$
新目標的估計位置即為相關分數矩陣 $y$ 的最大值位置。

3. 算法性能

3.1 跟蹤效果評估指標 PSR

? ?PSR（The Peak-to-Sidelobe Ratio）峰值旁瓣比，衡量相關性峰值，檢測遮擋或跟蹤失敗，或獲取新出現的跟蹤目標。論文中定義檢測響應輸出矩陣y的最大值為峰值 $y_{max}$ ，峰值附近11×11之外的區域定義為旁瓣（Sidelode）。 $μ_{sl}$ 和 $σ_{sl}$ 為“旁瓣”區域的均值和標準差，則PSR定義為
$(3.1)PSR=ymax?μslσsl.\text{PSR}=\frac{y_{max}-μ_{sl}}{σ_{sl}} . \tag{3.1}$
? ?作者通過實驗發現，當PSR取值在20~60之間，表明有很強的峰值（檢測結果顯著）；當PSR跌落到7附近時，則表明出現遮擋或檢測失敗。

3.2 速度

? ? 669fps （2.4Ghz Core 2 Duo）

3.3 效果展示

參考資料

https://blog.csdn.net/autocyz/article/details/48136473
https://en.wikipedia.org/wiki/Cross-correlation

總結

以上是生活随笔為你收集整理的目标跟踪 — MOSSE的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

目标
MOSSE

上一篇：实时数据交换平台 - BottledWa
下一篇： (七)Maven使用的最佳实践