當(dāng)前位置：首頁(yè) >

基于相似学习的目标跟踪方法

發(fā)布時(shí)間：2025/3/15 44 豆豆

生活随笔收集整理的這篇文章主要介紹了基于相似学习的目标跟踪方法小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

SiamFC：ECCV2016
SINT：CVPR2016
CFNet：CVPR2017
DSiam：ICCV2017
EAST： ICCV2017
SA-Siam：CVPR2018
SiamRPN：CVPR2018
SINT++：CVPR2018
RASNet：CVPR2018
DaSiamRPN：ECCV2018
StructSiam：ECCV2018
Siam-tri：ECCV2018
GCT：CVPR2019
SiamRPN++：CVPR2019
SiamDW：CVPR2019
UpdateNet：ICCV2019
SiamFC++：AAAI2020
SiamBAN：CVPR2020
SiamAttn：CVPR2020
SiamR-CNN：CVPR2020
各模型實(shí)驗(yàn)結(jié)果對(duì)比

? ? ? ?目前目標(biāo)跟蹤方法主要分為兩大類(lèi)：1.相關(guān)濾波，2.深度學(xué)習(xí)。在對(duì)兩種方法進(jìn)行了一定的了解后，雖然說(shuō)現(xiàn)在深度學(xué)習(xí)、AI有很大的“泡沫”，且相關(guān)濾波與深度學(xué)習(xí)結(jié)合可以得到很好的跟蹤效果，但是我還是以深度學(xué)習(xí)為主去研究目標(biāo)跟蹤（- -||）。而基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤方法現(xiàn)在幾乎可以自成一派，在此進(jìn)行一下總結(jié)，整理知識(shí)，啟迪自己。

SiamFC：ECCV2016

? ? ? ?文章鏈接
? ? ? ?鼻祖一樣的文章，模型的結(jié)構(gòu)如圖所示。

? ? ? ?特征提取部分使用AlexNet的結(jié)構(gòu)：

? ? ? ?損失函數(shù)使用logistics，訓(xùn)練集使用ILSVRC2015。
? ? ? ?實(shí)驗(yàn)結(jié)果如下圖所示：
? ? ? ?1.OTB-2013

? ? ? ?2.VOT-2014
? ? ? ?3.VOT-2015

SINT：CVPR2016

? ? ? ?文章鏈接
? ? ? ?作為和SiamFC同一年發(fā)表的基于相似學(xué)習(xí)的論文，當(dāng)然要對(duì)比一下啦（這篇論文的發(fā)表時(shí)間比Siamese-fc早）。模型結(jié)構(gòu)如圖所示（吐槽一下配色）：
? ? ? ?那么本文和SiamFC的區(qū)別在于哪呢？
? ? ? ?1.網(wǎng)絡(luò)結(jié)構(gòu)不同。在SiamFC中使用的是AlexNet作為特征提取網(wǎng)絡(luò)，而本文是作者自己設(shè)計(jì)的特征提取網(wǎng)絡(luò)，同時(shí)加入了ROI pooling層。本文中提到，跟蹤問(wèn)題作為一個(gè)定位問(wèn)題，不應(yīng)使用過(guò)多的max pooling，過(guò)多的max pooling會(huì)導(dǎo)致定位不準(zhǔn)確。但是max pooling的優(yōu)勢(shì)在于對(duì)于輸入的局部形變具有不變性，也不能棄之不用，故設(shè)計(jì)為兩個(gè)max pooling層。
? ? ? ?2.損失函數(shù)不同。SiamFC中使用logistics作為損失函數(shù)，本文中使用如下的損失函數(shù)：
$L(xj,xk,yjk)=12yjkD2+12(1?yjk)max(0,ε?D2)L(x_j,x_k,y_{jk})=\frac{1}{2}y_{jk}D^2+\frac{1}{2}(1-y_{jk})\ max(0,\varepsilon-D^2)$
$D=||f(x_j)-f(x_k)||_2$
? ? ? ?3.訓(xùn)練數(shù)據(jù)集不同。SiamFC中使用ILSVRC2015，SINT中使用ALOV。
? ? ? ?實(shí)驗(yàn)結(jié)果
? ? ? ?1.OTB-2013
? ? ? ?

CFNet：CVPR2017

? ? ? ?文章鏈接
? ? ? ?模型結(jié)構(gòu)如圖所示：
? ? ? ?本模型與SiamFC的區(qū)別在于：
? ? ? ?在SiamFC中分?jǐn)?shù)使用下式計(jì)算：
$score_{s}=f(x)*f(z)$
? ? ? ?在CFNet中分?jǐn)?shù)使用下式計(jì)算：
$score_{c}=s·w(f(x))*f(z)+b$
? ? ? ?這里 $s$ 代表尺度參數(shù)， $w$ 代表CF操作， $b$ 則是偏置項(xiàng)。
? ? ? ?實(shí)驗(yàn)結(jié)果：

DSiam：ICCV2017

? ? ? ?文章鏈接
? ? ? ?模型的整體結(jié)構(gòu)如圖：

? ? ? ?本文針對(duì)SiamFC模型進(jìn)行改進(jìn)，從上圖中我們可以看出，首先，作者添加了兩個(gè)模塊：①. $V$ ，②. $W$ ，其中 $V$ 被稱作“target appearance variation transformation”，用于使模板楨相對(duì)于當(dāng)前幀的前些幀變得平滑。 $W$ 被稱作“background suppression transformation”，目的是在當(dāng)前幀的特征圖中“高亮”目標(biāo)，抑制背景信息。則本模型中的分?jǐn)?shù)通過(guò)下式計(jì)算：
$scoretl=(Vt?1l?fl(x))?(Wt?1l?fl(z))score_{t}^{l}=(V_{t-1}^{l}\star f^{l}(x))*(W_{t-1}^{l}\star f^{l}(z))$
? ? ? ?公式中的 $?\star$ 代表循環(huán)卷積操作， $l$ 代表層， $t$ 代表幀。 $V$ 和 $W$ 都使用正則線性回歸進(jìn)行訓(xùn)練，并且在跟蹤過(guò)程中在線更新，參考下圖可以更容易理解。更具體的可以參考我的另一篇博客。

? ? ? ?作者的另一個(gè)創(chuàng)新點(diǎn)在于提出了一個(gè)自適應(yīng)聚合各個(gè)層的特征的方法（elementwise multi-layer fusion），實(shí)質(zhì)上是訓(xùn)練一個(gè)矩陣 $γ\gamma$ ，矩陣中的數(shù)值代表不同特征圖的不同位置的權(quán)重，則模型最終得到的分?jǐn)?shù)如下：
$scoret=∑l∈Lγl⊙scoretlscore_t=\sum_{l\in L}\gamma^l \odot score_t^l$
$∑l∈Lγl=1ms×ns\sum_{l\in L}\gamma^l=1_{m_s\times n_s}$
? ? ? ?訓(xùn)練數(shù)據(jù)集使用ILSVRC2015，模型的實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB-2013

? ? ? ?2.VOT-2015
? ? ? ?

EAST： ICCV2017

? ? ? ?文章鏈接
? ? ? ?模型結(jié)構(gòu)如下圖所示。

? ? ? ?本文與SiamFC的區(qū)別在于設(shè)計(jì)了一個(gè)Q-Net，用于“早停”。在SiamFC中，所有幀都用conv5的特征去檢測(cè)，EAST的出發(fā)點(diǎn)是(外觀相似或不運(yùn)動(dòng)的)簡(jiǎn)單幀用簡(jiǎn)單特征如像素邊緣就可以定位，(經(jīng)歷較大外觀變化的)復(fù)雜幀才需要不變性更強(qiáng)的深度特征進(jìn)行定位。
? ? ? ?如何判讀使用當(dāng)前層特征得到的檢測(cè)結(jié)果是否足夠好（是否要使用下一層特征），作者提出了使用強(qiáng)化學(xué)習(xí)的策略。
? ? ? ?訓(xùn)練數(shù)據(jù)集使用ILSVRC2015，實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB-50
? ? ? ?? ? ? ?2.OTB-100
? ? ? ?
? ? ? ?3.VOT-2015
? ? ? ?

SA-Siam：CVPR2018

? ? ? ?文章鏈接
? ? ? ?模型的整體結(jié)構(gòu)如圖所示：
? ? ? ?本文的創(chuàng)新點(diǎn)在于提出了一個(gè)結(jié)合Semantic features（語(yǔ)義特征）和Appearance features（表征特征）的模型，其實(shí)類(lèi)似于一個(gè)雙路模型，為了保持這兩種特征的異質(zhì)性，這兩路特征要分別訓(xùn)練，訓(xùn)練語(yǔ)義特征的網(wǎng)絡(luò)叫做S-Net，訓(xùn)練表征特征的網(wǎng)絡(luò)叫做A-Net。作者還在S-Net中加入了一個(gè)chanel attention機(jī)制，如下圖所示。
? ? ? ?
? ? ? ?本文的訓(xùn)練數(shù)據(jù)集使用ILSVRC2015，實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB

? ? ? ?2.VOT-2015
? ? ? ?
? ? ? ?3.VOT-2016
? ? ? ?
? ? ? ?4.VOT-2017
? ? ? ?

SiamRPN：CVPR2018

? ? ? ?文章鏈接
? ? ? ?模型的整體結(jié)構(gòu)如圖所示：
? ? ? ?本文的創(chuàng)新點(diǎn)在于，將Siamese Network與RPN結(jié)合。模型的上支用于分類(lèi)（二分類(lèi)：前景or背景），下支用于回歸出目標(biāo)的位置。
? ? ? ?
? ? ? ?在跟蹤的過(guò)程中，我覺(jué)得有一個(gè)亮點(diǎn)。模型通過(guò)第一幀信息預(yù)測(cè)出一個(gè)權(quán)重，用于后續(xù)幀中的跟蹤。這樣可以使模型針對(duì)不同的視頻序列得到不同的側(cè)重，相當(dāng)于一個(gè)簡(jiǎn)化了的在線學(xué)習(xí)。
? ? ? ?本文的訓(xùn)練集采用ILSVRC2015和Youtube-BB，實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB-2015
? ? ? ?2.VOT-2015
? ? ? ?

? ? ?
? ? ? ?3.VOT-2016
? ? ? ?
? ? ? ?
? ? ? ?
? ? ? ?4.VOT-2017
? ? ? ?

SINT++：CVPR2018

? ? ? ?文章鏈接
? ? ? ?模型的整體結(jié)構(gòu)如圖所示：

? ? ? ?本文在SINT的基礎(chǔ)上進(jìn)行改進(jìn)，加入了VAE和強(qiáng)化學(xué)習(xí)。
? ? ? ?首先，使用VAE來(lái)生成positive sample，如上圖中右下角。然后，使用HPTN網(wǎng)絡(luò)將得到的positive sample變得更加hard，即：添加遮擋。那么問(wèn)題就來(lái)了，（1）.我們要遮擋目標(biāo)物體中的哪部分？（2）.用哪部分去遮擋（1）中的部分？
? ? ? ?這兩個(gè)問(wèn)題有一個(gè)共性，就是要locate one image region。locate的過(guò)程可以視為一個(gè)MDP（馬爾科夫決策過(guò)程），MDP問(wèn)題可以使用強(qiáng)化學(xué)習(xí)知識(shí)來(lái)解決。state就是當(dāng)前得到的特征圖，可選擇的action如下圖：
? ?
? ? ? ?模型的訓(xùn)練數(shù)據(jù)是一直變化的。作者在對(duì)OTB數(shù)據(jù)集進(jìn)行評(píng)估時(shí)，使用VOT數(shù)據(jù)集進(jìn)行訓(xùn)練，在對(duì)VOT數(shù)據(jù)集進(jìn)行評(píng)估時(shí)，使用VOT中不進(jìn)行評(píng)測(cè)的數(shù)據(jù)和ILSVRC2015數(shù)據(jù)集進(jìn)行訓(xùn)練。
? ? ? ?模型的實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB-50（OTB-2013）

? ? ? ?2.OTB-100（OTB-2015）

? ? ? ?3.VOT-2014（到底是OPE還是TRE？）

RASNet：CVPR2018

? ? ? ?文章鏈接
? ? ? ?模型的整體結(jié)構(gòu)如圖所示：

? ? ? ?本文的創(chuàng)新在于在SiamFC中加入了三種注意力機(jī)制，作者將這三種注意力統(tǒng)稱為“full attention”。
? ? ? ?
? ? ? ?其中，general attention負(fù)責(zé)編碼所有訓(xùn)練樣本的共性；residual attention負(fù)責(zé)學(xué)習(xí)每種不同的跟蹤物體之間的差異性；channel attention負(fù)責(zé)使模型適應(yīng)于不同的contexts。
? ? ? ?
? ? ? ?本文訓(xùn)練集使用ILSVRC2015，實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB
? ? ? ?2.VOT-2015
? ? ? ?3.VOT-2017

DaSiamRPN：ECCV2018

? ? ? ?文章鏈接
? ? ? ? 本文首先分析了已有的相似學(xué)習(xí)模型的缺點(diǎn)：
? ? ? ?如上圖所示，是幾個(gè)模型對(duì)ROI提取出的特征圖。論文中提到，造成這種現(xiàn)象的原因是，在目標(biāo)周?chē)谋尘靶畔⒅?#xff0c;非語(yǔ)義背景（即真正的“背景”信息，如地板、天空等）占據(jù)了主要部分，語(yǔ)義背景（背景中的人、狗等實(shí)體，我是這么理解的）占據(jù)了極少一部分。這種不平衡的分布使得模型趨向于去學(xué)習(xí)到一個(gè)區(qū)分前景（目標(biāo)+語(yǔ)義背景）和背景（非語(yǔ)義背景）的模型，而不是學(xué)習(xí)一個(gè)實(shí)例級(jí)別的表示方法。為了處理這個(gè)問(wèn)題，作者在訓(xùn)練集中添加了三類(lèi)樣本對(duì)，提高模型的學(xué)習(xí)效果，具體如下。
? ? ? ?文中還提到了一種新的選擇最優(yōu)bbox的標(biāo)準(zhǔn)，就是當(dāng)前位置 $p_{k}$ 和模板 $z$ 計(jì)算相似度之后，減去當(dāng)前位置與search region中其他位置的相似度的加權(quán)和。
? ? ? ?本文的最后一個(gè)創(chuàng)新點(diǎn)是，當(dāng)模型跟蹤失敗的時(shí)候，模型采取一種“局部-全局”增大search region的策略去重新跟蹤目標(biāo)。至于如何使用score判斷是否失敗，文中沒(méi)有詳細(xì)的描述。
? ? ? ?本文的訓(xùn)練數(shù)據(jù)使用ILSVRC2015、Youtube-BB、ImageNet Detection和COCO，實(shí)驗(yàn)結(jié)果如下：
? ? ? ?1.OTB-2015
? ? ? ? ? ?2.VOT-2016
? ? ? ?3.VOT-2017
? ? ? ?4.UVA20L
? ? ? ?5.UVA123

StructSiam：ECCV2018

? ? ? ?文章鏈接
? ? ? ?本文的模型結(jié)構(gòu)如下圖所示：
? ? ? ?本文的改進(jìn)我覺(jué)得十分新穎：“每張?zhí)卣鲌D學(xué)習(xí)跟蹤目標(biāo)的一個(gè)局部結(jié)構(gòu)”，模板經(jīng)過(guò)卷積后得到 $1×1×40961\times 1\times 4096$ 大小的特征圖，每張?zhí)卣鲌D代表該物體的一個(gè)屬性（特征），基于此特征圖做相似計(jì)算。
? ? ? ?從上圖來(lái)看，我們可以知道，文中主要有三個(gè)新增加的部分，分別是“Local Pattern Detection”、“Context Modeling”和“Integration Module”。
? ? ? ?“Local Pattern Detection"部分是通過(guò)兩個(gè)卷積層（ $11×1111\times 11$ 和 $5×55\times 5$ ）實(shí)現(xiàn)的，輸出的每張?zhí)卣鲌D代表一個(gè)局部特征。
? ? ? ?“Context Modeling”部分通過(guò)“消息傳遞”機(jī)制實(shí)現(xiàn)，使用的是CRF（條件隨機(jī)場(chǎng)）。作用是壓制背景噪聲、加強(qiáng)特征。
? ? ? ?“Integration Module”部分通過(guò) $6×66\times 6$ 卷積核實(shí)現(xiàn)，將模板幀的特征圖由 $6×6×40966\times 6\times 4096$ 變?yōu)?span id="ozvdkddzhkzd" class="katex--inline"> $1×1×40961\times 1\times 4096$ （其實(shí)就是變成了一個(gè)向量，向量中的每個(gè)值代表該物體的一個(gè)屬性，和全局均值池化類(lèi)似）。
? ? ? ?由于要學(xué)習(xí)部分特征，作者選擇使用ILSVRC2014和ALOV作為訓(xùn)練數(shù)據(jù)集，模型的實(shí)驗(yàn)結(jié)果如下所示：
? ? ? ?1.OTB-2013
? ? ? ?? ?87.4%??0.638??45FPS
? ? ? ?2.OTB-2015
? ? ? ?? ?85.1%??0.621??45FPS
? ? ? ?3.VOT-2016

Siam-tri：ECCV2018

? ? ? ?文章鏈接
? ? ? ?模型結(jié)構(gòu)如下圖所示：

? ? ? ?本模型與SiamFC的區(qū)別在于：提出了一種不同于SiamFC的損失函數(shù)。
? ? ? ?在SiamFC中的損失函數(shù)如下：
$Ll(Y,V)=∑xi∈Xwilog(1+e?yi?vi)L_l(Y,V)=\sum_{x_i \in X}w_ilog(1+e^{-y_i \centerdot v_i})$
? ? ? ?作者說(shuō)，這個(gè)損失函數(shù)不夠好，因?yàn)樗豢紤]了每個(gè)instance（啥是instance？比如模板經(jīng)過(guò)特征提取后得到6×6的特征圖 $f_e$ ，搜索區(qū)域經(jīng)過(guò)特征提取后得到22×22的特征圖 $f_s$ ，我們使用6×6的特征圖當(dāng)做卷積核在22×22的特征圖上進(jìn)行卷積得到17×17的分?jǐn)?shù)矩陣，則在卷積的過(guò)程中 $f_s$ 中的每一個(gè)6×6區(qū)域在原圖上的對(duì)應(yīng)區(qū)域就是一個(gè)instance，而對(duì)應(yīng)“+1”標(biāo)簽的稱為positive instance，“-1”標(biāo)簽的稱為negative instance）是否足夠正確，而忽略了positive instance和negative instance之間的關(guān)系。
? ? ? ?文中提出使用下式的損失函數(shù)：
$Lt(Vp,Vn)=?1/(MN)∑iM∑jNlogprob(vpi,vnj)L_t(V_p,V_n)=-1/(MN)\sum_{i}^{M}\sum_{j}^{N}log\ prob(vp_i,vn_j)$
$prob(vp_i,vn_j)=e^{vp_i}/(e^{vp_i}+e^{vn_j})$
? ? ? ?作者還通過(guò)梯度計(jì)算公式對(duì)比了兩種損失函數(shù)（以下為兩種損失函數(shù)的梯度中不同的部分，并不是全部的梯度公式）：
$?Tl?vp=?12(1+evp),?Tl?vn=12(1+e?vn)\frac{\partial T_l}{\partial vp}=-\frac{1}{2(1+e^{vp})},\ \ \ \ \frac{\partial T_l}{\partial vn}=\frac{1}{2(1+e^{-vn})}$
$?Tt?vp=?11+evp?vn,?Tt?vn=11+evp?vn\frac{\partial T_t}{\partial vp}=-\frac{1}{1+e^{vp-vn}},\ \ \ \ \frac{\partial T_t}{\partial vn}=\frac{1}{1+e^{vp-vn}}$
? ? ? ?從中我們可以看出本文中的損失函數(shù)在計(jì)算positive instance和negative instance的梯度時(shí)，都能考慮到兩種不同的instance的聯(lián)系，這樣利于得到更好的跟蹤模型。
? ? ? ?文章的訓(xùn)練數(shù)據(jù)集采用ILSVRC2015，實(shí)驗(yàn)結(jié)果如下所示。
? ? ? ?1.OTB-2013

? ? ? ?2.OTB-其他
? ? ? ?3.VOT-2017

GCT：CVPR2019

參見(jiàn)鏈接

SiamRPN++：CVPR2019

SiamDW：CVPR2019

UpdateNet：ICCV2019

SiamFC++：AAAI2020

SiamBAN：CVPR2020

SiamAttn：CVPR2020

SiamR-CNN：CVPR2020

各模型實(shí)驗(yàn)結(jié)果對(duì)比

發(fā)表源OTB2013OTB2015TB50FPS是否實(shí)時(shí)訓(xùn)練數(shù)據(jù)集

SiamFC3s	ECCV2016	0.608	0.582	0.516	86	√	ILSVRC2015
SiamFC5s	ECCV2016	0.612	- - -	- - -	58	√	ILSVRC2015
SINT	CVPR2016	0.635	0.592	- - -	4	×	ALOV
CFNet	CVPR2017	0.610	0.589	0.538	75	√	ILSVRC2015
DSiam	ICCV2017	0.656	- - -	- - -	25	√	ILSVRC2015
EAST	ICCV2017	0.638	- - -	- - -	83	√	ILSVRC2015
2 SA-Siam	CVPR2018	0.677	0.657	0.610	50	√	ILSVRC2015
SiamRPN	CVPR2018	- - -	0.637	- - -	200	√	ILSVRC2015 Youtube-BB
SINT++	CVPR2018	0.624	0.574	- - -	- - -	- - -	ILSVRC2015 VOT2013 VOT2014 VOT2016
3 RASNet	CVPR2018	0.670	0.642	- - -	83	√	ILSVRC2015
1 DaSiamRPN	ECCV2018	>ECO	>ECO	>ECO	160	√	ILSVRC2015 Youtube-BB ImageNet DET COCO
StructSiam	ECCV2018	0.638	0.621	- - -	45	√	ILSVRC2014 ALOV
SiamFC3s-tri	ECCV2018	0.615	0.590	0.531	86	√	ILSVRC2015
GCT	CVPR2019	0.670	0.648	- - -	50	√	ILSVRC2015
SiamRPN++	CVPR2019	- - -	0.696	- - -	35	√	ILSVRC2015 Youtube-BB ImageNet DET COCO
SiamDW	CVPR2019	0.670	0.670	- - -	35	√	ILSVRC2015 Youtube-BB
UpdateNet	ICCV2019	- - -	- - -	- - -
SiamFC++	AAAI2020	- - -	0.683	- - -	90	√	ILSVRC2015 Youtube-BB ImageNet DET COCO LaSOT GOT-10k
SiamBAN	CVPR2020	- - -	- - -	- - -
SiamAttn	CVPR2020	- - -	- - -	- - -
SiamR-CNN	CVPR2020	- - -	- - -	- - -
↓目前超強(qiáng)的模型↓
ECO	CVPR2017	0.709	0.691	0.643	6	×	- - -
MDNet	CVPR2016	0.708	0.678	0.645	1	×	- - -

? ? ? ?

總結(jié)

以上是生活随笔為你收集整理的基于相似学习的目标跟踪方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：视频中的目标检测与跟踪综述
下一篇： [codevs 1033] 蚯蚓的游戏问

日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

生活随笔