論文

1.SiamFC.
2. SiamRPN.
3.SiamRPN++.
4.DaSiamRPN.

SiamFC

網(wǎng)絡結構

所謂孿生結構，即為成對的結構，具體來說就是該結構有兩個輸入，一個是作為基準的模板，另一個則是要選擇的候選樣本。而在單目標跟蹤任務中，作為基準的模板則是我們要跟蹤的對象，通常選取的是視頻序列第一幀中的目標對象，而候選樣本則是之后每一幀中的圖像搜索區(qū)域（search image），而孿生網(wǎng)絡要做的就是找到之后每一幀中與第一幀中的范本最相似的候選區(qū)域，即為這一幀中的目標，這樣就可以實現(xiàn)對一個目標的跟蹤。孿生網(wǎng)絡基本結構如下：


??將第一幀圖像目標作為模板圖像z ，將后續(xù)個幀圖像作為搜索圖像x，通過一個學習好的相似性對比函數(shù)f(z,x)在x上找到和z最為相像的備選區(qū)域作為預測的目標位置。相似度對比函數(shù)f將會用一個標記好的數(shù)據(jù)集進行訓練。作者用深度網(wǎng)絡作為相似度對比函數(shù)f，將網(wǎng)絡作為一種變換φ，首先將這種變換分別應用到模板和搜索圖像上，產(chǎn)生模板和搜索區(qū)域的特征φ(z),φ(x)，然后用另外一個相似度測量函數(shù)g將他們結合起f(z,x)=g(φ(z),φ(x))。
??為了給出更精確的定義，給定Lτ是一種轉換操作(Lτx)[u]=x[u?τ]，函數(shù)h作為全卷積網(wǎng)絡變換函數(shù)，k是全卷積網(wǎng)絡變換的比例因子，則h(Lkτx)=Lτh(x)，表示的含義是：先對x進行有比例因子的轉換操作再進行全卷積操作等同于先對x進行全卷積操作再進行轉換操作。給定每個位置的偏置參數(shù)b1，相似度對比函數(shù)還可以表示為f(z,x)=φ(z)?φ(x)+b1，表示的含義是：模板區(qū)域z和搜索區(qū)域x經(jīng)過相同的卷積操作φ()后，用?操作并加上一定的偏置b1得到響應圖。
??在跟蹤過程中，搜索圖像是以上一幀目標為中心的，響應圖由特征圖進行互相關操作（等價于響應圖的內積）生成，響應圖最大的位置乘以網(wǎng)絡的比例因子才是目標的最終位置。另外，作者使用不同尺度的圖片作為一個mini-batch進行檢測。
??注意：SiamFC設計的網(wǎng)絡結構將原始圖像縮小了8倍，即k=8，并且，該網(wǎng)絡沒有padding。

訓練過程

損失函數(shù)：

其中v是對一個樣本候選區(qū)的打分值，y是此樣本候選區(qū)的真實標簽y∈{+1,?1}。響應圖的損失被定義為響應圖中每個位置損失的平均值。
??最后，給定x和z是樣本對，θ是參數(shù)，f是對樣本對的打分，用SGD最小化如下?lián)p失函數(shù)來獲得最佳的跟蹤模型。
??訓練數(shù)據(jù)：作者用大規(guī)模搜索圖像訓練模型，訓練數(shù)據(jù)是由樣本對組成的，視頻中的第一幀圖像中的目標和該視頻中的其他相差不超過T幀的圖像組成了若干樣本對（目標圖像和后續(xù)幀都組成一個樣本對）。每個樣本對經(jīng)過孿生網(wǎng)絡生成響應圖v[u]后，u∈D（u表示響應圖中的每個位置），響應圖每個位置對應的標簽為y[u]，y[u]的定義遵循如下規(guī)定，表示當響應圖中某位置u和響應圖中目標位置c的距離乘以比例因子k后小于R則為正樣本。
??數(shù)據(jù)處理：模板圖像大小是127×127，搜索區(qū)域圖像是255×255，給定目標尺寸(w,h)，目標周圍擴增p，其中p=(w+h)/4，對于模板圖像A=1272，利用尺度變換s使得新的區(qū)域面積等于模板圖像面積（s的變換方式是在原有尺寸不變的前提下填充原圖RGB各通道均值像素）,在預訓練之前，將訓練數(shù)據(jù)組織好以便提高訓練速度。
??訓練細節(jié)：模型初始化參數(shù)用高斯分布初始化，共迭代50次，每次迭代包含50000個樣本對，mini-batch為8，學習率每次迭代從10(?2)到10(?5)。

跟蹤過程

只在大約四倍于先前大小的區(qū)域內搜索對象，并且在得分圖中添加一個cos窗口來懲罰較大的位移。通過處理多個縮放版本的搜索圖像，可以實現(xiàn)對縮放空間的跟蹤。任何規(guī)模的變化都將受到懲罰，并對當前規(guī)模的更新進行阻尼。
結合時域信息約束；搜索目標在四倍目標區(qū)域；余弦窗口加在打分映射懲罰大的偏移。多尺度跟蹤，增強尺度估計的準確性。
在跟蹤過程中，初始幀目標的特征圖只計算一次，然后它用來和后續(xù)幀的特征圖進行比較，得到的響應圖（得分圖）。作者利用雙三次插值將17×17的矩陣轉換為272×272的矩陣，從而定位目標區(qū)域。另外，針對搜索圖像，還用了5種尺度1.025({?2,?1,0,1,2})，這些尺度采用了以0.35為步長的線性函數(shù)作為抑制。

實驗結果

SiamRPN

網(wǎng)絡結構

在 CVPR18 的論文中（SiamRPN），商湯智能視頻團隊發(fā)現(xiàn)孿生網(wǎng)絡無法對跟蹤目標的形狀進行調節(jié)。之前的跟蹤算法更多的將跟蹤問題抽象成比對問題，但是跟蹤問題其實和檢測問題也非常類似，對目標的定位與對目標框的回歸預測一樣重要。 研究人員分析了以往跟蹤算法的缺陷并對其進行改進：
??大多數(shù)的跟蹤算法把跟蹤考慮成定位問題，但它和檢測問題也比較類似，對目標的定位和對目標邊界框的回歸預測一樣重要。為此，SiamRPN 將跟蹤問題抽象成單樣本檢測問題，即需要設計一個算法，使其能夠通過第一幀的信息來初始化的一個局部檢測器。為此，SiamRPN 結合了跟蹤中的孿生網(wǎng)絡和檢測中的區(qū)域推薦網(wǎng)絡：孿生網(wǎng)絡實現(xiàn)對跟蹤目標的適應，讓算法可以利用被跟蹤目標的信息，完成檢測器的初始化；區(qū)域推薦網(wǎng)絡可以讓算法可以對目標位置進行更精準的預測。經(jīng)過兩者的結合，SiamRPN 可以進行端到端的訓練。
??以往的濾波類的方法，沒辦法通過數(shù)據(jù)驅動的形式提升跟蹤的性能。而 SiamRPN 可以端到端訓練，所以更大規(guī)模的數(shù)據(jù)集 Youtube-BB 也被引入到了訓練中，通過數(shù)據(jù)驅動的形式提升最終的性能。
??SiamRPN網(wǎng)絡由Siamese Network和Region Proposal Network兩部分組成。前者用來提取特征，后者用來產(chǎn)生候選區(qū)域。其中，RPN子網(wǎng)絡由兩個分支組成，一個是用來區(qū)分目標和背景的分類分支，另外一個是微調候選區(qū)域的回歸分支。整個網(wǎng)絡實現(xiàn)了端到端的訓練。

RPN網(wǎng)絡：
??RPN網(wǎng)絡由兩部分組成，一部分是分類分支，用于區(qū)分目標和背景，另一部分是回歸分支，它將候選區(qū)域進行微調。對于分類分支，它將給出每個樣本被預測為目標和背景的打分。網(wǎng)絡將用Siam網(wǎng)絡提取到的模板和檢測幀的特征用一個新的卷積核進行卷積，在縮小了特征圖的同時，產(chǎn)生了如圖大小為4×4×(2k×256)的模板幀特征[φ(z)]cls和大小為20×20×256的檢測幀特征[φ(x)]cls，他們分別表示的含義是：模板幀特征大小是4×4，而且它在k種不同的anchors有k中變化，對每種變化的模板都產(chǎn)生一個特征；檢測幀特征大小是20×20×256。然后，以模板幀的特征作為卷積核（2k個4×4×256）去卷積檢測幀的特征從而產(chǎn)生響應圖Aclsw×h。 回歸分支和分類分支類似，不過它給出的是每個樣本的位置回歸值，這個位置回歸值包含dx, dy, dw, dh四個值。

跟蹤過程

??檢測幀在對每一幀目標進行檢測時就是對proposals進行分類，即相當于一個分類器。該分類器進行分類時需要一個響應得分圖，該響應圖是由檢測幀特征圖用模板幀特征圖作為卷積核進行卷積得到的。如上圖灰色的方塊，標識有weight for regression和weight for classification即為模板幀特征圖，它用第一幀圖像信息進行訓練（即one-shot檢測，只用第一幀圖像信息訓練出一層網(wǎng)絡的參數(shù)），然后將訓練好的參數(shù)作為卷積核用到檢測支中，對檢測幀特征進行卷積得到響應圖，作者將模板支的輸出作為本地檢測的卷積核，在整個跟蹤過程中，卷積核參數(shù)都是用第一幀信息提前計算好的，當前幀跟蹤可以看做如上圖所示的one-shot檢測，提取出檢測支中得分前M的樣本的分類輸出信息和回歸輸出信息。根據(jù)輸出信息，可以得到前M個proposals的位置信息。

實驗結果

SiamRPN++

網(wǎng)絡結構

SiamFC, 通過相關操作，可以考慮成滑窗的形式計算每個位置的相似度。但帶來了兩個限制：
1.網(wǎng)絡需要滿足嚴格的平移不變性。如SiamFC中介紹的，padding會破壞這種性質。
2.網(wǎng)絡有對稱性，即如果將搜索區(qū)域圖像和模板區(qū)域圖像對調，輸出的結果應該不變。（因為是相似度，所以應該有對稱性）
因此認為，現(xiàn)代化網(wǎng)絡破壞嚴格平移不變性以后，帶來的弊端就是會學習到位置偏見：按照SiamFC的訓練方法，正樣本都在正中心，網(wǎng)絡會學到這種統(tǒng)計特性，學到樣本中正樣本分布的情況。按照這個思想進行了實際的實驗驗證，在訓練過程中，不再把正樣本放在中心，而是以均勻分布的采樣方式讓目標在中心點附近進行偏移。
由上圖可以看出，隨著偏移的范圍增大，深度網(wǎng)絡的效果逐漸變好。所以說，通過均勻分布的采樣方式讓目標在中心點附近進行偏移，可以緩解網(wǎng)絡因為破壞了嚴格平移不變性帶來的影響，即消除了位置偏見，讓現(xiàn)代化網(wǎng)絡可以應用于跟蹤中。

互相關的區(qū)別

Cross Correlation：用于SiamFC，模版特征在搜索區(qū)域上以滑窗的方式獲取不同位置的響應。
Up-Channel Cross Correlation：用于SiamRPN，于Cross Correlation不同的是在做correlation前多了兩個卷積層，一個提升維度（通道數(shù)），另一個保持不變。之后通過卷積的方式，得到最終的輸出。通過控制升維的卷積來實現(xiàn)最終輸出特征圖的通道數(shù)。
Depthwise Cross Correlation：和UpChannel一樣，在做correlation操作以前，模版和搜索分支會分別過一個卷積，但不需要提升維度，這里只是為了提供一個非Siamese的特征（SiamRPN中與SiamFC不同，比如回歸分支，是非對稱的，因為輸出不是一個響應值；需要模版分支和搜索分支關注不同的內容）。在這之后，通過類似depthwise卷積的方法，逐通道計算correlation結果，這樣的好處是可以得到一個通道數(shù)非1的輸出，可以在后面添加一個普通的卷積就可以得到分類和回歸的結果。
SiamRPN++的改進主要源自于upchannel的方法中，升維卷積參數(shù)量極大， 分類分支參數(shù)就有接近6M的參數(shù)，回歸分支12M。其次升維造成了兩支參數(shù)量的極度不平衡，模版分支是搜索支參數(shù)量的2k~4k倍，也造成整體難以優(yōu)化，訓練困難。改為Depthwise版本以后，參數(shù)量能夠急劇下降；同時整體訓練也更為穩(wěn)定，整體性能也得到了加強。

實驗結果

DaSiamRPN

之前Siam的問題

1.常見的siam類跟蹤方法只能區(qū)分目標和無語義信息的背景，當有語義的物體是背景時，也就是有干擾物（distractor）時，表現(xiàn)不是很好。
2.大部分siam類跟蹤器在跟蹤階段不能更新模型，訓練好的模型對不同特定目標都是一樣的。這樣帶來了高速度，也相應犧牲了精度。
3.在長時跟蹤的應用上，siam類跟蹤器不能很好的應對全遮擋、目標出畫面等挑戰(zhàn)。

解決方法

之所以出現(xiàn)上述的問題，作者的結論是訓練過程中的樣本不均衡造成的。一個是正樣本種類不夠多，導致模型的泛化性能不夠強：解決方案是加入detection的圖片數(shù)據(jù)，pair可以由靜態(tài)圖片通過數(shù)據(jù)增益生成；加入detection數(shù)據(jù)生成的正樣本之后，模型的泛化性能得到了比較大的提升。第二個是樣本不均衡來自于難例負樣本，在之前的Siamese網(wǎng)絡訓練中, 負樣本過于簡單，很多事是沒有語義信息的：解決辦法是用不同類之間的樣本（還有同類的不同instance）構建難例負樣本，從而增強分類器的判別能力。不同種類的正負樣本的構建可以參見下圖。以上兩個改進大大改善了相應分數(shù)的質量，在丟失目標的時候，相應分數(shù)隨之變得很低，說明跟蹤器的判別能力得到了改善。

實驗結果

總結

以上是生活随笔為你收集整理的孪生网络系列学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。