商湯SiamRPN目標跟蹤最強算法開源

導語：商湯科技智能視頻團隊首次開源其目標跟蹤研究平臺PySOT，包含商湯科技SiamRPN系列算法，以及剛被CVPR2019收錄為Oral的SiamRPN++。

日前，商湯科技智能視頻團隊首次開源其目標跟蹤研究平臺 PySOT。PySOT 包含了商湯科技 SiamRPN 系列算法，以及剛被 CVPR2019 收錄為 Oral 的 SiamRPN++。此篇文章將獨家解讀目標跟蹤最強算法 SiamRPN 系列。

背景

由于存在遮擋、光照變化、尺度變化等一些列問題，單目標跟蹤的實際落地應用一直都存在較大的挑戰。過去兩年中，商湯智能視頻團隊在孿生網絡上做了一系列工作，包括將檢測引入跟蹤后實現第一個高性能孿生網絡跟蹤算法的 SiamRPN（CVPR 18），更好地利用訓練數據增強判別能力的 DaSiamRPN（ECCV 18），以及最新的解決跟蹤無法利用到深網絡問題的 SiamRPN++（CVPR 19）。其中 SiamRPN++在多個數據集上都完成了 10% 以上的超越，并且達到了 SOTA 水平，是當之無愧的目標跟蹤最強算法。

項目地址：https://github.com/STVIR/pysot

以上動圖中，紅色框是 SiamRPN++的跟蹤效果，藍色框是 ECCV 2018 上的 UPDT 的結果，可以看出 SiamRPN++的效果更佳，跟蹤效果更穩定，框也更準。從這個圖也可以看出跟蹤的一些挑戰：光照急劇變化，形狀、大小變化等。

SiamRPN (CVPR18 Spotlight):

在 CVPR18 的論文中（SiamRPN），商湯智能視頻團隊發現孿生網絡無法對跟蹤目標的形狀進行調節。之前的跟蹤算法更多的將跟蹤問題抽象成比對問題，但是跟蹤問題其實和檢測問題也非常類似，對目標的定位與對目標框的回歸預測一樣重要。

研究人員分析了以往跟蹤算法的缺陷并對其進行改進：

1. 大多數的跟蹤算法把跟蹤考慮成定位問題，但它和檢測問題也比較類似，對目標的定位和對目標邊界框的回歸預測一樣重要。為此，SiamRPN 將跟蹤問題抽象成單樣本檢測問題，即需要設計一個算法，使其能夠通過第一幀的信息來初始化的一個局部檢測器。為此，SiamRPN 結合了跟蹤中的孿生網絡和檢測中的區域推薦網絡：孿生網絡實現對跟蹤目標的適應，讓算法可以利用被跟蹤目標的信息，完成檢測器的初始化；區域推薦網絡可以讓算法可以對目標位置進行更精準的預測。經過兩者的結合，SiamRPN 可以進行端到端的訓練。

2. 以往的濾波類的方法，沒辦法通過數據驅動的形式提升跟蹤的性能。而 SiamRPN 可以端到端訓練，所以更大規模的數據集 Youtube-BB 也被引入到了訓練中，通過數據驅動的形式提升最終的性能。

結合以上兩點創新，在基線算法 SiamFC 的基礎上，SiamRPN 實現了五個點以上的提升（OTB100，VOT15/16/17 數據集）；同時還達到了更快的速度（160fps）、也更好地實現了精度與速度的平衡。

DaSiamRPN (ECCV18):

SiamRPN 雖然取得了非常好的性能，但由于訓練集問題，物體類別過少限制了跟蹤的性能；同時，在之前的訓練方式中，負樣本只有背景信息，一定程度上也限制了網絡的判別能力，網絡只具備區分前景與不含語義的背景的能力。基于這兩個問題，DaSiamRPN 設計了兩種數據增強方式：

1. 孿生網絡的訓練只需要圖像對，而并非完整的視頻，所以檢測圖片也可以被擴展為訓練數據。更準確的來說，通過對檢測數據集進行數據增強，生成可用于訓練的圖片對。因此在 DaSiamRPN 中，COCO 和 ImageNet Det 也被引入了訓練，極大地豐富了訓練集中的類別信息。同時，數據量增大的本身也帶來了性能上的提升。

2. 在孿生網絡的訓練過程中，通過構造有語意的負樣本對來增強跟蹤器的判別能力，即訓練過程中不再讓模板和搜索區域是相同目標；而是讓網絡學習判別能力，去尋找搜索區域中和模版更相似的物體，而并非一個簡單的有語義的物體。

經過上述的改進，網絡的判別能力變得更強，檢測分數也變得更有辨別力，這樣就可以根據檢測分數判斷目標是否消失。基于此，DaSiamRPN 可以將短時跟蹤拓展到長時跟蹤，并且在 UAV20L 數據集上比之前最好的方法提高了 6 個點。在 ECCV18 的 VOT workshop 上面，DaSiamRPN 取得了實時比賽的冠軍，相比去年的冠軍有了 80% 的提升。

SiamRPN++ (CVPR19 Oral)：

目前，孿生網絡中的核心問題在于現有的孿生網絡目標跟蹤算法只能用比較淺的卷積網絡（如 AlexNet），無法利用現代化網絡為跟蹤算法提升精度，而直接引入深網絡甚至會使性能大幅衰減。

為了解決深網絡這個 Siamese 跟蹤器的痛點，商湯智能視頻團隊基于之前 ECCV2018 的工作（DaSiamRPN），通過分析孿生神經網絡訓練過程，發現孿生網絡在使用現代化深度神經網絡存在位置偏見問題，而這一問題是由于卷積的?padding 會破壞嚴格的平移不變性。然而深網絡并不能去掉 padding，為了緩解這一問題，讓深網絡能夠在跟蹤提升性能，SiamRPN++中提出在訓練過程中加入位置均衡的采樣策略。通過修改采樣策略來緩解網絡在訓練過程中的存在的位置偏見問題，讓深網絡能夠發揮出應有的效果。

通過加入這一采樣策略，深層網絡終于能夠在跟蹤任務中發揮作用，讓跟蹤的性能不再受制于網絡的容量。同時，為了更好地發揮深層網絡的性能，SiamRPN++中利用了多層融合。由于淺層特征具有更多的細節信息，而深層網絡具有更多的語義信息，將多層融合起來以后，可以跟蹤器兼顧細節和深層語義信息，從而進一步提升性能。

除此之外，研究人員還提出了新的連接部件，深度可分離相關層（Depthwise Correlation，后續簡寫為 DW）。相比于之前的升維相關層（UpChannel correlation，后續簡寫為 UP），DW 可以極大地簡化參數量，平衡兩支的參數量，同時讓訓練更加穩定，也能更好的收斂。

為了驗證以上提出的內容，研究人員做了詳細的實驗。在比較常用的 VOT 和 OTB 數據集上，SiamRPN++取得了 SOTA 的結果。在 VOT18 的長時跟蹤，以及最近新出的一些大規模數據集上如 LaSOT，TrackingNet，SiamRPN++也都取得了 SOTA 的結果。

傳送門：

目前相關代碼現已上傳至商湯科技開源目標跟蹤研究平臺 PySOT。PySOT 實現了目前 SOTA 的多個單目標跟蹤算法，旨在提供高質量、高性能的視覺跟蹤研究代碼庫，并將其靈活應用于新算法的實現和評估中。歡迎大家使用與交流！

PySOT 開源項目

https://github.com/STVIR/pysot

SiamRPN

http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_High_Performance_Visual_CVPR_2018_paper.pdf

DaSiamRPN

http://openaccess.thecvf.com/content_ECCV_2018/papers/Zheng_Zhu_Distractor-aware_Siamese_Networks_ECCV_2018_paper.pdf

SiamRPN++

https://arxiv.org/abs/1812.11703

參考文獻：

Bo Li, Wei Wu, Qiang Wang, Fangyi Zhang, Junliang Xing, Junjie Yan, "SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks" (Oral) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019

Zheng Zhu, Qiang Wang, Bo Li, Wei Wu, Junjie Yan, "Distractor-aware Siamese Networks for Visual Object Tracking" European Conference on Computer Vision (ECCV) 2018

Bo Li, Junjie Yan, Wei Wu, Zheng Zhu, Xiaolin Hu, "High Performance Visual Tracking with Siamese Region Proposal Network" (Spotlight) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018

Luca Bertinetto, Jack Valmadre, Jo?o F. Henriques, Andrea Vedaldi, Philip H. S. Torr?

?"Fully-Convolutional Siamese Networks for Object Tracking" in ECCV Workshop 2016

Goutam Bhat, Joakim Johnander, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg."Unveiling the Power of Deep Tracking" European Conference on Computer Vision (ECCV) 2018

總結

以上是生活随笔為你收集整理的点一万个赞：商汤SiamRPN目标跟踪最强算法开源的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。