全卷积式在线跟踪器
?PaperWeekly?·?作者｜崔玉濤
學校｜南京大學媒體計算所博士生
研究方向｜目標跟蹤
本文介紹我們在單目標跟蹤領域的新工作 FCOT (Fully Convolutional Online Tracking)，目前在 VOT2018 / LaSOT / TrackingNet / GOT10k 等多個數據集上達到了實時 trackers 的 state-of-the-art 效果，并且能達到 47fps。
論文標題：Fully Convolutional Online Tracking
論文地址：https://arxiv.org/abs/2004.07109
代碼鏈接：https://github.com/MCG-NJU/FCOT（已公開各數據集 raw results，代碼整理后放出）
思考
?
近年來，基于 Siamese 的方法可以說是占據了視覺跟蹤領域的半壁江山，涌現了像 Siamfc, SiamRPN, SiamRPN++, SiamFC++ 等優秀的方法，既能保證比較好的跟蹤效果，又達到了很高的 FPS。而另一類判別式的跟蹤模型也同樣值得矚目，像 ATOM/DiMP 取得了當時的 SOTA 效果，并且也能達到實時。
如果將目標跟蹤任務分為分類（粗定位目標）和回歸（精確回歸目標的框）兩個子任務，那么 DiMP 這類判別式的方法充分證明了對分類任務進行跟蹤過程中的在線訓練，可以有效地提升 tracker 的魯棒性，對于區分前景和背景頗有幫助，也因此在多個數據集上達到了當時最好的跟蹤效果。
基于此，我們就思考：既然對于分類分支的在線訓練已經證明了其有效性，那是否對回歸分支進行在線訓練能使得跟蹤過程中框的準確性更高呢？
Motivation
1. 解決跟蹤過程中由于目標形態變化等引發的目標框回歸不準確的問題，對回歸分支首次進行了在線訓練。
?
2. 為了實現回歸分支的在線訓練并且能達到跟蹤的實時性，就需要一個簡潔而有效的回歸分支，因此借鑒了檢測領域 Anchor-free 的工作 FCOS 的思路，直接回歸目標的中心點到四個邊的距離。
?
3. 既然要直接回歸目標的中心點到邊界的距離，那么首先分類分支中定位出的目標中心點要相對比較準確才能保證較高的精度，因此我們產生了更高分辨率的分類 score map。另外我們發現高分辨率的 score map 對定位精度有效，而低分辨率的 score map 則對 tracker 的魯棒性有幫助，因此我們提出了將多個不同分辨率的分類 score map 融合進行定位的策略。
具體實現
?
該網絡的上半部分為在線訓練部分，用來通過訓練幀（給定的第一幀以及以及跟蹤結束的之前幀）產生分類 model 和回歸 model（即卷積核），下半部分為測試部分，通過上面產生的 model 來對當前的測試幀進行分類和回歸，得到目標的中心點和中心點到四個邊界的偏移，從而產生最終的目標框。
首先 backbone 我們采用了 Encoder-Decoder 的結構來產生不同分辨率的 score map 和 offset map。Encoder 采用了 R esnet-50 的 Layer1-layer4，Decoder 則采用了簡單的幾個上采樣層。在 backbone 提取了公共特征之后，再對于不同分辨率的分類分支和回歸分支分別采用不同的 head 來提取針對特定任務的特征。
??
3.1 多尺度分類
?
為了保證分類分支定位目標中心點的精度，我們生成了大小為 72 的分類 score map，然后發現 score map-72 對于相似目標的判定效果不是好，而大小為 18 的低分辨率 score map，雖然精度沒有 score map-72 高，但是魯棒性更好一些。因此我們將兩個不同 scale 的 score map 融合進行預測，下面的消融實驗也會詳細驗證。
?
3.2 Anchor-free回歸
?
對于回歸分支，不同于 siamRPN 等方法的 RPN 結構和 ATOM 等采用的 Iou 預測來迭代回歸框的方式，我們借鑒了 FCOS，采用了 anchor-free 的回歸方式，直接預測中心點到邊界的距離，不僅簡化了結構，更能高效地實現該分支的在線訓練。
?
3.3 Regression Model Generator
?
該部分用來實現回歸分支的在線訓練，包括一個初始化模塊和在線優化模塊，初始化模塊僅僅使用第一幀訓練圖像產生一個初始的 regression model，而在線優化模塊則采用了最速下降法來顯式地求出每次迭代的步長（DiMP 在分類分支在線訓練中驗證了該方式較梯度下降迭代次數更快，效率更高一些）。具體的細節可以參照論文。
實驗
?
4.1 Ablation
在消融實驗中，我們主要驗證了三部分：多尺度分類，回歸分支的在線訓練，回歸分支的特征融合。
Score map-18 對于魯棒性的提高有幫助，而 score map-72 則會提高定位的精度，從而提升框的精度，我們在論文的 appendix 中也有更詳盡的可視化和討論。
從 VOT2018 和 trackingnet 可以明顯的看出回歸分支在線訓練的作用，而 VOT 的 accuracy 這個指標之所以比不用在線訓練低，是和 vot 的測試方式有關的。在 vot 數據集的測試過程中，如果跟丟了目標就會計作 lost 一次，重新給定目標的真實框進行跟蹤。
而 FCOT 加上在線訓練之后框更加準確一些，所以也促進了分類分支的在線訓練效果，因此 lost 次數更少，每次跟蹤的序列更長一些，accuracy 在長序列中就會降低一點。
?
回歸分支的特征融合對于跟蹤性能的提升也是有幫助的。
?
4.2 State-of-the-art
?
為了驗證 FCOT 的性能，我們在主流的單目標跟蹤數據集進行了測試，包括 VOT2018 / GOT-10k / OTB100 / UAV123 / NFS 幾個重要的短時數據集以及 LaSOT 和 TrackingNet 兩個較大的數據集上進行了測試，其中在 VOT2018 數據集上的 EAO 和 Robustness 達到了 0.508 和 0.108，相對于 ICCV2019 的 DiMP 以及 AAAI2020 的 SiamFC++ 有很大提升。
此外在 TrackingNet 和 LaSOT 數據集normalized precision 也提升很大，在 GOT-10k 等數據集上也達到了SOTA的效果。FCOT 在取得當前 SOTA 效果的同時，還能達到 47fps。
總結
?
FCOT 在較高的 FPS 的基礎上，實現了很好的定位精度和框的回歸精度，提升了跟蹤的性能。但是目標跟蹤領域還是存在著很多問題，像如何處理遮擋等等，總之還需要我們去進一步發掘。
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
- 上一篇： 小蓝车停在停车点忘记确认怎么办？
- 下一篇： ICML 2020 | 基于类别描述的文