ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记
? 理解出錯之處望不吝指正。
? 本文模型叫做MemTrack。本文的模型是基于相似學習的，主要有兩個創新點：①.設計一個動態記憶網絡；②.使用門控剩余模板和初始模板，生成最終的匹配模板。模型的整體架構如下：
?
-
大致流程
? ①.對當前幀，使用上一幀的預測位置進行剪裁，得到搜索區域；
? ②.對進行特征提取，這里特征提取模塊使用和SiamFC一樣的結構；
? ③.使用注意力機制，獲得輸出，使LSTM的輸入更多的注意object，而不是background；
? ④.將和LSTM的上一個隱層狀態一起輸入LSTM，得到隱層狀態和記憶庫控制信號（包括read key 、read strength 、衰減率和一些偏置項）；
? ⑤.使用read key 、read strength 獲得read weight ，再進一步獲得剩余模板；
? ⑥.對剩余模板和初始模板進行加權累加，得到最終匹配模板；
? ⑦.使用最終匹配模板與搜索區域進行相似度計算，得到當前幀的預測結果，將結果進行剪裁得到；
? ⑧.對進行特征提取，得到新的匹配模板，根據一些規則，將其寫入動態記憶庫。
?
-
注意力機制
? 先對進行特征提取，得到，使用的池化核對進行AvgPooling得到，對分為個patch，第個patch用表示，根據下式得到輸出：
???
? 其中，通過下式計算：
???
???
? 效果如下圖：
?
-
LSTM控制
? 如圖所示：
???
?
-
Memory Reading
? 通過下式得到read key 、read strength （用于表示read key的置信度）：
???
???
? 再計算出read weight ：
???
? 這里的是用于計算余弦相似度的函數。最終得到剩余模板：
???
?
-
獲得最終模板
? 最終模板可以通過下式得到：
???
? 其中，是通過LSTM得到的。
?
-
Memory Writing
? 得到新的匹配模板后，根據以下三條準則，將其寫入到動態記憶庫中：
??? ①.如果的置信度低（包含大量背景信息），則不進行write；
??? ②.如果和以前幀相比變化不大，則用其替代以前幀；
??? ③.如果和以前幀相比變化較大，則用其覆蓋動態記憶庫中一個新位置。
? 文中定義了一個write weight：
???
? 這里的代表零向量，是read weight，是allocation weight（負責指定write的位置）。是“寫門”，是“讀門”，是“分配門”，是通過LSTM計算得到的：
???
? 上式滿足。
? allocation weight通過下式計算：
???
? 其中，用于表示動態記憶庫中不同位置的訪問頻次，是衰減因子。
? 將write weight和擦除因子（erase factor）結合，進行動態記憶庫的寫入：
???
?? 其中，是LSTM得到的衰減率，。
?
-
實驗
? OTB-2015
? OTB-2013
? VOT-2016
? 速度
總結
以上是生活随笔為你收集整理的ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ECCV 2018 DSLT:《Deep
- 下一篇： Visual Tracking：运行EC