? 理解出錯(cuò)之處望不吝指正。

? 本文模型叫做MemTrack。本文的模型是基于相似學(xué)習(xí)的，主要有兩個(gè)創(chuàng)新點(diǎn)：①.設(shè)計(jì)一個(gè)動(dòng)態(tài)記憶網(wǎng)絡(luò)；②.使用門(mén)控剩余模板和初始模板，生成最終的匹配模板。模型的整體架構(gòu)如下：

?

• 大致流程

? ①.對(duì)當(dāng)前幀，使用上一幀的預(yù)測(cè)位置進(jìn)行剪裁，得到搜索區(qū)域；

? ②.對(duì)進(jìn)行特征提取，這里特征提取模塊使用和SiamFC一樣的結(jié)構(gòu)；

? ③.使用注意力機(jī)制，獲得輸出，使LSTM的輸入更多的注意object，而不是background；

? ④.將和LSTM的上一個(gè)隱層狀態(tài)一起輸入LSTM，得到隱層狀態(tài)和記憶庫(kù)控制信號(hào)（包括read key 、read strength 、衰減率和一些偏置項(xiàng)）；

? ⑤.使用read key 、read strength 獲得read weight ，再進(jìn)一步獲得剩余模板；

? ⑥.對(duì)剩余模板和初始模板進(jìn)行加權(quán)累加，得到最終匹配模板；

? ⑦.使用最終匹配模板與搜索區(qū)域進(jìn)行相似度計(jì)算，得到當(dāng)前幀的預(yù)測(cè)結(jié)果，將結(jié)果進(jìn)行剪裁得到；

? ⑧.對(duì)進(jìn)行特征提取，得到新的匹配模板，根據(jù)一些規(guī)則，將其寫(xiě)入動(dòng)態(tài)記憶庫(kù)。

?

• 注意力機(jī)制

? 先對(duì)進(jìn)行特征提取，得到，使用的池化核對(duì)進(jìn)行AvgPooling得到，對(duì)分為個(gè)patch，第個(gè)patch用表示，根據(jù)下式得到輸出：

???

? 其中，通過(guò)下式計(jì)算：

???

???

? 效果如下圖：

?

• LSTM控制

? 如圖所示：

???

?

• Memory Reading

? 通過(guò)下式得到read key 、read strength （用于表示read key的置信度）：

???

???

? 再計(jì)算出read weight ：

???

? 這里的是用于計(jì)算余弦相似度的函數(shù)。最終得到剩余模板：

???

?

• 獲得最終模板

? 最終模板可以通過(guò)下式得到：

???

? 其中，是通過(guò)LSTM得到的。

?

• Memory Writing

? 得到新的匹配模板后，根據(jù)以下三條準(zhǔn)則，將其寫(xiě)入到動(dòng)態(tài)記憶庫(kù)中：

??? ①.如果的置信度低（包含大量背景信息），則不進(jìn)行write；

??? ②.如果和以前幀相比變化不大，則用其替代以前幀；

??? ③.如果和以前幀相比變化較大，則用其覆蓋動(dòng)態(tài)記憶庫(kù)中一個(gè)新位置。

? 文中定義了一個(gè)write weight：

???

? 這里的代表零向量，是read weight，是allocation weight（負(fù)責(zé)指定write的位置）。是“寫(xiě)門(mén)”，是“讀門(mén)”，是“分配門(mén)”，是通過(guò)LSTM計(jì)算得到的：

???

? 上式滿足。

? allocation weight通過(guò)下式計(jì)算：

???

? 其中，用于表示動(dòng)態(tài)記憶庫(kù)中不同位置的訪問(wèn)頻次，是衰減因子。

? 將write weight和擦除因子（erase factor）結(jié)合，進(jìn)行動(dòng)態(tài)記憶庫(kù)的寫(xiě)入：

???

?? 其中，是LSTM得到的衰減率，。

?

• 實(shí)驗(yàn)

? OTB-2015

? OTB-2013

? VOT-2016

? 速度

總結(jié)

以上是生活随笔為你收集整理的ECCV 2018 MemTrack:《Learning Dynamic Memory Networks for Object Tracking》论文笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。