? 理解出錯之處望不吝指正。

? 本文模型叫做SANet。作者在論文中提到，CNN模型主要適用于類間判別，對于相似物體的判別能力不強。作者提出使用RNN對目標物體的self-structure進行建模，用于提升模型的鑒別相似物體的能力。模型的整體結構如下：

? 從圖中我們可以看出，作者的主要創新點分為以下幾部分：

??? （1）使用RNN提升模型鑒別相似物體的能力；

??? （2）在不同深度下使用RNN基于不同級別的特征對目標物體進行建模；

??? （3）使用跳躍式連接，融合CNN和RNN的特征，提升tracking性能。

?

• ? RNN for Object Self-Structure Modeling

? 在RNN中，對于給定的輸入序列，隱層和輸出層在第個時間步的輸出為：

???

? 作者說道，對二維圖像進行編碼為無向有環圖：

???

? 這種無向有環圖不能直接應用在RNN中，于是作者使用四種不同的有向無環圖對其進行近似：

????

? 以其中某張有向無環圖為例，我們使用來表示，代表點集，代表邊集。我們可以得出：

???

? 其中，代表的前驅節點集合。

? 我們使用表示的直接后繼節點集合，對于每一個，可以得出：

???

? 這里.

? 根據這兩個公式，我們可以計算出在節點的導數：

???

? 其中，，.

? 對于上面的四張有向無環圖，我們可以得出：

???

???

?

• ? 論文中的其他部分

? （1）網絡結構。如本博客中第一張圖片，激活函數使用RELU；

? （2）訓練過程。使用和MDNet中一樣的策略，最后一層有K個branch，對于不同的domain的數據，使用不同的branch訓練。在測試時，將所有的K個branch去掉，重新隨機初始化一個branch微調；

? （3）Tracking。基于粒子濾波，對于當前幀，在上一幀檢測出的目標周圍隨機采樣N個target candidates，得分最高的作為tracking result；

? （4）Update。使用和MDNet中一樣的策略，使用長期樣本庫和短期樣本庫。對于tracking result的分數小于設定閾值的，使用短期樣本庫（短期正樣本+短期負樣本）進行更新，否則使用長期樣本庫（長期正樣本+短期負樣本）進行更新。

? （5）困難負樣本挖掘。使用和MDNet中一樣的策略，在訓練階段的每一次迭代中，一個mini batch包含n個正樣本和p負樣本。用模型測試M（M >> p）個負樣本，取top p個作為困難負樣本。

? （6）邊界框微調。使用和MDNet中一樣的策略，在第一幀訓練一個簡單的線性回歸模型用于預測bbox，在后續幀中使用該模型去微調得到的bbox。

總結

以上是生活随笔為你收集整理的CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。