論文題目：End-to-end representation learning for Correlation Filter based tracking, CVPR2017

論文主頁：http://www.robots.ox.ac.uk/~luca/cfnet.html

源碼鏈接：https://github.com/bertinetto/cfnet

相關推導：https://blog.csdn.net/discoverer100/article/details/80030294#commentBox?（非常詳細）

1. 論文摘要、貢獻

圖一：CFNet整體架構。非對稱的孿生網絡，非對稱部分是由于correlation filter部分引起的，作者是想把cf引入到神經網絡中，從而能夠實現end-to-end優化。training images和testing images首先都經過相同的卷積特征提取網絡提取特征，其中training images提取出來的卷積特征進而通過correlation filter得到線性模板，這個線性模板將通過與testing images的特征圖進行交叉相關進而得到目標定位的響應圖。

? ? ? ? 相關濾波器通過訓練一個線性模板從而可以判別frame-frame之間目標的平移。由于該方法在傅里葉空間中存在快速解以及detector可以通過每一幀圖像進行實時的更新。先前的工作主要是融合手工設計的特征和特定任務下卷積特征到DCF跟蹤框架中。作者首先提出了將CF改寫成可微分的神經網絡層，進而和特征提取網絡整合到一起從而實現end-to-end的優化。這樣，提取到的卷積特征就精密耦合到相關濾波器中。本文的最大亮點在于采用輕量級的架構卻實現了state-of-the-art的結果。

? ? ? ? 原始的全卷積孿生神經網絡僅僅考慮到了跟蹤幀與初始幀的匹配，并沒有跟蹤模型跟蹤過程。相比之下，作者每一幀都會計算一個新的模板，并且和之前的模板進行線性組合。然而在深度特征情況下，該方法并沒有足夠收益，作者對他的解釋是因為深度卷積網絡的特征表達很強，CF神經網絡層僅相當于網絡結構層的一部分。

2.CFNet數學原理

2.1 Fully-convolutional Siamese networks

x`代表利用卷積神經網絡輸出樣本的特征圖像；

z`代表可用卷積神經網絡輸出搜索區域的特征圖像；

fp()代表卷積網絡進行特征提取操作； ☆代表交叉相關操作；

SiameseFC實際上就是利用強特征進行最佳匹配跟蹤的方法。

2.2 Correlation Filter networks

本文作者是在SiameseFC基礎之上提出的CFNet，主要就是融入了correlation filter神經網絡層。其公式表達如下：

1. w=w(*) 可以通過在傅里葉空間中解脊回歸，從訓練的特征圖x=f(x`)中計算到標準的CF模板。這個效果可以理解為制作一個對平移魯棒的特征。
2. 標量參數s and b分別代表尺度和偏移量，效益是為了使得分數范圍適用于Logistic regression。
3. 離線的訓練和SiameseFC一致

Note：
1.作者探究目標區域越大，跟蹤算法的性能越好。所以作者采用255*255的目標拓展區域，通過CNN特征提取后，特征圖大小為49*49*32， channel=32是為了保證算法的跟蹤速度。經過CF層級處理后，進行裁剪得到目標模板17*17*32.

2.為了減小循環邊界效應，作者采用了余弦窗函數處理特征圖x=f(x`)。

關于反向傳播的證明參考越野者的博客：https://blog.csdn.net/discoverer100/article/details/80030294#commentBox?

3.實驗

應用上的一些區別：

3.1 作者采用的基線算法與原文是不一樣的。首先是目標提取的尺寸，本文作者采用了很大的外延拓展達到了255*255；此外，在空間分辨率降采樣方面，SiameseFC采用stride=8； CFNet采用stride=4；主要是為了避免使用較小的特征圖訓練correlation filter。

3.2 做著卷積特征網絡最后一層輸出了32個通道，主要為了權衡在線跟蹤實時更新過程中，保證跟蹤的速度。

此圖證明了CFNet并沒有因為特征網絡更深而表現出性能更好。此外，當特征提取網絡達到5層情況下，CFNet的跟蹤效果與基線算法SIamsesFC具有相似的精度，因此CFNet的優勢應該表現在淺層網絡上，即作者談到的light-architecture。

此圖證明了，跟蹤器模板在線更新是有意義的。實線表示模板更新率為0.01，點畫線沒有模板更新過程。這個結論與SiamsesFC的結論剛好相反。SiamsesFC作者認為，采用滑動平均在線更新模板并沒有得到較好的性能收益

總結

以上是生活随笔為你收集整理的CFNet：End-to-end representation learning for Correlation Filter based tracking的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。