參考論文：Siamese Network Features for Image Matching

會議水平：2016 23rd International Conference on Pattern Recognition (ICPR)

1. 摘要和貢獻

在計算機視覺應用領域，如運動結構分析、多視圖3D重建、圖像檢索和基于圖像的地位，圖像匹配都扮演了重要的角色。在這篇文章中，作者采用卷積神經網絡表達相似圖像對和不相似圖像對的特征，然后采用歐拉距離測量特征矢量并估計相似度。其中，作者采用的是類似于孿生網絡的結構提取特征向量。在此之前，孿生網絡已經成功運用到了圖像的局部匹配領域和人臉對比驗證，但是還沒有應用于圖像的大規模匹配。作者通過大量實驗驗證，提出的圖像匹配方法的性能遠高于基線算法。這還是在作者標注的標簽質量很差的情況下，如果數據量更大，競金標準更好，作者可以獲得更好的結果。

作者的貢獻主要表現在兩個方面：

1. 基于深度神經網絡，利用整幅圖像預測圖像對的相似性。

2.作者驗證了孿生網絡在圖像匹配中的潛力。

2. 結構、方法、細節

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 1. 模型結構。兩個分支結構是一樣的，權重分享。

作者的目標在于為圖像對學習一個廣義的相似度測度函數。作者采用了HybridCNN作為網絡的核心組成部分。網絡流程也很簡單，一對圖像分別通過神經網絡分支，得到兩幅圖像在特征空間的特征向量。兩個特征向量直接輸送到損失函數層。注意的是，作者采用的損失函數依舊是[1,-1]是非類型。即，最小化匹配對的歐氏距離，最大化非匹配對的歐氏距離。

2.1 對比損失函數 constructive loss

為了優化作者提出的網路，作者設計了一個代價函數進行優化，該函數可以明顯區分匹配對 / 非匹配對圖像。更精確地，他鼓勵相同的圖像對特征空間的距離非常小，不相似的圖像對至少具有m的距離。

l是圖像對的標簽 l+ = 1; l- = 0；m>0是非匹配對之間的間距；D=||f(I1)-f(I2)||是圖像對在特征空間的歐氏距離。

只有非匹配對的歐氏距離小于m，非匹配對才會對損失函數起作用。損失函數鼓勵匹配對在特征空間的距離非常的近，非匹配對在特征空間距離非常遠。能夠明顯看出來，歐氏距離大于m的負樣本對損失函數不起作用。

作者在文章很多討論都是針對如何確定一個合適的margin value m。

2.2 網絡細節

作者的網絡架構收到了Ground-to-Aerial的啟發。孿生網絡包括兩個相同的分支，它們之間共享權重和參數。每個分支都包括有卷積層、整流層作為非線性卷積層、以及全連接層。網絡的動機就是為了學習到最優的特征表達映射。

3. 實驗

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖2. 作者研究了不同的特征提取網絡對模型性能的影響

4.心得

做的中規中矩

5. 補充材料

HybridCNN.?

B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva, “Learning deep features for scene recognition using places database,” NIPS, 2014.

loss function:

R. Hadsell, C. Sumit, and Y. LeCun, “Dimensionality reduction by learning an invariant mapping,” CVPR, 2006.

Ground-to-Aerial：

T.-Y. Lin, Y. Cui, S. Belongie, and J. Hays, “Learning deep representations for ground-to-aerial geolocalization,” in CVPR, 2015.

總結

以上是生活随笔為你收集整理的Siamese Network (应用篇1) ：孪生网络特征用于图像匹配 ICPR2016的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。