參考論文：Siamese Network Features for Image Matching

會議水平：2016 23rd International Conference on Pattern Recognition (ICPR)

1. 摘要和貢獻(xiàn)

在計算機(jī)視覺應(yīng)用領(lǐng)域，如運(yùn)動結(jié)構(gòu)分析、多視圖3D重建、圖像檢索和基于圖像的地位，圖像匹配都扮演了重要的角色。在這篇文章中，作者采用卷積神經(jīng)網(wǎng)絡(luò)表達(dá)相似圖像對和不相似圖像對的特征，然后采用歐拉距離測量特征矢量并估計相似度。其中，作者采用的是類似于孿生網(wǎng)絡(luò)的結(jié)構(gòu)提取特征向量。在此之前，孿生網(wǎng)絡(luò)已經(jīng)成功運(yùn)用到了圖像的局部匹配領(lǐng)域和人臉對比驗(yàn)證，但是還沒有應(yīng)用于圖像的大規(guī)模匹配。作者通過大量實(shí)驗(yàn)驗(yàn)證，提出的圖像匹配方法的性能遠(yuǎn)高于基線算法。這還是在作者標(biāo)注的標(biāo)簽質(zhì)量很差的情況下，如果數(shù)據(jù)量更大，競金標(biāo)準(zhǔn)更好，作者可以獲得更好的結(jié)果。

作者的貢獻(xiàn)主要表現(xiàn)在兩個方面：

1. 基于深度神經(jīng)網(wǎng)絡(luò)，利用整幅圖像預(yù)測圖像對的相似性。

2.作者驗(yàn)證了孿生網(wǎng)絡(luò)在圖像匹配中的潛力。

2. 結(jié)構(gòu)、方法、細(xì)節(jié)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖 1. 模型結(jié)構(gòu)。兩個分支結(jié)構(gòu)是一樣的，權(quán)重分享。

作者的目標(biāo)在于為圖像對學(xué)習(xí)一個廣義的相似度測度函數(shù)。作者采用了HybridCNN作為網(wǎng)絡(luò)的核心組成部分。網(wǎng)絡(luò)流程也很簡單，一對圖像分別通過神經(jīng)網(wǎng)絡(luò)分支，得到兩幅圖像在特征空間的特征向量。兩個特征向量直接輸送到損失函數(shù)層。注意的是，作者采用的損失函數(shù)依舊是[1,-1]是非類型。即，最小化匹配對的歐氏距離，最大化非匹配對的歐氏距離。

2.1 對比損失函數(shù) constructive loss

為了優(yōu)化作者提出的網(wǎng)路，作者設(shè)計了一個代價函數(shù)進(jìn)行優(yōu)化，該函數(shù)可以明顯區(qū)分匹配對 / 非匹配對圖像。更精確地，他鼓勵相同的圖像對特征空間的距離非常小，不相似的圖像對至少具有m的距離。

l是圖像對的標(biāo)簽 l+ = 1; l- = 0；m>0是非匹配對之間的間距；D=||f(I1)-f(I2)||是圖像對在特征空間的歐氏距離。

只有非匹配對的歐氏距離小于m，非匹配對才會對損失函數(shù)起作用。損失函數(shù)鼓勵匹配對在特征空間的距離非常的近，非匹配對在特征空間距離非常遠(yuǎn)。能夠明顯看出來，歐氏距離大于m的負(fù)樣本對損失函數(shù)不起作用。

作者在文章很多討論都是針對如何確定一個合適的margin value m。

2.2 網(wǎng)絡(luò)細(xì)節(jié)

作者的網(wǎng)絡(luò)架構(gòu)收到了Ground-to-Aerial的啟發(fā)。孿生網(wǎng)絡(luò)包括兩個相同的分支，它們之間共享權(quán)重和參數(shù)。每個分支都包括有卷積層、整流層作為非線性卷積層、以及全連接層。網(wǎng)絡(luò)的動機(jī)就是為了學(xué)習(xí)到最優(yōu)的特征表達(dá)映射。

3. 實(shí)驗(yàn)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖2. 作者研究了不同的特征提取網(wǎng)絡(luò)對模型性能的影響

4.心得

做的中規(guī)中矩

5. 補(bǔ)充材料

HybridCNN.?

B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva, “Learning deep features for scene recognition using places database,” NIPS, 2014.

loss function:

R. Hadsell, C. Sumit, and Y. LeCun, “Dimensionality reduction by learning an invariant mapping,” CVPR, 2006.

Ground-to-Aerial：

T.-Y. Lin, Y. Cui, S. Belongie, and J. Hays, “Learning deep representations for ground-to-aerial geolocalization,” in CVPR, 2015.

總結(jié)

以上是生活随笔為你收集整理的Siamese Network (应用篇1) ：孪生网络特征用于图像匹配 ICPR2016的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。