Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval

一.研究內(nèi)容

目前，多模態(tài)hash的研究主要是為了學(xué)習(xí)兼容的二進(jìn)制碼，以保留標(biāo)簽給出的語義信息。作者認(rèn)為這些方法忽略了哈希學(xué)習(xí)過程中哈希碼的判別性，這導(dǎo)致來自不同類別的哈希代不易區(qū)分，從而降低了最近鄰檢索的準(zhǔn)確性與魯棒性，因此提出了MBDE

二.研究貢獻(xiàn)

在分類方面制定哈希函數(shù)學(xué)習(xí)，學(xué)習(xí)更具判別性的哈希碼。

學(xué)習(xí)異構(gòu)數(shù)據(jù)內(nèi)的共享結(jié)構(gòu)，并保留用于哈希碼的學(xué)習(xí)結(jié)構(gòu)。

語義標(biāo)簽代替成對相似度，以更好地保留散列代碼的判別性，并降低存儲消耗和計算成本。

三、研究框架

首先得到圖像的特征矩陣，將圖像的特征矩陣轉(zhuǎn)化為哈希碼輸入分類器進(jìn)行分類，與標(biāo)簽做分類損失，目的是學(xué)習(xí)到具有類間判別性的哈希碼。將標(biāo)簽轉(zhuǎn)化為哈希碼與圖像特征轉(zhuǎn)化得到的哈希碼做均方誤差，目的是為了使類內(nèi)樣本得到的哈希碼具有一致性。

四、損失函數(shù)

學(xué)習(xí)具有類間判別性的哈希碼
image

text

學(xué)習(xí)類內(nèi)具有一致性的哈希碼

total loss

五、作者的實驗結(jié)果

六、作者的下一步計劃

在本文中，作者選擇模型的線性分類器，線性哈希函數(shù)和二范數(shù)損失。在未來的工作中，我們將納入其他類型的分類器，哈希函數(shù)和損失函數(shù)進(jìn)入框架，以進(jìn)一步提高性能。

總結(jié)

以上是生活随笔為你收集整理的Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval--2016.10高新波团队的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。