Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval

一.研究內容

目前，多模態hash的研究主要是為了學習兼容的二進制碼，以保留標簽給出的語義信息。作者認為這些方法忽略了哈希學習過程中哈希碼的判別性，這導致來自不同類別的哈希代不易區分，從而降低了最近鄰檢索的準確性與魯棒性，因此提出了MBDE

二.研究貢獻

在分類方面制定哈希函數學習，學習更具判別性的哈希碼。

學習異構數據內的共享結構，并保留用于哈希碼的學習結構。

語義標簽代替成對相似度，以更好地保留散列代碼的判別性，并降低存儲消耗和計算成本。

三、研究框架

首先得到圖像的特征矩陣，將圖像的特征矩陣轉化為哈希碼輸入分類器進行分類，與標簽做分類損失，目的是學習到具有類間判別性的哈希碼。將標簽轉化為哈希碼與圖像特征轉化得到的哈希碼做均方誤差，目的是為了使類內樣本得到的哈希碼具有一致性。

四、損失函數

學習具有類間判別性的哈希碼
image

text

學習類內具有一致性的哈希碼

total loss

五、作者的實驗結果

六、作者的下一步計劃

在本文中，作者選擇模型的線性分類器，線性哈希函數和二范數損失。在未來的工作中，我們將納入其他類型的分類器，哈希函數和損失函數進入框架，以進一步提高性能。

總結

以上是生活随笔為你收集整理的Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval--2016.10高新波团队的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。