Multi-Metrics Graph-Based Unsupervised Domain Adaptation for Cross-Modal Hashing

1 Introduction

在沒有任何標記樣本的情況下難以捕獲具有區分度的語義特征，使得跨模態表示的缺乏區分性。這是大多數無監督方法不能達到與監督方法相同的檢索精確度的主要原因。本文提出以一種如下圖所示名為基于圖的多矩陣無監督域適應的方法(Multi-Metrics Graph-Based Unsupervised Domain Adaptation,M2GUDA)。

具體來說，該方法是一個端到端框架，包括一個特征提取器、一個跨模態編碼器、一個哈希層、一個域鑒別器和一個跨域GCN，它們共同用于域和模態不變哈希碼的學習。為了實現從標記源域到未標記目標域的高效語義知識轉移，提出了一種包含結構一致性、語義一致性、域一致性和模態一致性四種一致性約束的領域自適應學習機制來指導模型訓練。

2 Method

令表示源域的多模態數據集，為目標與多模態數據集，本模型的目的是遷移$\bar{S}$中的信息到$\tau$中來學習哈希編碼。

2.1 Domain Adaptation Strategy

① Structure Consistency

由于不同域之間的特征分布區別很大，阻礙了語義信息的遷移。因此，在訓練過程中，作者考慮了每個batch中不同域的中間表示的空間結構一致性，并據此可以表示結構一致性損失。此處作者分別使用了歐氏距離和余弦相似度來計算節點之間的距離。

然后計算節點的三元組損失

再將兩個圖喂入GCN中：

其中$[\Gamma {]}_I$為stack操作后的$\{{\Gamma }_I\}$，$D_{ii}={\sum }_j{A}_{ij}$.

② Domain Consistency

知識遷移的另一個重要工作是減少跨領域的異構性。此處作者引入了一個GAN網絡：

③ Semantic Consistency

為了保持語義一致性，此處引入源域的label$\{\overline{y_i}\}$，和目標與的偽label$\{y_{Ii}\}$,$\{y_{TI}\}$，來構成損失：

④ Modality Consistency

為了緩解不同模態之間的異構性，在源域和目標域上均采用跨模態triplet損失，引導編碼器生成模態不變表征：

2.2 Objective Function

使用下列函數來訓練哈希編碼：

所以最終的損失函數為：

3 Conclusion

由實驗結果可以看出，本文盡管地堆疊了GCN，GAN，Triplet模塊，但是其精確度相較于19年的SSAH一工作并未提升太多，由此也可見如何保持訓練過程中的模態一致性的保持，關鍵并不是再挖掘模態內的語義信息，而是如何保持模態間的語義相似度，這也是為什么跨模態工作一直停滯不前的問題之一。

總結

以上是生活随笔為你收集整理的Multi-Metrics Graph-Based Unsupervised Domain Adaptation for Cross-Modal Hashing的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。