目錄

• 簡介
• 動機
• 方法
• 實驗

簡介

論文鏈接

動機

由于cv中的方法通常會過擬合數據集，所以很多學者嘗試讓這些方法對“域變化”魯棒。但是，這些domain adaptation方法并不適用于VQA任務，主要由于三個原因：

VQA任務的輸入是多模態的；

VQA方法由不同的模塊構成了多個步驟，導致優化復雜；

不同的VQA數據集的answer space是不同的。

為了應對上述問題，作者主要做了以下三個方面的工作：

量化不同VQA數據集之間的domain shift，并在image和question domain分別合成了新的數據。

測試了不同類型的VQA方法的魯棒性。

測試了現有的domain adaptation方法，并提出了一個新的更適用于VQA任務的方法。

方法

個人認為，本文主要的貢獻在于，作者通過分析不同方法的魯棒性，得出“NMNs方法較為魯棒”的結論，進一步做了“推理是和domain無關”的假設。根據這個假設，作者設計了適用于VQA領域的domain adaptation方法，也就是下圖中的Two-stage DA。核心思想就是，把Visual Encoder預訓練好，再去訓練VQA模型（此時保持Visual Encoder不更新）。也就是說：Training Stage 1學習表達，Training Stage 2學習推理，由于“推理和domain無關”，所以得到的模型更加魯棒。

實驗

下圖是作者測試了不同VQA數據集之間的domain gap：

下表是不同類方法的domain adaptation性能測試（分別是image shift和question shift情況下）：


接下來，作者測試了本文提出的訓練策略和已有的domain adaptation方法的對比：

總結

以上是生活随笔為你收集整理的CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。