目錄

• 簡介
• 動機
• 方法
• 實驗

簡介

論文鏈接

動機

VQA中的語言先驗問題，也可以說是OOD問題（Out-Of-Distribution）。使用額外的單獨分支減輕模型學得語言先驗的一類方法試圖消除所有的Q-A bias，作者認為這是適得其反的。而本文的出發點是讓模型關注正向bias，消除負面bias。正向bias如：對于“what is the color of xxx”問題，模型應回答“顏色”類答案，負面bias如：“香蕉是黃色的”這種語言先驗。

方法

在我個人看來，本文方法可視為一種數據增強。對于數據集中的一個樣本$<Q,I,A>$，作者通過兩種方式進行數據增強，即：$<Q,I,A>\to <\hat{Q},I,\hat{A}>$和$<Q,I,A>\to <Q,\hat{I},\hat{A}>$。前者代表在問題$Q$上進行改變，構造新的樣本對；后者代表在圖片$I$上進行改變，得到新的樣本對。那么本文方法的核心，其實可以分為三點：① 改變$I$、② 改變$Q$、③ 根據改變，生成對應的答案。

• 改變$I$
  對于圖片的處理，作者分為兩種策略，一是抹除重要的object，二是改變重要object的顏色。首先定義，如何衡量object是否重要。作者使用的策略是——在$Q$中提到的object視為重要。對于第一類，作者使用COCO數據集的mask標注隨機抹除$I$中的$m$個object，然后使用基于GAN的inpainting方法對mask部分做一個平滑處理。對于第二類，將重要object做pixel level的換色即可。

• 改變$Q$
  對于問題的處理，作者分為三種策略，一是對“yes/no”問題的語義取反，這通過添加“no/not”即可實現。二是使用對抗單詞代替問題中的重要單詞，如將“Is the lady holding the baby?”改為“Is the cat holding the baby?”，這部分作者構造了一個word list，并使用BERT計算word之間的相似度。替換時，使用$I$中沒出現的、相似度最高的word進行替換。三是對word進行mask，使問題具有歧義性，如“Is the [MASK] holding the baby?”。

• 生成答案
  抹除$I$中的object：對于計數問題，將答案減去抹去的重要object個數；對于“yes/no”問題，當所有重要object全部抹除時，答案會flip。
  更改$I$中重要object的顏色：對于顏色問題，更改答案。
  對于改變$Q$的前兩種策略：直接對答案取反。
  對于改變$Q$的第三種策略：作者使用k-means對數據集中的所有answer做了聚類，手動調節至50個簇，將這50個簇進行標注，作為“廣義類”。如“紅色、黃色、綠色”等統稱為“顏色”類。

下面看一下模型的整體架構。作者將$A$和對應的$<Q,I>$多模態特征$M$投影到一個流形上，投影后的特征稱為$A_p$和$M_p$。對于本文生成的樣本$<\hat{Q},I,\hat{A}>$（或$<Q,\hat{I},\hat{A}>$）通過一樣的操作得到${\hat{A}}_p$和${\hat{M}}_p$。通過最小化$||dis(A_p,M_p)?dis({\hat{A}}_p?{\hat{M}}_p)||$對模型進行優化。

實驗

主要看下在VQA-CP v2上的實驗，結果可以說是非常好了。

總結

以上是生活随笔為你收集整理的EMNLP 2020 《MUTANT: A Training Paradigm for Out-of-Distribution Generalization in VQA》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。