目錄

• 簡介
• 動機
• 方法
• 實驗

簡介

本文是POSTECH和Kakao合作的一篇文章。
論文鏈接

動機

異常檢測有助于提升模型的穩定性和可靠性，也就是魯棒性，OOD問題也可以視為一種異常。但是，單模態的異常檢測（MSP）并不能輕易的使用到VQA這種多模態任務中。作者提出了一種基于attention的方法（MAP），可以對VQA中的五種異常進行檢測。

方法

首先，作者將VQA任務中的異常情況分為五種，也就是五個TASK。

• TASK1~TASK3
  這三個TASK很好理解，就是在輸入的視覺信息$V$和語言信息$Q$中，至少有一類是來自于OOD的。
• TASK4
  TASK4指的是：$V$和$Q$不相關。即：難以建立兩個模態之間的關聯。
• TASK5
  TASK5指的是：通過$V$和$Q$得到的$A$是OOD的。即：答案$A$是未定義的。

結合下面這幾種異常示例，可以便于理解。

傳統的單模態異常檢測方法，使用$\text{softmax}$判斷模型輸出的置信度，當置信度低于閾值時，則認為發生了異常。但是這種方法不適用于VQA任務，主要有兩方面原因：① 置信度是基于$p(a|v,q)$計算的，對前四種TASK無法區分；② 進行多模態特征融合后，原本的OOD可能會消失，即：$V$和$Q$的OOD在進行特征融合后表現為ID。

所以，作者提出了基于attention的異常檢測方法。本質是使用$V$中每個region和$Q$中每個word的加權attention計算score。為了防止attention對異常過于strong，作者添加了正則項，顯式地finetune模型。

實驗

提升了模型的魯棒性，但降低了精度。

對于OOD問題（TASK1~TASK3），檢測能力具有大幅提升。

對于TASK4：

對于TASK5：

總結

以上是生活随笔為你收集整理的AAAI 2021 《Regularizing Attention Networks for Anomaly Detection in Visual Question Answering》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。