目錄

• 簡介
• 動機
• 方法
• 實驗

簡介

本文出自張含望老師課題組。
論文鏈接

動機

文章的第一句就說明了本文的動機，也就是，本文提出了一個新穎的注意力機制，可以消除現有的基于注意力的視覺語言方法中的混雜效應。

混雜效應會造成有害的bias，誤導注意力模塊學到數據中的虛假相關，從而降低模型的泛化性。

由于混雜是不可觀測的，所以作者使用了前門調整策略實現因果干預。

方法

現有的方法中通常是建模公式1：

作者認為，應該建模$P(Y|do(X))$。但是由于混雜的存在，$P(Y|do(X))=P(Y|X)$。又混雜是不可觀測的，無法使用后門調整，所以使用了前門調整，得到公式3：

從公式3中可以看出，此方法的難點在于如何建模IS-Sampling和CS-Sampling。作者使用NWGM近似法在特征層面上對它們進行建模，避免了采樣帶來的昂貴計算。

更進一步，可以使用Attention中的QKV模式建模IS-Sampling和CS-Sampling：


對IS-Sampling和CS-Sampling完成建模后，即可以使用IS-ATT Block和CS-ATT Block替換傳統Attention方法中的Block。

實驗

在Image Captioning上的結果：

應對Bias的性能提升：

在VQA上的實驗結果：


對預訓練模型的提升：

總結

以上是生活随笔為你收集整理的CVPR 2021 《Causal Attention for Vision-Language Tasks》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。