Multi-Modal Sarcasm Detection 圖文反諷識別

題目：Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion

發表會議/期刊： ACL2019

主要相關： 方面級情感分析+圖文

反諷識別任務的目的是判斷一段文檔是否含有反諷表達

Conttrbutions:

將文本特征，圖像特征，圖像屬性作為三種模態

提出一種多模態層次融合模型

① 首先提取圖像特征和圖像屬性特征

② 再利用屬性特征和雙向LSTM網絡來提取文本特征

③ 三種模態特征進行重構融合成一個特征向量來預測

驗證了為了充分發揮圖像的潛力，需要考慮圖像屬性——一種連接文本和圖像之間的高層次抽象信息。

圖像屬性：由描述圖像組成成分的若干詞組成。

Approach:

（1）初步表示

① For 圖片模態：

對于raw vector：使用一個預訓練和微調的ResNet模型來獲得圖片的14*14區域向量Ii\

圖片guidance vector：將原始向量平均

② For 圖片屬性模態

對于raw vector：使用另一個預訓練和微調的ResNet-101模型來預測每個圖片的5個屬性，其GloVe embeddings被視為原始屬性向量

圖片guidance vector：將原始向量加權平均
原始屬性向量 e(ai) 通過兩層卷積網絡得到注意力權重，用來重構得到guidance vector :Vattr

③ For 文本模態

使用雙向LSTM來獲得推特文本表示，得到的最終隱藏狀態進行平均得到guidance vector:

（2）融合

① 早期融合：

在文本分類任務中，Bi-LSTM的初始狀態通常設置為零，但可以注入多模態信息來促進對文本模態的理解。

將非線性變換后的屬性引導向量作為Bi-LSTM的初始狀態。

曾嘗試使用圖片引導向量進行融合，但表現不好

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-DYNDRip0-1586179918711)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\1586141236228.png)]

② 表示融合

在低層次原始向量和高層次引導向量的幫助下重構特征向量

低層次原始向量：文本->最終時刻的隱藏狀態ht

? 圖像->14*14的區域向量

? 圖像屬性->5個屬性的嵌入表示

將原始向量和引導向量通過一層卷積+非線性變化+卷積，在標準化后平均得到每個原始向量的權重，進而得到該模態下的特征表示

③ 模態融合

特征向量轉換成定長的表示，采用兩層前饋神經網絡，計算各模態的注意力權值，將其作為定長特征向量的權重得到該模態下的最終單一向量

（3）分類

使用兩層全連通神經網絡作為分類層，隱含層的激活函數和輸出層的激活函數分別是ReLu函數和sigmoid函數。損失函數是交叉熵

Results:

總結

以上是生活随笔為你收集整理的【论文阅读】Multi-Modal Sarcasm Detection 图文反讽识别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。