摘要

??諷刺檢測和幽默分類本質(zhì)上是一個微妙的問題，主要是因為它們依賴于語境和非語言信息。此外，由于缺乏定性注釋數(shù)據(jù)集，這兩個主題的現(xiàn)有研究通常局限于印地語等非英語語言。在這項工作中，考慮到上述局限性，我們做出了兩大貢獻：
（1）我們開發(fā)了一個印地語-英語代碼混合數(shù)據(jù)集MaSaC1，用于會話對話中的多模態(tài)諷刺檢測和幽默分類，據(jù)我們所知，這是第一個此類數(shù)據(jù)集；
（2） 我們提出了MSH-COMICS2，一種用于話語分類的新的注意力豐富的神經(jīng)結(jié)構(gòu)。
??我們學(xué)習(xí)有效的話語表達利用層次注意機制，一次只注意輸入句子的一小部分。此外，我們結(jié)合對話級上下文注意機制，利用對話歷史進行多模態(tài)分類。我們通過改變多模態(tài)輸入和MSH-COMICS的不同子模塊，對這兩項任務(wù)進行了廣泛的實驗。我們還對現(xiàn)有方法進行了比較分析。我們觀察到，MSH-COMICS在諷刺檢測和幽默分類方面的得分分別超過1分和10分，其表現(xiàn)優(yōu)于現(xiàn)有模型。我們診斷我們的模型，并對結(jié)果進行徹底分析，以了解其優(yōu)越性和缺陷。

創(chuàng)新點：

• 我們開發(fā)了MaSaC，一個用于諷刺檢測和幽默分類的定性多模式數(shù)據(jù)集
• 我們提出了一種新的多模態(tài)上下文句子分類體系結(jié)構(gòu)
• 我們?yōu)閿M議數(shù)據(jù)集上的兩項任務(wù)提供了強有力的基線
• 我們報告了對實驗結(jié)果和報告誤差的詳細分析
• 通過我們開發(fā)的MaSaC數(shù)據(jù)集，我們?yōu)樯鐓^(qū)提供了一個在印度背景下開展代碼混合環(huán)境研究的機會。

可以參考的內(nèi)容：

語境話語的重要性：根據(jù)上下文推斷詞匯重要性

使用一個噪聲過濾器：在將這些表示輸入到完全連接的層之前，加入了噪聲過濾機制，以增強每個模態(tài)的表示。過濾機制背后的直覺是了解現(xiàn)有模式之間的相互作用，然后根據(jù)其他模式過濾噪聲。我們認為，過濾機制可以幫助模型只傳遞相關(guān)的特征，這樣，不同模式的過濾表示可以相互補充，保留不同的特征。對于每種模式，我們實施如下過濾：

??其中σ（·）指的是S形函數(shù)，在培訓(xùn)期間學(xué)習(xí)。由于σ（·）位于[0,1]范圍內(nèi)，因此它控制可通過過濾器的信息量，即。E接近0的值表示非常不相關(guān)的信息，并且被阻止，而對于接近1的值，所有信息都可以轉(zhuǎn)發(fā)到上層。最后，我們將過濾后的表示與交叉模式的參與向量一起用于最終分類。

模型

??評論由文檔 C 的集合組成。每個文檔是 L 個句子的序列，si, i∈ [1, L]。每個句子由 K 個單詞 xi,k, k∈ [1, K] 組成。每個文檔有一組 N 個圖像 gj∈{g1, g2, … , gN??}，每個圖像的向量表示記為 ej。我們研究的目標是訓(xùn)練分類函數(shù)來預(yù)測未見文檔的情感標簽。
??我們的模型是一個四層的分層架構(gòu)，如圖 3 所示。底層是自我注意層，它試圖對每個詞向量進行編碼。下一層是帶有軟注意力的詞編碼層，將詞向量編碼為句子向量。第三層是具有視覺方面注意的句子編碼層。頂層是情感標簽的分類層。
??我們的模型與之前模型的主要區(qū)別在于我們提出了一種基于視覺的分層注意力機制，通過aspect attention、sentence attention、self-attention，整合文字和圖片，提升在線評論情感分析的有效性。通過我們的設(shè)計，在線評論的文本和圖像信息都可以反映在情感分析過程中。通過使用分層注意力網(wǎng)絡(luò)，特別是自注意力方法，我們可以對文本之間的詞間相關(guān)性以及文本和圖像之間的交互進行建模，從而提高在線評論情感分析的性能。

總結(jié)

以上是生活随笔為你收集整理的【论文泛读】Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。