摘要

??諷刺檢測和幽默分類本質上是一個微妙的問題，主要是因為它們依賴于語境和非語言信息。此外，由于缺乏定性注釋數據集，這兩個主題的現有研究通常局限于印地語等非英語語言。在這項工作中，考慮到上述局限性，我們做出了兩大貢獻：
（1）我們開發了一個印地語-英語代碼混合數據集MaSaC1，用于會話對話中的多模態諷刺檢測和幽默分類，據我們所知，這是第一個此類數據集；
（2） 我們提出了MSH-COMICS2，一種用于話語分類的新的注意力豐富的神經結構。
??我們學習有效的話語表達利用層次注意機制，一次只注意輸入句子的一小部分。此外，我們結合對話級上下文注意機制，利用對話歷史進行多模態分類。我們通過改變多模態輸入和MSH-COMICS的不同子模塊，對這兩項任務進行了廣泛的實驗。我們還對現有方法進行了比較分析。我們觀察到，MSH-COMICS在諷刺檢測和幽默分類方面的得分分別超過1分和10分，其表現優于現有模型。我們診斷我們的模型，并對結果進行徹底分析，以了解其優越性和缺陷。

創新點：

• 我們開發了MaSaC，一個用于諷刺檢測和幽默分類的定性多模式數據集
• 我們提出了一種新的多模態上下文句子分類體系結構
• 我們為擬議數據集上的兩項任務提供了強有力的基線
• 我們報告了對實驗結果和報告誤差的詳細分析
• 通過我們開發的MaSaC數據集，我們為社區提供了一個在印度背景下開展代碼混合環境研究的機會。

可以參考的內容：

語境話語的重要性：根據上下文推斷詞匯重要性

使用一個噪聲過濾器：在將這些表示輸入到完全連接的層之前，加入了噪聲過濾機制，以增強每個模態的表示。過濾機制背后的直覺是了解現有模式之間的相互作用，然后根據其他模式過濾噪聲。我們認為，過濾機制可以幫助模型只傳遞相關的特征，這樣，不同模式的過濾表示可以相互補充，保留不同的特征。對于每種模式，我們實施如下過濾：

??其中σ（·）指的是S形函數，在培訓期間學習。由于σ（·）位于[0,1]范圍內，因此它控制可通過過濾器的信息量，即。E接近0的值表示非常不相關的信息，并且被阻止，而對于接近1的值，所有信息都可以轉發到上層。最后，我們將過濾后的表示與交叉模式的參與向量一起用于最終分類。

模型

??評論由文檔 C 的集合組成。每個文檔是 L 個句子的序列，si, i∈ [1, L]。每個句子由 K 個單詞 xi,k, k∈ [1, K] 組成。每個文檔有一組 N 個圖像 gj∈{g1, g2, … , gN??}，每個圖像的向量表示記為 ej。我們研究的目標是訓練分類函數來預測未見文檔的情感標簽。
??我們的模型是一個四層的分層架構，如圖 3 所示。底層是自我注意層，它試圖對每個詞向量進行編碼。下一層是帶有軟注意力的詞編碼層，將詞向量編碼為句子向量。第三層是具有視覺方面注意的句子編碼層。頂層是情感標簽的分類層。
??我們的模型與之前模型的主要區別在于我們提出了一種基于視覺的分層注意力機制，通過aspect attention、sentence attention、self-attention，整合文字和圖片，提升在線評論情感分析的有效性。通過我們的設計，在線評論的文本和圖像信息都可以反映在情感分析過程中。通過使用分層注意力網絡，特別是自注意力方法，我們可以對文本之間的詞間相關性以及文本和圖像之間的交互進行建模，從而提高在線評論情感分析的性能。

總結

以上是生活随笔為你收集整理的【论文泛读】Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。