摘要

??諷刺檢測(cè)和幽默分類本質(zhì)上是一個(gè)微妙的問題，主要是因?yàn)樗鼈円蕾囉谡Z(yǔ)境和非語(yǔ)言信息。此外，由于缺乏定性注釋數(shù)據(jù)集，這兩個(gè)主題的現(xiàn)有研究通常局限于印地語(yǔ)等非英語(yǔ)語(yǔ)言。在這項(xiàng)工作中，考慮到上述局限性，我們做出了兩大貢獻(xiàn)：
（1）我們開發(fā)了一個(gè)印地語(yǔ)-英語(yǔ)代碼混合數(shù)據(jù)集MaSaC1，用于會(huì)話對(duì)話中的多模態(tài)諷刺檢測(cè)和幽默分類，據(jù)我們所知，這是第一個(gè)此類數(shù)據(jù)集；
（2） 我們提出了MSH-COMICS2，一種用于話語(yǔ)分類的新的注意力豐富的神經(jīng)結(jié)構(gòu)。
??我們學(xué)習(xí)有效的話語(yǔ)表達(dá)利用層次注意機(jī)制，一次只注意輸入句子的一小部分。此外，我們結(jié)合對(duì)話級(jí)上下文注意機(jī)制，利用對(duì)話歷史進(jìn)行多模態(tài)分類。我們通過改變多模態(tài)輸入和MSH-COMICS的不同子模塊，對(duì)這兩項(xiàng)任務(wù)進(jìn)行了廣泛的實(shí)驗(yàn)。我們還對(duì)現(xiàn)有方法進(jìn)行了比較分析。我們觀察到，MSH-COMICS在諷刺檢測(cè)和幽默分類方面的得分分別超過1分和10分，其表現(xiàn)優(yōu)于現(xiàn)有模型。我們?cè)\斷我們的模型，并對(duì)結(jié)果進(jìn)行徹底分析，以了解其優(yōu)越性和缺陷。

創(chuàng)新點(diǎn)：

• 我們開發(fā)了MaSaC，一個(gè)用于諷刺檢測(cè)和幽默分類的定性多模式數(shù)據(jù)集
• 我們提出了一種新的多模態(tài)上下文句子分類體系結(jié)構(gòu)
• 我們?yōu)閿M議數(shù)據(jù)集上的兩項(xiàng)任務(wù)提供了強(qiáng)有力的基線
• 我們報(bào)告了對(duì)實(shí)驗(yàn)結(jié)果和報(bào)告誤差的詳細(xì)分析
• 通過我們開發(fā)的MaSaC數(shù)據(jù)集，我們?yōu)樯鐓^(qū)提供了一個(gè)在印度背景下開展代碼混合環(huán)境研究的機(jī)會(huì)。

可以參考的內(nèi)容：

語(yǔ)境話語(yǔ)的重要性：根據(jù)上下文推斷詞匯重要性

使用一個(gè)噪聲過濾器：在將這些表示輸入到完全連接的層之前，加入了噪聲過濾機(jī)制，以增強(qiáng)每個(gè)模態(tài)的表示。過濾機(jī)制背后的直覺是了解現(xiàn)有模式之間的相互作用，然后根據(jù)其他模式過濾噪聲。我們認(rèn)為，過濾機(jī)制可以幫助模型只傳遞相關(guān)的特征，這樣，不同模式的過濾表示可以相互補(bǔ)充，保留不同的特征。對(duì)于每種模式，我們實(shí)施如下過濾：

??其中σ（·）指的是S形函數(shù)，在培訓(xùn)期間學(xué)習(xí)。由于σ（·）位于[0,1]范圍內(nèi)，因此它控制可通過過濾器的信息量，即。E接近0的值表示非常不相關(guān)的信息，并且被阻止，而對(duì)于接近1的值，所有信息都可以轉(zhuǎn)發(fā)到上層。最后，我們將過濾后的表示與交叉模式的參與向量一起用于最終分類。

模型

??評(píng)論由文檔 C 的集合組成。每個(gè)文檔是 L 個(gè)句子的序列，si, i∈ [1, L]。每個(gè)句子由 K 個(gè)單詞 xi,k, k∈ [1, K] 組成。每個(gè)文檔有一組 N 個(gè)圖像 gj∈{g1, g2, … , gN??}，每個(gè)圖像的向量表示記為 ej。我們研究的目標(biāo)是訓(xùn)練分類函數(shù)來(lái)預(yù)測(cè)未見文檔的情感標(biāo)簽。
??我們的模型是一個(gè)四層的分層架構(gòu)，如圖 3 所示。底層是自我注意層，它試圖對(duì)每個(gè)詞向量進(jìn)行編碼。下一層是帶有軟注意力的詞編碼層，將詞向量編碼為句子向量。第三層是具有視覺方面注意的句子編碼層。頂層是情感標(biāo)簽的分類層。
??我們的模型與之前模型的主要區(qū)別在于我們提出了一種基于視覺的分層注意力機(jī)制，通過aspect attention、sentence attention、self-attention，整合文字和圖片，提升在線評(píng)論情感分析的有效性。通過我們的設(shè)計(jì)，在線評(píng)論的文本和圖像信息都可以反映在情感分析過程中。通過使用分層注意力網(wǎng)絡(luò)，特別是自注意力方法，我們可以對(duì)文本之間的詞間相關(guān)性以及文本和圖像之間的交互進(jìn)行建模，從而提高在線評(píng)論情感分析的性能。

總結(jié)

以上是生活随笔為你收集整理的【论文泛读】Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。