這里寫目錄標(biāo)題

• 論文標(biāo)題
• 引言
• 論文學(xué)術(shù)結(jié)構(gòu)
• • 1、總體介紹
  • 2、介紹敘述式多模態(tài)情感分析
  • 3、介紹交互式多模態(tài)情感分析
  • 4、多模態(tài)情感分析存在的交互建模科學(xué)問題
  • 5、結(jié)束語
• 閱讀論文初體驗(yàn)
• 思維導(dǎo)圖

論文標(biāo)題

《多模態(tài)情感分析研究綜述》

引言

多模態(tài)情感分析現(xiàn)已成為自然語言處理領(lǐng)域的核心研究課題之一，分為兩類子課題：
1、敘述式多模態(tài)情感分析
2、交互式多模態(tài)情感分析

論文學(xué)術(shù)結(jié)構(gòu)

1、總體介紹

從情感分析這個(gè)大方面出發(fā)，結(jié)合現(xiàn)代社會(huì)人們利用多媒體的趨向性（趨向多種媒體形式），引出兩個(gè)多模態(tài)情感分析的子課題，由此展開敘述。

2、介紹敘述式多模態(tài)情感分析

1）提出3種多模態(tài)融合方法：特征級(jí)融合、決策級(jí)融合、包含兩者的混合融合。

a.特征級(jí)融合：每種模態(tài)的特征向量通過特征融合單元融合為一個(gè)多模態(tài)特征向量，然后對(duì)組合特征進(jìn)行決策分析。（多到一先融合再分析）
優(yōu)點(diǎn)：可抓取多模態(tài)特征間的相關(guān)性，幫助更好地完成情感分析。
缺點(diǎn)：各模態(tài)特征來自不同語義空間，在時(shí)間、語義維度上存在較大差異，不能直接合并，需要將各模態(tài)特征映射進(jìn)共享空間。

b.決策級(jí)融合：每種模態(tài)特征被獨(dú)立地抽取和分類，得到局部決策結(jié)果后，融合各個(gè)結(jié)果為決策向量以獲得最終決策。（逐個(gè)分析后融合再分析）
優(yōu)點(diǎn)：相比特征級(jí)融合更簡(jiǎn)單自由，可以自由選擇最適合的特征提取器和分類器，產(chǎn)生更優(yōu)的局部決策結(jié)果。
缺點(diǎn)：多模態(tài)分析過程的時(shí)間成本迅速提升。

c.混合融合。融合上面兩種方法，揚(yáng)長(zhǎng)避短。

2）靜態(tài)多模態(tài)情感分析（圖片、文字）。

a.基于機(jī)器學(xué)習(xí)的方法。（統(tǒng)計(jì)學(xué)+機(jī)器學(xué)習(xí)算法）
這種方法將圖文情感分析視為一個(gè)監(jiān)督性的分類任務(wù)，通常涉及大規(guī)模標(biāo)注數(shù)據(jù)集和訓(xùn)練分類模型。由于標(biāo)注和訓(xùn)練數(shù)據(jù)的規(guī)模大，機(jī)器會(huì)形成一定規(guī)律，有較高的識(shí)別率。但是該方法特別依賴前期的特征工程（數(shù)據(jù)集+模型，親測(cè)很費(fèi)人力和時(shí)間……）

b.基于深度學(xué)習(xí)的方法。
這種方法性能較高，若有同等的數(shù)據(jù)量，勝于機(jī)器學(xué)習(xí)，而且不需要繁瑣的特征工程，適應(yīng)性極強(qiáng)。但是該方法也需要海量數(shù)據(jù)支撐，在小數(shù)據(jù)集上經(jīng)常過擬合（為了得到一致假設(shè)而使假設(shè)變得過度嚴(yán)格，數(shù)據(jù)量不夠多），調(diào)參難以實(shí)現(xiàn)，訓(xùn)練時(shí)間長(zhǎng)。

總之，二者都有缺點(diǎn)，但是深度學(xué)習(xí)>機(jī)器學(xué)習(xí)。

3）動(dòng)態(tài)多模態(tài)情感分析（語音、音頻、視頻）

a.基于機(jī)器學(xué)習(xí)的方法。
與靜態(tài)類似，同樣需要特征工程，受限于多模態(tài)文檔表征的效率問題，但是識(shí)別性能好，學(xué)習(xí)時(shí)間短，需要數(shù)據(jù)量較小。

b.基于深度學(xué)習(xí)的方法。
與靜態(tài)類似，避免了繁瑣的特征工程，但仍有不足，有待提高。

3、介紹交互式多模態(tài)情感分析

1）交互式多模態(tài)情感分析是敘述式多模態(tài)情感分析的繼承，又有別于它，更具有挑戰(zhàn)性。（人們之間相互影響、思維跳躍性和不定性）
2）多模態(tài)（交互式）會(huì)話情感數(shù)據(jù)集。
多名學(xué)者自主提供數(shù)據(jù)，建立數(shù)據(jù)集，國(guó)內(nèi)外皆有，可以互相借鑒和使用。
3）多模態(tài)會(huì)話情感分析模型。
多名學(xué)者自主建立情感分析模型，早期兩個(gè)典型模型：HMM、影響力模型。學(xué)者在建立模型時(shí)不斷改進(jìn)，考慮周全，重視話語間的交互影響，以得到更好的模型。

4、多模態(tài)情感分析存在的交互建模科學(xué)問題

1）多模態(tài)情感分析在交互方面存在弊端，學(xué)者基于基礎(chǔ)概率論的研究方法存在局限性。
2）模態(tài)內(nèi)的詞項(xiàng)交互問題。
單詞/詞語之間關(guān)系復(fù)雜，有時(shí)會(huì)有一詞多義的情況，因此需要解決此問題。相比文本情感，圖像情感涉及更深?yuàn)W的抽象性和主觀性。
3）模態(tài)間的多模態(tài)交互問題。
多模態(tài)交互旨在整合多個(gè)模態(tài)信息，建立模態(tài)間的關(guān)聯(lián)與交互，包含多種媒體數(shù)據(jù)間的交互、特征間的交互和決策間的交互。

a.數(shù)據(jù)級(jí)交互——通過多模態(tài)學(xué)習(xí)它們潛在的共享信息。

b.特征級(jí)交互——學(xué)習(xí)一個(gè)共享空間以至于能將不同模態(tài)的特征分別映射至該空間內(nèi)完成融合。

c.決策級(jí)交互——目前已有的方法忽略了模態(tài)之間的相互干涉，可能導(dǎo)致不同的結(jié)果，未來趨向如何建模并形式化該問題。

4）模態(tài)外的話語流交互問題。
話語是人們交流的媒介和手段，與詞語類似，話語也有不同的內(nèi)涵和交互性，因此該問題也是未來一個(gè)重要課題。

5、結(jié)束語

多模態(tài)情感分析越來越重要， 多模態(tài)情感挖掘值得進(jìn)一步研究，敘述式多模態(tài)情感分析和交互式多模態(tài)情感分析發(fā)展較成熟但仍有不足。多模態(tài)詞項(xiàng)、話語間的交互成為未來重要的課題，發(fā)展多模態(tài)決策交互模型以及提出更一般性的交互理論體系與形式化建模思路亟待研究。

閱讀論文初體驗(yàn)

1、拿到這篇論文初次瀏覽之后，我大概了解了本篇論文的核心思想，與實(shí)驗(yàn)室的研究方向一致。總體而言這是一篇并不晦澀難懂的論文，文中的每個(gè)觀點(diǎn)都很清晰，而且列舉了很多前人的研究（previous research），偏向介紹型，沒有深?yuàn)W的數(shù)學(xué)知識(shí)的列舉和運(yùn)用，不像我之前看的R-CNN目標(biāo)檢測(cè)那篇，幾乎全程懵逼 ，硬著頭皮才看完。

2、這篇論文的主要目的是揭示和點(diǎn)明時(shí)下比較受關(guān)注的課題——多模態(tài)情感分析，闡述了先前眾多學(xué)者投入大量時(shí)間研究此項(xiàng)目，以及該課題未來的發(fā)展趨勢(shì)，作者的介紹中規(guī)中矩，留有很大的想象空間給讀者，讓讀者思考延伸性的問題。

3、文中介紹的多模態(tài)情感分析也是我比較感興趣的課題，這篇論文讓我初步了解情感分析相關(guān)的知識(shí)和發(fā)展趨勢(shì)，以及研究所使用的方法（機(jī)器學(xué)習(xí)、深度學(xué)習(xí)）。人與人之間的情感交互是當(dāng)下比較熱門的話題和切入點(diǎn)，通過對(duì)人們使用的文字、圖像、音頻、視頻、詞語、話語等進(jìn)行分析，便可研究和探索人們的心理和交流的復(fù)雜性，因此，多模態(tài)情感分析的作用不可小覷，此項(xiàng)研究的前景很廣闊。

思維導(dǎo)圖

總結(jié)

以上是生活随笔為你收集整理的多模态情感分析研究综述 论文笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。