這里寫目錄標題

• 論文標題
• 引言
• 論文學(xué)術(shù)結(jié)構(gòu)
• • 1、總體介紹
  • 2、介紹敘述式多模態(tài)情感分析
  • 3、介紹交互式多模態(tài)情感分析
  • 4、多模態(tài)情感分析存在的交互建模科學(xué)問題
  • 5、結(jié)束語
• 閱讀論文初體驗
• 思維導(dǎo)圖

論文標題

《多模態(tài)情感分析研究綜述》

引言

多模態(tài)情感分析現(xiàn)已成為自然語言處理領(lǐng)域的核心研究課題之一，分為兩類子課題：
1、敘述式多模態(tài)情感分析
2、交互式多模態(tài)情感分析

論文學(xué)術(shù)結(jié)構(gòu)

1、總體介紹

從情感分析這個大方面出發(fā)，結(jié)合現(xiàn)代社會人們利用多媒體的趨向性（趨向多種媒體形式），引出兩個多模態(tài)情感分析的子課題，由此展開敘述。

2、介紹敘述式多模態(tài)情感分析

1）提出3種多模態(tài)融合方法：特征級融合、決策級融合、包含兩者的混合融合。

a.特征級融合：每種模態(tài)的特征向量通過特征融合單元融合為一個多模態(tài)特征向量，然后對組合特征進行決策分析。（多到一先融合再分析）
優(yōu)點：可抓取多模態(tài)特征間的相關(guān)性，幫助更好地完成情感分析。
缺點：各模態(tài)特征來自不同語義空間，在時間、語義維度上存在較大差異，不能直接合并，需要將各模態(tài)特征映射進共享空間。

b.決策級融合：每種模態(tài)特征被獨立地抽取和分類，得到局部決策結(jié)果后，融合各個結(jié)果為決策向量以獲得最終決策。（逐個分析后融合再分析）
優(yōu)點：相比特征級融合更簡單自由，可以自由選擇最適合的特征提取器和分類器，產(chǎn)生更優(yōu)的局部決策結(jié)果。
缺點：多模態(tài)分析過程的時間成本迅速提升。

c.混合融合。融合上面兩種方法，揚長避短。

2）靜態(tài)多模態(tài)情感分析（圖片、文字）。

a.基于機器學(xué)習(xí)的方法。（統(tǒng)計學(xué)+機器學(xué)習(xí)算法）
這種方法將圖文情感分析視為一個監(jiān)督性的分類任務(wù)，通常涉及大規(guī)模標注數(shù)據(jù)集和訓(xùn)練分類模型。由于標注和訓(xùn)練數(shù)據(jù)的規(guī)模大，機器會形成一定規(guī)律，有較高的識別率。但是該方法特別依賴前期的特征工程（數(shù)據(jù)集+模型，親測很費人力和時間……）

b.基于深度學(xué)習(xí)的方法。
這種方法性能較高，若有同等的數(shù)據(jù)量，勝于機器學(xué)習(xí)，而且不需要繁瑣的特征工程，適應(yīng)性極強。但是該方法也需要海量數(shù)據(jù)支撐，在小數(shù)據(jù)集上經(jīng)常過擬合（為了得到一致假設(shè)而使假設(shè)變得過度嚴格，數(shù)據(jù)量不夠多），調(diào)參難以實現(xiàn)，訓(xùn)練時間長。

總之，二者都有缺點，但是深度學(xué)習(xí)>機器學(xué)習(xí)。

3）動態(tài)多模態(tài)情感分析（語音、音頻、視頻）

a.基于機器學(xué)習(xí)的方法。
與靜態(tài)類似，同樣需要特征工程，受限于多模態(tài)文檔表征的效率問題，但是識別性能好，學(xué)習(xí)時間短，需要數(shù)據(jù)量較小。

b.基于深度學(xué)習(xí)的方法。
與靜態(tài)類似，避免了繁瑣的特征工程，但仍有不足，有待提高。

3、介紹交互式多模態(tài)情感分析

1）交互式多模態(tài)情感分析是敘述式多模態(tài)情感分析的繼承，又有別于它，更具有挑戰(zhàn)性。（人們之間相互影響、思維跳躍性和不定性）
2）多模態(tài)（交互式）會話情感數(shù)據(jù)集。
多名學(xué)者自主提供數(shù)據(jù)，建立數(shù)據(jù)集，國內(nèi)外皆有，可以互相借鑒和使用。
3）多模態(tài)會話情感分析模型。
多名學(xué)者自主建立情感分析模型，早期兩個典型模型：HMM、影響力模型。學(xué)者在建立模型時不斷改進，考慮周全，重視話語間的交互影響，以得到更好的模型。

4、多模態(tài)情感分析存在的交互建模科學(xué)問題

1）多模態(tài)情感分析在交互方面存在弊端，學(xué)者基于基礎(chǔ)概率論的研究方法存在局限性。
2）模態(tài)內(nèi)的詞項交互問題。
單詞/詞語之間關(guān)系復(fù)雜，有時會有一詞多義的情況，因此需要解決此問題。相比文本情感，圖像情感涉及更深奧的抽象性和主觀性。
3）模態(tài)間的多模態(tài)交互問題。
多模態(tài)交互旨在整合多個模態(tài)信息，建立模態(tài)間的關(guān)聯(lián)與交互，包含多種媒體數(shù)據(jù)間的交互、特征間的交互和決策間的交互。

a.數(shù)據(jù)級交互——通過多模態(tài)學(xué)習(xí)它們潛在的共享信息。

b.特征級交互——學(xué)習(xí)一個共享空間以至于能將不同模態(tài)的特征分別映射至該空間內(nèi)完成融合。

c.決策級交互——目前已有的方法忽略了模態(tài)之間的相互干涉，可能導(dǎo)致不同的結(jié)果，未來趨向如何建模并形式化該問題。

4）模態(tài)外的話語流交互問題。
話語是人們交流的媒介和手段，與詞語類似，話語也有不同的內(nèi)涵和交互性，因此該問題也是未來一個重要課題。

5、結(jié)束語

多模態(tài)情感分析越來越重要， 多模態(tài)情感挖掘值得進一步研究，敘述式多模態(tài)情感分析和交互式多模態(tài)情感分析發(fā)展較成熟但仍有不足。多模態(tài)詞項、話語間的交互成為未來重要的課題，發(fā)展多模態(tài)決策交互模型以及提出更一般性的交互理論體系與形式化建模思路亟待研究。

閱讀論文初體驗

1、拿到這篇論文初次瀏覽之后，我大概了解了本篇論文的核心思想，與實驗室的研究方向一致。總體而言這是一篇并不晦澀難懂的論文，文中的每個觀點都很清晰，而且列舉了很多前人的研究（previous research），偏向介紹型，沒有深奧的數(shù)學(xué)知識的列舉和運用，不像我之前看的R-CNN目標檢測那篇，幾乎全程懵逼 ，硬著頭皮才看完。

2、這篇論文的主要目的是揭示和點明時下比較受關(guān)注的課題——多模態(tài)情感分析，闡述了先前眾多學(xué)者投入大量時間研究此項目，以及該課題未來的發(fā)展趨勢，作者的介紹中規(guī)中矩，留有很大的想象空間給讀者，讓讀者思考延伸性的問題。

3、文中介紹的多模態(tài)情感分析也是我比較感興趣的課題，這篇論文讓我初步了解情感分析相關(guān)的知識和發(fā)展趨勢，以及研究所使用的方法（機器學(xué)習(xí)、深度學(xué)習(xí)）。人與人之間的情感交互是當下比較熱門的話題和切入點，通過對人們使用的文字、圖像、音頻、視頻、詞語、話語等進行分析，便可研究和探索人們的心理和交流的復(fù)雜性，因此，多模態(tài)情感分析的作用不可小覷，此項研究的前景很廣闊。

思維導(dǎo)圖

總結(jié)

以上是生活随笔為你收集整理的多模态情感分析研究综述 论文笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。