這里寫目錄標題

• 論文標題
• 引言
• 論文學術結構
• • 1、總體介紹
  • 2、介紹敘述式多模態情感分析
  • 3、介紹交互式多模態情感分析
  • 4、多模態情感分析存在的交互建模科學問題
  • 5、結束語
• 閱讀論文初體驗
• 思維導圖

論文標題

《多模態情感分析研究綜述》

引言

多模態情感分析現已成為自然語言處理領域的核心研究課題之一，分為兩類子課題：
1、敘述式多模態情感分析
2、交互式多模態情感分析

論文學術結構

1、總體介紹

從情感分析這個大方面出發，結合現代社會人們利用多媒體的趨向性（趨向多種媒體形式），引出兩個多模態情感分析的子課題，由此展開敘述。

2、介紹敘述式多模態情感分析

1）提出3種多模態融合方法：特征級融合、決策級融合、包含兩者的混合融合。

a.特征級融合：每種模態的特征向量通過特征融合單元融合為一個多模態特征向量，然后對組合特征進行決策分析。（多到一先融合再分析）
優點：可抓取多模態特征間的相關性，幫助更好地完成情感分析。
缺點：各模態特征來自不同語義空間，在時間、語義維度上存在較大差異，不能直接合并，需要將各模態特征映射進共享空間。

b.決策級融合：每種模態特征被獨立地抽取和分類，得到局部決策結果后，融合各個結果為決策向量以獲得最終決策。（逐個分析后融合再分析）
優點：相比特征級融合更簡單自由，可以自由選擇最適合的特征提取器和分類器，產生更優的局部決策結果。
缺點：多模態分析過程的時間成本迅速提升。

c.混合融合。融合上面兩種方法，揚長避短。

2）靜態多模態情感分析（圖片、文字）。

a.基于機器學習的方法。（統計學+機器學習算法）
這種方法將圖文情感分析視為一個監督性的分類任務，通常涉及大規模標注數據集和訓練分類模型。由于標注和訓練數據的規模大，機器會形成一定規律，有較高的識別率。但是該方法特別依賴前期的特征工程（數據集+模型，親測很費人力和時間……）

b.基于深度學習的方法。
這種方法性能較高，若有同等的數據量，勝于機器學習，而且不需要繁瑣的特征工程，適應性極強。但是該方法也需要海量數據支撐，在小數據集上經常過擬合（為了得到一致假設而使假設變得過度嚴格，數據量不夠多），調參難以實現，訓練時間長。

總之，二者都有缺點，但是深度學習>機器學習。

3）動態多模態情感分析（語音、音頻、視頻）

a.基于機器學習的方法。
與靜態類似，同樣需要特征工程，受限于多模態文檔表征的效率問題，但是識別性能好，學習時間短，需要數據量較小。

b.基于深度學習的方法。
與靜態類似，避免了繁瑣的特征工程，但仍有不足，有待提高。

3、介紹交互式多模態情感分析

1）交互式多模態情感分析是敘述式多模態情感分析的繼承，又有別于它，更具有挑戰性。（人們之間相互影響、思維跳躍性和不定性）
2）多模態（交互式）會話情感數據集。
多名學者自主提供數據，建立數據集，國內外皆有，可以互相借鑒和使用。
3）多模態會話情感分析模型。
多名學者自主建立情感分析模型，早期兩個典型模型：HMM、影響力模型。學者在建立模型時不斷改進，考慮周全，重視話語間的交互影響，以得到更好的模型。

4、多模態情感分析存在的交互建?？茖W問題

1）多模態情感分析在交互方面存在弊端，學者基于基礎概率論的研究方法存在局限性。
2）模態內的詞項交互問題。
單詞/詞語之間關系復雜，有時會有一詞多義的情況，因此需要解決此問題。相比文本情感，圖像情感涉及更深奧的抽象性和主觀性。
3）模態間的多模態交互問題。
多模態交互旨在整合多個模態信息，建立模態間的關聯與交互，包含多種媒體數據間的交互、特征間的交互和決策間的交互。

a.數據級交互——通過多模態學習它們潛在的共享信息。

b.特征級交互——學習一個共享空間以至于能將不同模態的特征分別映射至該空間內完成融合。

c.決策級交互——目前已有的方法忽略了模態之間的相互干涉，可能導致不同的結果，未來趨向如何建模并形式化該問題。

4）模態外的話語流交互問題。
話語是人們交流的媒介和手段，與詞語類似，話語也有不同的內涵和交互性，因此該問題也是未來一個重要課題。

5、結束語

多模態情感分析越來越重要， 多模態情感挖掘值得進一步研究，敘述式多模態情感分析和交互式多模態情感分析發展較成熟但仍有不足。多模態詞項、話語間的交互成為未來重要的課題，發展多模態決策交互模型以及提出更一般性的交互理論體系與形式化建模思路亟待研究。

閱讀論文初體驗

1、拿到這篇論文初次瀏覽之后，我大概了解了本篇論文的核心思想，與實驗室的研究方向一致。總體而言這是一篇并不晦澀難懂的論文，文中的每個觀點都很清晰，而且列舉了很多前人的研究（previous research），偏向介紹型，沒有深奧的數學知識的列舉和運用，不像我之前看的R-CNN目標檢測那篇，幾乎全程懵逼 ，硬著頭皮才看完。

2、這篇論文的主要目的是揭示和點明時下比較受關注的課題——多模態情感分析，闡述了先前眾多學者投入大量時間研究此項目，以及該課題未來的發展趨勢，作者的介紹中規中矩，留有很大的想象空間給讀者，讓讀者思考延伸性的問題。

3、文中介紹的多模態情感分析也是我比較感興趣的課題，這篇論文讓我初步了解情感分析相關的知識和發展趨勢，以及研究所使用的方法（機器學習、深度學習）。人與人之間的情感交互是當下比較熱門的話題和切入點，通過對人們使用的文字、圖像、音頻、視頻、詞語、話語等進行分析，便可研究和探索人們的心理和交流的復雜性，因此，多模態情感分析的作用不可小覷，此項研究的前景很廣闊。

思維導圖

總結

以上是生活随笔為你收集整理的多模态情感分析研究综述 论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。