在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第?79?篇文章

本期推薦的論文筆記來自 PaperWeekly 社區用戶 @Cratial。為了結合用戶的內部大腦活動和外部潛意識行為，本文提出了使用 6 個 EEG 電極和眼動追蹤眼鏡來識別人類情緒的多模態框架 EmotionMeter。

如果你對本文工作感興趣，點擊底部閱讀原文即可查看原論文。

關于作者：吳仕超，東北大學碩士生，研究方向為腦機接口、駕駛疲勞檢測和機器學習。

■?論文 | EmotionMeter: A Multimodal Framework for Recognizing Human Emotions

■ 鏈接 | https://www.paperweekly.site/papers/2000

■ 作者 | Wei-Long Zheng / Wei Liu / Yifei Lu / Bao-Liang Lu / Andrzej Cichocki

引出主題

不同模態方法描述了情緒的不同方面，并且包含互補信息。以融合技術將這些信息結合起來可以構建魯棒性更強的情緒識別模型。

目前，大多數的研究都集中在聽覺和視覺模態相結合的多模式情緒識別上，然而，來自中樞神經系統，例如 EEG 信號和外部行為，例如眼球運動的多模態結合已被證明是對情緒識別更加有效的方法。

為了結合用戶的內部大腦活動和外部潛意識行為，本文提出了使用 6 個 EEG 電極和眼動追蹤眼鏡來識別人類情緒的多模態框架 EmotionMeter。本文提出的情緒識別系統的框架如圖 1 所示。

▲?圖1

本文工作：本文設計了一種包含 6 個對稱顳葉電極的電極放置方式，可以很容易地嵌入到耳機或眼鏡框架中。為驗證本文算法的有效性，設計了四種情緒（高興、悲傷、恐懼和中性）的識別實驗。

本文揭示了 EEG 信號和眼動信息對于情緒識別的互補特性，并通過使用多模態深度神經網絡改善了系統的識別性能。本文運用來自不同實驗階段的訓練和測試數據集研究了本文方法的穩定性，并證明了在多次實驗內和實驗之間的穩定性。

實驗設計

在我們的材料庫中，共有 168 個包含四種情緒的電影片段，44 位被試（22 位女性，均為大學生）被要求在觀看電影片段時評估他們的情緒狀態（在 valence 和 arousal 兩個維度下進行評分（-5~5））。

不同電影片段的平均得分分布情況如圖 2 所示。從圖中可以看出，不同情緒狀態的電影片段在 valence 和 arousal 兩個維度下的得分情況存在顯著差異。

▲?圖2

最后，本文從材料庫中精心挑選出 72 個認同度最高的電影片段用于情緒誘發實驗。每個電影片段時長約為 2 分鐘。為了避免重復，每個電影片段只被用于一次實驗。

為了研究本文模型在一段時間內的穩定性，我們在不同的時間為每位被試設計了三個不同的實驗（sessions）。每次實驗（session）包含 24 個刺激片段（trials），其中每類情緒有 6 個刺激片段（trials），并且三次實驗所用的刺激片段完全不同。圖 3 給出了本文實驗的詳細設計流程。

▲?圖3

數據記錄實驗共包括 15 名（8 名女性，年齡在 20~24 歲）被試，均為右利手。每位被試參與實驗 3 次，共獲得 45 次實驗數據。本文使用的數據集（SEED-IV）將作為 SEED [1] 的子集可免費獲得用于學術研究。

根據國際 10-20 電極系統，本文選擇顳葉對稱的六個電極（FT7, FT8, T7, T8, TP7, TP8）進行實驗。電極布局如圖 4 所示。

▲?圖4

為了進行對比，本文同時記錄了 62 通道的 EEG 數據。原始 EEG 數據用 ESI NeuroScan 系統以 1000hz 的采用頻率進行采集，并同時運用 SMI ETG eye-tracking glasses 記錄眼動信息。圖 5 顯示了本文系統的硬件設置。

▲?圖5

研究方法

預處理?

盡管瞳孔直徑與情緒處理有關，但它很容易受到環境亮度的影響。基于不同被試對相同刺激的瞳孔反應變化具有相似模式的觀察結果，我們應用基于主成分分析（PCA）的方法來估計瞳孔亮度反射。對于 EEG 信號，本文運用 1~75Hz 的帶通濾波器去除偽跡，并對 EEG 和眼動數據進行重采樣以降低計算復雜度。?

特征提取?

針對 EEG 信號，根據我們以前的研究，本文運用短時傅里葉變換（STFT）和 4s 長度的窗口以非重疊的方式提取功率譜密度（PSD）和微分熵（differential entropy, DE）兩類特征。

針對所有通道的五個頻帶我們計算了 PSD 和 DE 特征：1) delta: 1-4Hz; 2) theta: 4-8Hz; 3) alpha: 8-14Hz; 4) beta: 14-31 Hz; and 5) gamma: 31-50Hz。

對于兩個電極（T7和T8），四個電極（T7，T8，FT7和FT8）和六個電極（T7，T8，FT7，FT8，TP7和TP8）的 PSD 和 DE 特征的尺寸分別為 10，20 和 30。

我們應用線性動態系統（linear dynamic system）方法來濾除與 EEG 特征無關的噪聲和偽跡。表 1 中顯示了從眼球運動數據中提取的各類特征信息。

▲?表1

眼動特征的維度為 33，圖 6 顯示了 5 類眼動參數。

▲?圖6

分類方法?

我們使用支持向量機（線性核）作為基準分類器，準確度和標準差被用于評估分類性能。本文采用特征級融合作為模態融合的基準，將腦電圖和眼動特征向量直接連接成一個較大的特征向量作為分類器的輸入。

對于單一模態和多模態的實驗評估，我們將一次實驗的數據分為訓練數據和測試數據，其中前 16 個刺激片段（trials）是訓練數據，最后 8 個刺激片段（trials）（每個情緒包含 2 個 trials）是測試數據。

為了分析 session 之間性能的一致性，將一個 session 的數據用作訓練數據，并將另一個 session 的數據用作測試數據。?

多模態深度學習?

為了提高識別性能，我們采用雙峰深度自動編碼器（bimodal deep auto-encoder, BDAE）來提取腦電圖和眼球運動的共有表示。圖 7 描述了本文提出的深度神經網絡的結構。

▲?圖7

實驗結果與分析

基于EEG信號的情緒識別?

首先，我們評估了 EmotionMeter 在不同腦電電極配置下的識別準確率，實驗結果如表 2 所示。“total”表示五個頻帶特征的直接級聯。

▲?表2

一次實驗中，DE 特征的可視化顯示和對應的情緒標簽如圖 8 所示，圖中呈現了高頻特征中的動態神經模式。從圖中可以看出，delta 的 DE 特征沒有顯示出明顯的變化，而 gamma 和 beta 反應與情緒標簽具有一致性。

▲?圖8

互補特性分析?

對于僅使用眼動數據的情緒識別，我們獲得的平均準確度和標準偏差為 67.82％/ 18.04％，略低于僅使用 EEG 信號獲得的識別結果（70.33％/ 14.45％）。?

對于模態融合，本文比較兩種方法：1）特征級融合和2）多模態深度學習。對于特征級融合，EEG 和眼動數據的特征向量直接連接成一個較大的特征向量作為 SVM 的輸入。

表 III 顯示了每種單一模式（眼球運動和腦電圖）和兩種模態融合方法的表現，圖 9 顯示了使用不同模態的準確度盒形圖。

▲?表3

▲?圖9

為了進一步研究腦電圖和眼動數據的互補特征，我們分析了每種模態的混淆矩陣，揭示了每種模態的優缺點。圖 10 和圖 11 分別給出了基于眼動數據和腦電圖的混淆圖和混淆矩陣。實驗結果表明腦電和眼動數據對情緒識別具有不同的判別力。結合這兩種模式的互補信息，模態融合可以顯著提高分類精度（85.11％）。

▲?圖10

▲?圖11

各session之間的穩定性分析?

我們選擇來自相同被試的不同 session 的總頻帶 DE 特征和眼動數據特征，構成訓練和測試數據集。表 IV 列出了兩個，四個和六個電極配置下的平均識別準確率和標準差。這些結果證明了 EmotionMeter 框架的相對穩定性。

▲?表4

結論與分析

情緒可以通過內部生理反應和外部行為表現出來。來自不同模態的信號從不同方面表征了情緒狀態，并且來自不同模態的互補特征可以進行融合以構建比單模態方法魯棒性更強的情緒識別系統。本文提出的情緒識別框架 EmotionMeter 就是一種融合 EEG 信號和眼動數據的多模態情緒識別系統。

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

點擊標題查看更多論文解讀：?

• ??Tree-CNN：一招解決深度學習中的災難性遺忘

• ??深度神經網絡模型壓縮和加速都有哪些方法？

• ??深度強化學習在指代消解中的一種嘗試

• ??綜述：圖像風格化算法最全盤點

• 5 篇 AAAI 2018 論文看「應答生成」

• 深度協同過濾：用神經網絡取代內積建模

▲?戳我查看招募詳情

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

? ? ? ? ? ?

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看原論文

總結

以上是生活随笔為你收集整理的上海交大提出多模态框架「EmotionMeter」，更精准地识别人类情绪的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。