本文介紹一篇于 ACM MM 2021 上發表，備受關注的 Oral 論文《HetEmotionNet: Two-Stream Heterogeneous Graph Recurrent Neural Network for Multi-modal Emotion Recognition》，該論文以多模態情感數據的高精度分類為研究目標，提出了一種雙流異質圖遞歸神經網絡進行多模態情緒數據的分類。

盡管現有方法能夠達到較高的分類表現，但是如何充分利用多模態生理時間序列的時-頻-空域特征互補性、異質性和相關性進行情感識別仍然具有挑戰。該論文提出了一種新穎的異質圖神經網絡 HetEmotionNet，在統一的框架下同時建模了多模態數據的特征互補性、相關性和異質性。HetEmotionNet 在兩個真實世界數據中與現有的 SOTA 模型相比較實現了最佳的性能。

原文地址：

https://arxiv.org/abs/2108.03354

論文源碼：

https://github.com/ziyujia/HetEmotionNet

作者主頁：

https://ziyujia.github.io/

PPT文件：

https://ziyujia.github.io/slides/HetEmotionNet_slides.pdf

研究背景

情緒是由思維感覺和行為表現組成的生理和心理的狀態。提到情緒識別，人們的第一反應是通過圖像、文本、聲音等形式進行識別，一般不會想到利用生理信號。盡管圖像、文本、聲音數據比較容易收集，也能夠達到不錯的效果，但人的面部表情和聲音容易被偽裝、掩蓋，不一定能反映真實情感。基于生理信號的情緒識別可以避免此類情況，生理信號是人生理情況的客觀反應，不容易被偽裝。此外，多模態的生理信號也是未來發展的趨勢。

研究動機

基于生理信號的情緒識別在情感計算中起著重要的作用，但現有的工作仍存在下面幾個問題：

1. 如何有效的利用時頻空域信息的互補性。生理信號空間域中的時域信息和頻域信息通常具有不同的激活程度。例如，圖 1 顯示了不同情緒狀態下 EEG 信號在空間域中時域和頻域特征的差異。例如，在時空域中，時域信息的激活程度直接反映了大腦的活動。高激活度通常與積極情緒有關，低激活度通常與消極情緒有關。在頻空域中，𝛾 波段的激活度通常在消極情緒中較高，在積極情緒中較低。

▲ 圖1：腦電信號在時頻空域中的互補性

現有工作大多數僅分別從時空或頻空方面提取信號特征并進行分類。而最新的同時考慮時頻空特征的研究 SST-EmotionNet 基于通道電極的空間關系采用了網格圖的方式來組織通道數據并對空白區域填充了 0。圖 2(a) 示意了該網格圖的構造方法。

但這樣做存在兩方面的問題：1. 由于事實上沒有放置電極的腦部區域仍舊有著電信號。所以填充 0 會引入噪聲。2. 物理位置相近的通道間不一定有著數據上的高關聯。而圖 2（b）中圖的構造方法可以反應通道間的拓撲關系且不用填入噪聲。

▲ 圖2：兩種EEG通道的空間表示。（a）：將EEG信號組織成2D map形式。（b）：將EEG信號組織成圖的形式

2. 如何同時建模多模態數據中的相關性和異質性。多模態生理信號存在異質性和相關性。模態之間的異質性體現在從不同器官收集的各種信號的屬性之間的差異。例如在圖 3 中 EEG 信號和 ECG 信號在波形和振幅上有很大的差異。相關性包括模態內相關性和跨模態相關性。模態內相關性是同一模態中通道之間的關系，如圖 2（b）所示的功能連接。跨模態相關性是不同模態的通道之間的關系。

例如，當參與者處于恐懼狀態時，心電信號反映更大的心率加速，伴隨著 GSR 信號的增加以及右額葉腦電信號的高激活程度。但現有方法僅分別建模了多模態生理信號的相關性或異質性。

▲ 圖3：多模態生理信號的異質性

本文針對以上問題，提出了一種基于多模態生理信號的雙流異質圖遞歸神經網絡 HetEmotionNet。

論文貢獻

該模型構造了情緒異質圖序列并輸入到了雙流結構中，同時捕獲多模態生理信號的時-頻-空三類特征；同時該模型利用了 GTN 來建模多模態生理信號的異質性，GCN 來建模多模態生理信號的相關性，并用 GRU 來提取多模態生理信號時域和頻域間的依賴關系。本文的主要貢獻可被概述如下：

• 構建了多模態生理信號數據的時空和頻空圖表示。

• 提出了一種基于圖的同時融合生理信號時-頻-空信息的雙流結構。

• 同時提取了多模態生理數據的相關性和異質性。

• 在公開的多模態情緒識別數據集 DEAP 與 MAHNOB-HCI 上的實驗表明，該模型相較基線方法有著出色的性能。

HetEmotionNet：雙流異質圖遞歸神經網絡

▲ 圖4：模型架構圖

模型由結構一致但相互獨立的時空流與頻空流組成，它們分別用于提取多模態生理信號的時空特征與頻空特征，輸入分別為構建的時空和頻空圖序列。每一流都是一個異質圖遞歸神經網絡，由圖轉換網絡（Graph Tansformer Network），圖卷積神經網絡（Graph Convolution Network）和門控循環單元層（Gated Recurrent Units）組合而成。最后，本文將兩流網絡提取得到的時頻空域特征融合并用于情緒分類。

我們的模型的關鍵點有以下三個：

• 設計了一種面向多模態情緒識別的異質時空和頻空圖表示。

• 通過整合基于圖的時空流和頻空流在一個模型中來同時提取和融合多模態生理信號的時頻空特征。

• 采用了 GTN 來建模多模態生理數據的異質性；GCN 來捕獲不同通道數據間的相關性。GRU 來捕獲時域和頻域中的依賴關系。

（1）異質圖構造

對于每個樣本，我們分別構建了一個異質的時空圖序列和一個異質的頻空圖序列，如圖 5 所示。這些異質圖被用來描述多模態信號時域信息和頻域信息在空間上的分布。我們主要分成以下三個步驟來構建時空圖序列：

• 先計算一個樣本內不同通道間 128 個時間點數據的互信息值作為邊的權重和鄰接矩陣。步驟如圖 5 中 ① 所示。

• 為了構造異質圖，我們分別將每個時間點的所有通道的值作為節點特征并和上一步計算得到的鄰接矩陣構成了異質圖。步驟如圖 5 中 ② 所示。

• 最后我們將 128 個時間點構建的異質圖拼接起來構成了異質時空圖序列。步驟如圖 5 中 ③ 所示。

與構建時空圖序列類似，本文也構建了頻空圖序列：

• ?首先對每個通道的值分別在四個頻段上計算差分熵（DE）特征，步驟如圖 5中 ④ 所示。

• 然后分別將每個頻帶的所有通道值作為節點特征并和鄰接矩陣組成了異質圖，步驟如圖 5 中 ⑤ 所示。

• 最后將四個頻帶構建的異質圖拼接得到異質頻空圖序列。步驟如圖 5 中 ⑥ 所示。

▲ 圖5：異質圖序列構造過程

（2）異質圖遞歸神經網絡的組成

由于模型的時空流和頻空流有著相同的結構，都是一個異質圖遞歸神經網絡，所以我們以時空流為例介紹。異質圖遞歸神經網絡由圖轉換網絡（GTN），圖神經網絡（GCN）和門控循環單元（GRU）構成。三個部分的作用分別如下：

• GTN 主要通過從異質圖中自動提取一些元路徑（即不同通道間的關系）來建模多模態數據的異質性。

• GCN 利用 GTN 提取得到的元路徑進行圖卷積。對于相同的節點特征，文中分別為使用不同元路徑的結果設置了不同的權重并進行了加權求和以重新構筑提取后的時空圖序列。

• GRU 利用 GCN 得到的圖序列來建模不同時間點。對于提取得到的圖序列，文中將每個時間點的圖對應的送入 GRU 層相應的單元并將提取后所有單元的信息拼接起來送入分類器進行分類。

實驗

本文在 DEAP 與 MAHNOB-HCI 兩個多模態情緒識別數據集上進行實驗并對模型進行評估，結果如下：

HetEmotionNet 在兩個數據集上均取得了優于所有基線方法的性能。我們認為模型分類性能提升的原因有以下幾點：

1. 不同于現有的方法，HetEmotionNet 在基于圖的結構下同時捕獲了多模態生理信號的時-頻-空域特征，并利用了各種特征之間的互補性進行情緒分類。

2. 同時建模了多模態生理信號數據的異質性和相關性并提升了分類表現。

結論

本文提出了一種多模態情緒識別模型 HetEmotionNet。該模型使用基于圖的雙流結構同時捕獲多模態生理信號的時-頻-空三類特征；同時該模型利用了 GTN 來建模多模態生理信號的異質性，GCN 來建模多模態生理信號的相關性并用 GRU 來提取多模態生理信號時域和頻域間的依賴關系。在公開的多模態情緒識別數據集 DEAP 與 MANODB-HCI 上的實驗表明，該模型有著出色的性能并優于基線方法。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的ACM MM 2021 | 面向多模态情绪识别的双流异质图递归神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。