?PaperWeekly 原創(chuàng) ·?作者｜蔡晞陽(yáng)

學(xué)校｜北京交通大學(xué)

研究方向｜時(shí)間序列分析與挖掘

?

?

本文介紹一篇北京交通大學(xué)網(wǎng)絡(luò)科學(xué)與智能系統(tǒng)研究所于計(jì)算機(jī)領(lǐng)域頂級(jí)會(huì)議 ACM MM 2020 發(fā)表的論文，該研究提出了一種基于注意力機(jī)制的 3D DenseNet 對(duì)多媒體刺激產(chǎn)生的情感腦電信號(hào)進(jìn)行分類(lèi)，該模型在統(tǒng)一的框架下同時(shí)提取數(shù)據(jù)中的空間、頻率、時(shí)間特征；并且設(shè)計(jì)了一種 3D 注意機(jī)制來(lái)自適應(yīng)地探索具有判別力的局部模式提升情緒分類(lèi)效果，在現(xiàn)有的多個(gè)數(shù)據(jù)集上分類(lèi)表現(xiàn)均為最優(yōu)。該文提出的模型是一個(gè)多變量腦電信號(hào)的通用框架，可以被拓展到其余信號(hào)分類(lèi)任務(wù)中。

論文標(biāo)題：

SST-EmotionNet: Spatial-Spectral-Temporal based Attention 3D Dense Network for EEG Emotion Recognition

論文鏈接：

https://dl.acm.org/doi/abs/10.1145/3394171.3413724

代碼鏈接：

https://github.com/ziyujia/SST-EmotionNet

論文作者主頁(yè)：

https://ziyujia.github.io/

背景簡(jiǎn)介

情緒會(huì)影響人類(lèi)的行為，且在日常生活中發(fā)揮著重要作用。許多精神疾病與情緒有關(guān)，例如自閉癥和抑郁癥。因此，情緒常被用作評(píng)估患者精神障礙的參考。越來(lái)越多的研究人員專(zhuān)注于針對(duì)特定刺激模式引起的不同情緒的腦電圖分析。研究主要集中在使用多媒體材料（包括圖像，聲音，文本等）設(shè)計(jì)實(shí)驗(yàn)來(lái)刺激大腦并暴露其認(rèn)知活動(dòng)以進(jìn)行情感分類(lèi)。

動(dòng)機(jī)

2.1 挑戰(zhàn)

2.1.1 挖掘腦電信號(hào)時(shí)-頻-空特征的互補(bǔ)性

現(xiàn)存的腦電情緒模型大多僅單獨(dú)使用了腦電信號(hào)的時(shí)域、頻域、空域信息或是以上兩種特征的組合。這些模型忽略了腦電信號(hào)時(shí)-頻-空特征之間的互補(bǔ)性，會(huì)在一定程度上限制腦電分類(lèi)模型的性能表現(xiàn)。如何利用腦電信號(hào)中時(shí)-頻-空特征之間的互補(bǔ)性，這是一個(gè)挑戰(zhàn)。

2.1.2 捕獲時(shí)-頻-空特征之間的局部特征

腦電信號(hào)的時(shí)-頻-空特征中會(huì)存在一些反映大腦情緒的局部特征。如圖中的紅框所示，受試者處于積極情緒時(shí)，大腦顳葉在頻段下的激活程度會(huì)比消極時(shí)更高。這些局部特征的存在有助于情緒的識(shí)別。因此，如何捕獲情緒識(shí)別任務(wù)中腦電信號(hào)的局部時(shí)-頻-空特征是另一個(gè)挑戰(zhàn)。

2.2 貢獻(xiàn)

1. 基于構(gòu)建的腦電的時(shí)-頻-空特征，我們提出了一種雙流 3D 密集連接網(wǎng)絡(luò)，在統(tǒng)一的網(wǎng)絡(luò)框架下融合了腦電信號(hào)的時(shí)-頻-空特征；

2. 我們?cè)O(shè)計(jì)了一種并行的時(shí)-頻-空注意力機(jī)制，用于動(dòng)態(tài)捕獲在不同腦區(qū)、頻段、時(shí)間之間的局部判別特征；

3. 在基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，提出的 SST-EmotionNet 優(yōu)于傳統(tǒng)的基線(xiàn)方法，取得了 SOTA 的性能。

數(shù)據(jù)表示與問(wèn)題定義

腦電信號(hào)的 3D 表示的過(guò)程如圖。具體而言，在本研究中，定義 為長(zhǎng)為 個(gè)時(shí)間點(diǎn)的 個(gè) EEG 電極的數(shù)據(jù)。

利用各個(gè)電極的空間位置信息，我們 將變換成2D時(shí)間平面圖 , 和 分別為 2D 平面圖的高與寬。將所有時(shí)間點(diǎn)下形成的 個(gè) 2D 平面圖堆疊起來(lái)，我們能夠得到信號(hào)的 3D 時(shí)空表示：

?

我們定義??為包含了 B 個(gè)頻段的 EEG 信號(hào)的頻域特征。其中， 為在頻段 下的所有電極的數(shù)據(jù)。

與時(shí)域同理， 會(huì)被變換成 2D 頻域平面圖 。將所有頻段下形成的 個(gè)2D平面圖堆疊起來(lái)，我們能夠得到信號(hào)的 3D 頻空表示 。

此處，我們使用了 5 個(gè)頻段的 EEG 頻域特征，即 。

EEG 情緒識(shí)別問(wèn)題被定義如下，模型需要學(xué)習(xí)一個(gè)映射函數(shù) ，將輸入映射到對(duì)應(yīng)的情緒標(biāo)簽：

此處 表示映射函數(shù)， 表示情緒的分類(lèi)標(biāo)簽。

SST-EmotionNet

SST-EmotionNet 的總體架構(gòu)如圖所示。我們總結(jié)了本文模型的四大關(guān)鍵點(diǎn)：

1. 基于構(gòu)建的腦電 3D 時(shí)-頻-空特征，在一個(gè)統(tǒng)一的網(wǎng)絡(luò)框架下融合了腦電信號(hào)的時(shí)-頻-空特征；

2. 提出了一種并行的空-頻/時(shí)注意力機(jī)制，用于動(dòng)態(tài)捕獲在不同腦區(qū)、頻段、時(shí)間中的局部判別特征；

3. 設(shè)計(jì)了 3D 密集連接模塊和過(guò)渡層幫助特征重用，加強(qiáng)特征傳播過(guò)程，以達(dá)到更高的模型效率；

4. 使用偽 3D 模塊提高 3D 卷積的內(nèi)存效率與計(jì)算效率。

4.1 空-頻/時(shí)注意力機(jī)制

腦電信號(hào)在不同情緒狀態(tài)下的時(shí)-頻-空特征激活中且存在一些有判別力的局部特征。我們?cè)O(shè)計(jì)了一種空-頻/時(shí)注意力機(jī)制（SST-Attention）用于動(dòng)態(tài)捕獲這些有價(jià)值的局部特征。SST-Attention 由兩個(gè)子組件構(gòu)成：空間注意力機(jī)制與頻段/時(shí)間注意力機(jī)制。

由于空-頻注意力機(jī)制與空-時(shí)注意力機(jī)制在結(jié)構(gòu)上較為相似，此處我們將以空-頻注意力機(jī)制為例進(jìn)行展示。空-頻注意力機(jī)制組件的結(jié)構(gòu)如圖所示。首先，跨通道的全局池化（channel-wise global average pooling, cGAP）被用于減少計(jì)算成本，它被定義如下：

其中， 在通道維度 上退化可得到 ； 表示 cGAP 函數(shù)； 表示在張量 的 處的跨通道數(shù)據(jù)向量。

4.1.1 空間注意力機(jī)制

空間注意力機(jī)制用于動(dòng)態(tài)關(guān)注空間上對(duì)情緒識(shí)別任務(wù)有價(jià)值的大腦區(qū)域。最開(kāi)始，跨頻段全局池化（band-wise global average pooling, bGAP）將用于退化頻段維度，其過(guò)程定義如下：

其中 表示頻域特征在空間上的分布情況，它由 退化頻段維度 得到； 表示 bGAP 函數(shù); 表示一個(gè)在張量 的 處的一個(gè)包含著跨頻段數(shù)據(jù)的向量。

隨后，空間注意力矩陣將由一個(gè)帶有 激活的全連接層得到：

其中 和 為可學(xué)習(xí)的參數(shù)； 為歸一化后的 2D 空間注意力矩陣。

4.1.2 頻/時(shí)注意力機(jī)制

為了動(dòng)態(tài)捕獲不同頻帶、時(shí)間點(diǎn)中對(duì)情緒識(shí)別有辨識(shí)度的特征，我們?cè)O(shè)計(jì)了頻/時(shí)注意力。以頻域注意力機(jī)制為例，我們首先對(duì)輸入的張量作空間全局池化（spatial-wise global average pooling, sGAP）用于退化空間維度，其過(guò)程定義如下：

其中， 表示頻域特征在不同頻帶上的分布情況，它由 退化空間維度 得到； 表示 sGAP 函數(shù)； 表示 上第 個(gè)頻帶上對(duì)應(yīng)的平面。

而后，頻域注意力矩陣將由一個(gè)帶有 激活的全連接層得到：

其中 和? 為可學(xué)習(xí)參數(shù)； 為歸一化后的頻域注意力矩陣。

在得到了空間注意力矩陣 與頻域注意力矩陣 以后，頻-空注意力機(jī)制被定義如下：

其中 代表逐元素相乘操作。在乘積操作過(guò)程中，頻域注意力與空間注意力的數(shù)值將會(huì)分別沿著空間維度與頻域維度被廣播。 為空-頻/時(shí)注意力機(jī)制的輸出張量。

4.2 3D密集連接模塊

為了加強(qiáng)特征傳播、達(dá)到更好的參數(shù)效率，受到 2D DenseNet 的啟發(fā)，我們?cè)O(shè)計(jì)了一種 3D 密集連接模塊（3D Densely Connected Module, 3DCM）。每個(gè) 3DCM 由若干個(gè)密集連接的偽 3D 卷積組成。頻-空流中的 3DCM 結(jié)構(gòu)如圖所示。

密集連接：3DCM 中采用了密集連接機(jī)制。對(duì)于該模塊內(nèi)的第 層，它將前序的所有層的特征圖作為輸入：

其中 表示 進(jìn)行拼接; 表示每層內(nèi)進(jìn)行的偽 3D 卷積。

偽 3D 卷積：傳統(tǒng)的 3D 卷積核為 ，其中 為卷積核在空間維度的邊長(zhǎng)、 為頻/空維度的長(zhǎng)度，而傳統(tǒng) 3D 卷積的計(jì)算開(kāi)銷(xiāo)較大。為了減少計(jì)算開(kāi)銷(xiāo)，偽 3D 卷積將傳統(tǒng)的 的 3D 卷積核分解為了等價(jià)于空域上 2D 卷積的 卷積核的與時(shí)/頻域上的 1D 卷積的 卷積核。為了加快計(jì)算速度，我們?cè)?3DCM 中使用偽 3D 卷積代替了傳統(tǒng)的 3D 卷積操作。這樣一來(lái)，前面的 可被定義為：

其中 表示偽 3D 卷積模塊的輸入； 表示捕獲空間特征的 2D 卷積； 表示捕獲頻域或時(shí)域 EEG 特征的 1D 卷積。

4.3 過(guò)渡層

為了提高模型的緊湊性，我們采用了 DenseNet 的一個(gè)重要組成部分——過(guò)渡層。過(guò)渡層通過(guò)減少特征圖的數(shù)量使模型變得緊湊。過(guò)渡層由一個(gè) Batch Normalization 層、一個(gè) 的卷積層、一個(gè) 的平均池化層構(gòu)成。 的卷積層被用于減少特征圖的數(shù)量，平均池化層用來(lái)減小特征圖的大小。若一個(gè) 3DCM 包含 個(gè)特征圖，則跟隨它的過(guò)渡層將會(huì)輸出 個(gè)特征圖，其中 被稱(chēng)為壓縮率。

4.4 融合分類(lèi)層

SST-EmotionNet 從頻空流中提取腦電信號(hào)的頻空特征，并從時(shí)空流中提取腦電信號(hào)的時(shí)空特征。頻空流和時(shí)空流的輸出被融合層所融合，從而進(jìn)行高精度分類(lèi)。融合層由連接層和具有激活的完全連接層組成。

實(shí)驗(yàn)

5.1 數(shù)據(jù)集

我們?cè)?SEED（SJTU Emotion EEG Dataset）與 SEED-IV 數(shù)據(jù)集上評(píng)估了我們提出的模型。SEED 數(shù)據(jù)集包含來(lái)自 15 名受試者在 3 個(gè)時(shí)間段內(nèi)觀看的 15 個(gè)能夠誘發(fā) 3 種情緒電影片段的 EEG 記錄；SEED-IV 數(shù)據(jù)集則包含來(lái)自 15 名受試者在 3 個(gè)時(shí)間段內(nèi)觀看的 15 個(gè)能夠誘發(fā) 4 種情緒電影片段的 EEG 記錄。EEG 信號(hào)在 5 個(gè)頻帶下的差分熵特征（differential entropy, DE）被提取作為輸入的頻域特征。

5.2 結(jié)果

我們與 8 種 Baseline 方法進(jìn)行了比較，結(jié)果如表 2 所示：

SST-EmotionNet 在兩個(gè)數(shù)據(jù)集上均取得了優(yōu)于所有基線(xiàn)方法的性能。我們推測(cè)模型分類(lèi)性能提升原因有以下幾點(diǎn)：

1. 不同于現(xiàn)有的方法，SST-EmotionNet 同時(shí)捕獲腦電信號(hào)的空間、頻率、時(shí)間特征，并利用了各種特征之間的互補(bǔ)性進(jìn)行情緒分類(lèi)；

2. 空-頻/時(shí)注意力機(jī)制的引入使模型更專(zhuān)注于對(duì)情緒識(shí)別有辨識(shí)力的時(shí)-頻-空局部模式的識(shí)別，提升了分類(lèi)表現(xiàn)。

5.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證我們模型各個(gè)組件的有效性，我們?cè)O(shè)計(jì)了一系列消融實(shí)驗(yàn)。

雙流消融： 我們首先將雙流的模型結(jié)構(gòu)消融成了單流的模型結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果如圖所示：

在使用雙流模型的情況下，模型的準(zhǔn)確率能夠比單獨(dú)使用時(shí)-空、頻-空流的模型分別高出 9.48% 與 3.51%。該結(jié)果表明利用不同特征之間的互補(bǔ)性能夠有效提高分類(lèi)準(zhǔn)確率。

注意力機(jī)制消融： 我們對(duì) SST-Attention 的兩個(gè)子組件分別進(jìn)行了消融，實(shí)驗(yàn)結(jié)果如圖所示：

在消融各個(gè)注意力機(jī)制時(shí)，各類(lèi)評(píng)價(jià)指標(biāo)均有下降。如僅使用時(shí)/頻注意力機(jī)制的模型比原模型的分類(lèi)準(zhǔn)確率下降了 1.94%，僅使用空間注意力機(jī)制的模型則下降了 3.30%。該實(shí)驗(yàn)結(jié)果表明了 SST-Attention 模塊能夠捕獲有價(jià)值的局部特征從而提高模型的分類(lèi)性能。

結(jié)論

本文提出了一種腦電情緒識(shí)別模型 SST-EmotionNet，該模型使用雙流的結(jié)構(gòu)同時(shí)捕獲腦電信號(hào)具有互補(bǔ)性的空間、頻率、時(shí)間三類(lèi)特征；同時(shí)，設(shè)計(jì)了一種空-頻/時(shí)注意力機(jī)制，使該模型能夠動(dòng)態(tài)關(guān)注一些對(duì)情緒識(shí)別任務(wù)較有辨識(shí)度的時(shí)-頻-空局部模式。在公開(kāi)的腦電情緒識(shí)別數(shù)據(jù)集 SEED 與 SEED-IV 上的實(shí)驗(yàn)表明，該模型有著出色的性能優(yōu)于傳統(tǒng)的基線(xiàn)方法。此外，該文提出的模型是一個(gè)多變量生理時(shí)間序列的通用框架，未來(lái)可以應(yīng)用于睡眠分期、疲勞駕駛監(jiān)測(cè)等相關(guān)領(lǐng)域中。

更多閱讀

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的基于情感脑电信号时-频-空特征的3D密集连接网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。