作者丨張瑋瑋

學(xué)校丨東北大學(xué)碩士生

研究方向丨情緒識(shí)別

引言

論文動(dòng)機(jī)
近年來，腦電圖 (EEG) 在處理情感識(shí)別方面得到了廣泛的應(yīng)用。雖然近年來人們提出了各種各樣的腦電信號(hào)情感識(shí)別方法，但為了進(jìn)一步提高腦電信號(hào)的情感識(shí)別性能，仍有一些重要問題需要深入研究。
首要問題是如何從腦電信號(hào)中提取具有魯棒性的高級(jí)語義特征，相對于手工特征而言，如何提取更具區(qū)別性的時(shí)空域深度特征。第二個(gè)問題是哪些大腦區(qū)域?qū)η榫w識(shí)別更有貢獻(xiàn)，以及如何利用這些腦區(qū)域的地形圖信息來提高 EEG 的情緒識(shí)別。第三個(gè)問題是如何利用腦電信號(hào)在不同腦區(qū)的時(shí)間信息來提高情緒識(shí)別。
論文工作

作者提出了一種新的 EEG 情感識(shí)別方法。該方法由具有區(qū)域到全局層次特征學(xué)習(xí)過程的空間和時(shí)間神經(jīng)網(wǎng)絡(luò)模型組成，以 R2G-STNN 表示，學(xué)習(xí)具有鑒別性的時(shí)空腦電圖特征。采用雙向長短時(shí)記憶 (BiLSTM) 網(wǎng)絡(luò)，分別捕捉電極在腦區(qū)和腦區(qū)之間的內(nèi)在空間關(guān)系，以了解腦電電極的空間特征。
考慮到不同的腦區(qū)在腦電情感識(shí)別中所起的作用不同，在 R2G-STNN 模型中引入?yún)^(qū)域注意層，學(xué)習(xí)一組權(quán)值，以增強(qiáng)或削弱腦區(qū)的貢獻(xiàn)。基于空間特征序列，BiLSTM 學(xué)習(xí)區(qū)域和全部時(shí)空特征，領(lǐng)域判別器和分類器同時(shí)工作用以減弱領(lǐng)域偏移。基于以上提出的方法，本文在 SEED 數(shù)據(jù)集上設(shè)計(jì)了跨被試和被試混淆實(shí)驗(yàn)，并取得了很好的效果。

網(wǎng)絡(luò)模型

R2G-STNN 方法由三個(gè)主要部分組成，如圖 1 所示，即特征提取器部分，分類器部分，判別器部分。

▲?圖1. R2G-STNN模型架構(gòu)

特征提取器

空間域特征提取如圖 2 所示。為了學(xué)習(xí)時(shí)域特征，表示一個(gè)由 T=9 個(gè)相鄰 EEG 片段組成的一個(gè) EEG 樣本，d,n 分別表示每個(gè)電極對應(yīng)的特征數(shù)目，和電極數(shù)目。

首先，作者將??分為若干組，每個(gè)組對應(yīng)大腦分區(qū)的電極，從而在每個(gè)腦區(qū)形成一組區(qū)域特征向量，具體分區(qū)如圖 3 與表 1 所示。接著，區(qū)域特征向量送入 BiLSTM 網(wǎng)絡(luò)學(xué)習(xí)區(qū)域深度特征，并且引入?yún)^(qū)域注意層，學(xué)習(xí)一組權(quán)值，以增強(qiáng)或削弱腦區(qū)的貢獻(xiàn)。最后，加權(quán)區(qū)域特征向量進(jìn)一步輸入 BiLSTM，學(xué)習(xí)全腦深度特征。

▲?圖2. 從區(qū)域到全腦空間域特征學(xué)習(xí)過程
▲?圖3. 腦區(qū)域分類圖?? ? ?

▲?表1.?腦區(qū)域電極分類表

對于腦分區(qū)時(shí)域特征的提取，表示第?j?個(gè)腦區(qū)第?i 個(gè)腦電特征，則腦分區(qū)的特征表示為。

因此，我們可以將 BiLSTM 應(yīng)用于特征向量序列間的時(shí)間信息學(xué)習(xí)，得到如下區(qū)域時(shí)間特征向量：

全腦時(shí)域特征提取基于全局特征矩陣，將按列串聯(lián)成，最終特征向量包含區(qū)域和全局信息的腦電圖樣本 X（由 T 段組成）。

分類器與判別器

在腦電情感識(shí)別中，值得注意的是，訓(xùn)練和測試腦電數(shù)據(jù)樣本可能來自不同的領(lǐng)域，例如，訓(xùn)練和測試數(shù)據(jù)樣本來自不同的受試者。在這種情況下，基于訓(xùn)練數(shù)據(jù)訓(xùn)練的情緒識(shí)別模型可能不適用于測試數(shù)據(jù)。為了解決這一問題，我們引入了一個(gè)分類器與判別器協(xié)同工作來產(chǎn)生鑒別性強(qiáng)和領(lǐng)域不變的情感特征。

分類器與一般深度學(xué)習(xí)的相同，損失函數(shù)可以表示為：

在判別器部分，假定分別來自源域和目標(biāo)域，為了消減領(lǐng)域差異，損失函數(shù)表示為：

通過最大化識(shí)別器的上述損失函數(shù)，特征提取過程會(huì)產(chǎn)生域不變的特征，從而消減情緒識(shí)別中的域差異。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

被試混淆實(shí)驗(yàn)

作者在每個(gè) session 選擇 9 個(gè)腦電信號(hào)的試驗(yàn)用作訓(xùn)練數(shù)據(jù)集，并使用同一時(shí)段的其他 6 項(xiàng)試驗(yàn)作為測試數(shù)據(jù)，并且計(jì)算 15 名受試者的平均識(shí)別精度和標(biāo)準(zhǔn)差作為最終識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果如表 2 與表 3 所示。

▲?表2. 被試混淆實(shí)驗(yàn)結(jié)果

▲?表3.?被試混淆5個(gè)頻段實(shí)驗(yàn)結(jié)果

跨被試實(shí)驗(yàn)

跨被試腦電情感識(shí)別問題，其中訓(xùn)練的腦電圖數(shù)據(jù)樣本和測試的腦電圖數(shù)據(jù)樣本來自不同的受試者。為此，作者采用 LOSO 交叉驗(yàn)證策略進(jìn)行實(shí)驗(yàn)，循環(huán)取一名受試者的腦電信號(hào)作為測試數(shù)據(jù)，其余所有受試者的腦電圖信號(hào)作為訓(xùn)練數(shù)據(jù)。在每個(gè)受試者使用一次測試數(shù)據(jù)后，計(jì)算所有識(shí)別精度的平均值，實(shí)驗(yàn)結(jié)果如表 4 與表 5 所示。

▲?表4.?跨被試實(shí)驗(yàn)結(jié)果
▲?表5.?跨被試5個(gè)頻段實(shí)驗(yàn)結(jié)果

結(jié)論

在本文中，作者提出了一個(gè)新穎的 R2G-STNN 方法對腦電信號(hào)進(jìn)行情感識(shí)別，分層的學(xué)習(xí)過程從區(qū)域到全腦提取時(shí)空腦電圖特征。在 SEED 腦電情感數(shù)據(jù)庫上的大量實(shí)驗(yàn)表明，R2G-STNN 方法在被試混淆和跨被試的腦電情感識(shí)別方面均取得了較好的效果。

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文

總結(jié)

以上是生活随笔為你收集整理的从局部脑到全脑：时空域分层神经网络脑电情绪识别模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。