提出了一種三界面模式。系統(tǒng)可以識別運動想象、手勢和眼球運動。腦電圖模式用來識別左右移動的意圖。肌電圖用來識別手勢，便于控制機器人。眼電模式用來識別向左看或向右看的眼部運動，也可以通過眨兩下眼睛來選擇最適合的動作。

實驗要求：6名受試者一只前臂帶肌電環(huán)（myo以200HZ的采樣頻率采集肌電），一只手帶軟手機器人。

實驗過程：EOG模式下，向左或向右箭頭的出現(xiàn)之時受試者用眼睛（向左看或向右看）跟蹤箭頭的方向，并保持自然眨眼。在EEG模式下，想象中的左手或右手動作依次作為提示顯示在屏幕上，顯示相應(yīng)手動作的運動想象，持續(xù)2秒鐘。每個模式都涉及10個實驗，5左5右。每個模式的實驗持續(xù)44秒。

mHMI運動意圖檢測和控制軟機器人的流程圖 ：在檢測用戶意圖之前，通過每個模式采集10次試驗的訓(xùn)練數(shù)據(jù)，分別計算閾值和訓(xùn)練分類器參數(shù)，建立EOG和EEG的訓(xùn)練模型。

mHMI的主要結(jié)構(gòu)和工作流程

實驗結(jié)果：運動意圖分析， 比如眼電模式下，處理信號，設(shè)置閾值，經(jīng)過正確識別后，可以將看左、看右信號轉(zhuǎn)換為機器人動作的指令，將眨雙眼的信號識別為系統(tǒng)切換模式的命令。經(jīng)過處理，分別標記出非自愿眨眼、自愿單眨眼和自愿雙眨眼；根據(jù)三十幅度的正負情況標記出左掃視和右掃視。

在軟機器人的幫助下受試者能夠根據(jù)自己的意圖快速地抓取其日常生活中的各種物體。EEG2個動作，EOG2個，EMG5個。

數(shù)據(jù)處理過程：

在EOG模式下，首先使用零相位FIR低通濾波器對EOG進行濾波，該濾波器具有較低的截止頻率0.05 Hz和較高的截止頻率45 Hz。然后，利用Daubechies小波的4階和10個分解級別，通過基于小波變換的濾波EOG得到結(jié)果。因此，采用雙閾值法建立了EOG模型，識別左視、左視和雙眨眼的眼動，并將其轉(zhuǎn)化為相應(yīng)的命令，分別為彎五指推（S1）、捏五指拉（S2）和模式移位（S0）。

在EEG模式下，首先從EEG信號中去除直流分量和相對于首選公共平均參考的基線漂移，并使用截止頻率為0.05的零相位FIR低通濾波器對其進行濾波～45赫茲。接下來，將EEG中的總平均ERD\/ERS估計為與靜息狀態(tài)前2秒?yún)⒖奸g隔相比的功率降低（ERD）或功率增加（ERS）。計算由左側(cè)或右側(cè)MI分別獲得的信號的二次和的平均值。使用db4母小波作為平均值，通過Daubechies小波在5個級別提取每個通道中的功率變化（Chen等人，2017）。分別記錄在左側(cè)（C3）和右側(cè)（C4）初級感覺運動皮層中央?yún)^(qū)域的EEG平均值之間的差異得到，ERD和ERS使用差異歸一化計算。然后構(gòu)造一個最優(yōu)超平面作為兩類特征分類的決策面，然后選擇合適的核函數(shù)RBF，根據(jù)支持向量機（SVM）的原理，在MATLAB 2010a（MathWorks，Inc.）下使用MATLAB函數(shù)“svmtrain.m”確定決策面參數(shù)。最后，將處理后的腦電數(shù)據(jù)輸入到SVM分類器的訓(xùn)練模型中，然后從測試集上的測試模型中得到分類結(jié)果。結(jié)果很容易轉(zhuǎn)化為三指抓握（S3）和拳頭（S4）命令來控制軟機器人。

在肌電圖模式下，如果大多數(shù)主要的手臂肌肉還可以正常運動，受試者可以在手臂上佩戴MYO，并練習(xí)五種基本手勢。所有操作的詳細信息也可以在網(wǎng)站上的MYO support上找到（Labs，2018a）。Myo Connect的應(yīng)用程序編程接口用于從前臂的肌電活動中實時獲取手勢數(shù)據(jù)，并將肌電輸入到打包的模式識別算法中，對手勢進行分類，這些手勢成功地轉(zhuǎn)換為相應(yīng)的控制指令（如S5、S6、S7、S8、S9和S10）。

運動意圖分析：

眼電：

如A所示，根據(jù)不同的電壓分布范圍，采用眼電檢測方法。第一個子圖描述了原始EOG與小波去噪后信號的比較差異。在第二個子圖中，如果信號大于第一個閾值180μV，則眨眼被認為是有意義的；否則將被忽略。圖5B描繪了掃視檢測的過程。第一個子圖顯示了獲得4個掃視單的原始EOG。第二部分基于小波變換對其進行重構(gòu)。將一些有噪聲的隨機信號分解為小的階梯信號，可以從信號的點差分中得到單值脈沖信號，因此應(yīng)將閾值設(shè)置為30μV以正確識別脈沖信號。如果達到或超過閾值，則脈沖信號要么被視為掃視信號，要么被忽略。校正后的掃視信號如第三子圖所示：如果脈沖信號為正，則表示向右看；否則它表示向左看。經(jīng)過正確識別后，可以將看左、看右信號轉(zhuǎn)換為機器人手彎五指推、捏五指拉的命令，將雙眨眼信號轉(zhuǎn)換為系統(tǒng)切換模式的命令。經(jīng)過EOG處理后，相同的部分用條形圖標記為相同的顏色。(A)是基于EOG的眨眼處理結(jié)果，閾值1、2和3眨眼向量的分別代表非自愿眨眼，自愿單眨眼和自愿雙眨眼，(B)是掃視，如果掃視幅度為正數(shù)，則表示左掃視(藍色)，否則表示右掃視(綠色)。

腦電：

通過相關(guān)事件去同步化和同步化從腦電信號中提取反應(yīng)感覺運動的腦活動的生理現(xiàn)象。在每個受試者10次實驗出現(xiàn)提示前2秒，計算得到C3\C4的總平均ERD\ERS頻率范圍是8-12HZ. 圖6顯示了不同情況下左手或右手運動想象的平均ERD\/ERS。為了直觀地發(fā)現(xiàn)大腦活動，并確定ERD和ERS的百分比值，在紅線下方帶有菱形的藍色線區(qū)域代表ERD（功率降低），綠色線的剩余區(qū)域代表ERS（功率增加），在左側(cè)和右側(cè)MI（提示出現(xiàn)后的時間段2 s）期間。腦電圖顯示對側(cè)（如C3或C4）有明顯的ERD（藍色區(qū)域）和相對較淺的ERS（綠色區(qū)域）。該特征反映了信號特征的變化，因此可以識別左手或右手運動想象。

肌電：

提取表面肌電的共同特征：如平均絕對值、波形長度、過零、斜率符號變化和平均絕對值斜率，用來手勢識別和分類。

?多模式的性能是由不同模式下的所有評估參數(shù)的平均值來表示。控制命令方面，明顯優(yōu)于單一模式，還進一步簡化了添加命令的過程，避免了系統(tǒng)中單一模式的缺點。

mHMI可以檢測11種運動意圖，準確率為93.83%，平均ITR為47.41位\/min。

論文詳情：?An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand

參考：

(24條消息) 基于EEG/EMG/EOG的多模態(tài)人機接口，實時控制軟機器人手_腦機接口社區(qū)的博客-CSDN博客_eog眼電圖

總結(jié)

以上是生活随笔為你收集整理的【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。