W!NCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear

文章目錄

• W!NCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear
• • 每一篇論文都需要問自己：
  • 摘要：
  • 需要解決的挑戰(zhàn)：
  • 以往的方式
  • • 基于相機(jī)的方式[6, 15, 37, 48]
    • 接近傳感器([52],[30])
    • EMG([49][20][19])
    • EOG([8,9][23]
  • 從生理信號(hào)中去除動(dòng)作偽影
  • • 濾波方式
    • 傳感器選擇
  • 解決過程
  • • 去除偽影
    • 臉部動(dòng)作識(shí)別
    • 個(gè)性化遷移學(xué)習(xí)
    • 減少計(jì)算復(fù)雜度
  • 怎么設(shè)計(jì)實(shí)驗(yàn)
  • • 建立數(shù)據(jù)集
    • 評(píng)估

---

每一篇論文都需要問自己：

什么是EOG?
眼球是一個(gè)雙極性的球體，角膜相對(duì)于視網(wǎng)膜呈現(xiàn)正電位，兩者之間有電位差，在眼睛的周圍形成一個(gè)電場(chǎng)，當(dāng)眼球轉(zhuǎn)動(dòng)時(shí)，該電場(chǎng)的空間相位發(fā)生變化。眼球運(yùn)動(dòng)可以產(chǎn)生生物電現(xiàn)象，角膜和網(wǎng)膜之間存在一個(gè)電位差，角膜對(duì)網(wǎng)膜是帶正電的。當(dāng)眼睛注視前方不動(dòng)時(shí)，可以記錄到穩(wěn)定的基準(zhǔn)電位。眼睛在水平方向上運(yùn)動(dòng)時(shí)，眼睛左側(cè)和右側(cè)的皮膚之間的電位差會(huì)發(fā)生變化，在垂直方向上運(yùn)動(dòng)時(shí)，眼睛的上下側(cè)的電位會(huì)發(fā)生變化。電位的變化由置于皮膚相應(yīng)位置的電極導(dǎo)入放大器，有放大器的電流計(jì)顯示出來或在示波器上顯示，就是眼電信號(hào)。來源
創(chuàng)新在哪里？
EOG的電極分布不一樣。更加沒有侵入性的布置，初步消除了運(yùn)動(dòng)偽影。
與最相似的論文的區(qū)別在哪里？
用了不同的臉部表情，這篇的臉部動(dòng)作都是為了檢測(cè)疼痛，做一個(gè)疼痛檢測(cè)系統(tǒng)作為他的貢獻(xiàn)。EOG的電極分布不一樣。
得到什么樣子的效果？
達(dá)到了準(zhǔn)確0.88的準(zhǔn)確率。局限在于都是根據(jù)已知?jiǎng)幼魅ビ?xùn)練然后進(jìn)行分類，而不是無窮盡動(dòng)作。

摘要：

以往利用while wearable EEG [12, 34], electrodermal activity [16, 38], and respiration sensors[32]去情感檢測(cè)?，F(xiàn)在利用市面上一個(gè)基于EOG的只能眼鏡通過兩個(gè)階段的處理階段去除了運(yùn)動(dòng)偽影，然后進(jìn)行臉部運(yùn)動(dòng)檢測(cè)。達(dá)到了準(zhǔn)確0.88的準(zhǔn)確率。

需要解決的挑戰(zhàn)：

1.之前實(shí)驗(yàn)室的EOG是在臉部的前額和眼鏡的周圍放置了五個(gè)電極，而我們只是在眼鏡的鼻托上放置電極，信號(hào)會(huì)變得比較微弱，以及沒有那么多角度去測(cè)量。
解決方案：在信號(hào)的振幅、方向和時(shí)間模式上觀察特征加以克服。
2. 這會(huì)導(dǎo)致信號(hào)會(huì)受到頭部和身體變動(dòng)所引起的阻抗變化。這些變化會(huì)引起運(yùn)動(dòng)偽影，干擾我們做各種表情的真實(shí)信號(hào)，需要進(jìn)行消除。
解決方案：結(jié)合加速度計(jì)和陀螺儀通過自適應(yīng)濾波器或CNN網(wǎng)絡(luò)進(jìn)行消除。

以往的方式

以下一些方式的對(duì)比：包括在不同的技術(shù)下的用戶體驗(yàn)的舒適性和侵犯性？能移動(dòng)使用嗎？用戶評(píng)價(jià)接受度有多廣？

基于相機(jī)的方式[6, 15, 37, 48]

1、用戶很難自由移動(dòng)
2、有限視場(chǎng)（FOV)

接近傳感器([52],[30])

1、受到光照的印象，太需要指向臉部，而且近距離視場(chǎng)

EMG([49][20][19])

1、需要遍布臉部電極，侵入性比較大。

EOG([8,9][23]

1、側(cè)重點(diǎn)不同。

從生理信號(hào)中去除動(dòng)作偽影

去除偽影在PPG、EEG和ECG都比較經(jīng)常用到。

濾波方式

1、頻域?yàn)V波（用在ECG PPG，需要是周期性信號(hào)）【54】
2、時(shí)域噪聲去除方法，比如自適應(yīng)濾波，不需要周期性信號(hào)【8，14】；很多自適應(yīng)濾波方法采用遞歸最小二乘(RLS)、最小均方乘(LMS)、歸一化最小均方乘(NLMS)等。
3、非線性函數(shù)逼近器（神經(jīng)網(wǎng)絡(luò)）【18，40，56】
本文采用了NLMS方法以及神經(jīng)網(wǎng)絡(luò)的方式。

傳感器選擇

我們需要一個(gè)傳感器來準(zhǔn)確知道引起偽影的時(shí)間。通常都是使用IMU，還有一些人用了加速度計(jì)【8，10，44】；壓電和拉伸傳感器?！?，21】

IMU和EOG之間的關(guān)鍵區(qū)別在于它們檢測(cè)上面部和下面部手勢(shì)的能力。

解決過程

第一階段去除偽影，第二階段臉部識(shí)別。

去除偽影

我們需要建立一個(gè)模型來去除偽影，也就是將IMU的數(shù)據(jù)與EOG的偽影數(shù)據(jù)進(jìn)行映射，然后真實(shí)EOG數(shù)據(jù)減掉偽影數(shù)據(jù)就好了。
參數(shù)：
S(n)代表的是真實(shí)數(shù)據(jù)，n是時(shí)間刻度，M(n)是估計(jì)的運(yùn)動(dòng)偽影。

要從IMU的數(shù)據(jù)映射到M(n)，因此我們需要建模。構(gòu)建一個(gè)時(shí)變函數(shù)：

α是線性加速度，ω是旋轉(zhuǎn)角速度。為了求取這個(gè)函數(shù)：
我們用了兩種方法。
1、NLMS方法
輸入：六個(gè)輸入流：三個(gè)加速度和三個(gè)陀螺儀軸。
輸出：四個(gè)輸出流：(The signals it provides are the vertical difference (V), horizontal difference (H) and the raw left (L)and right ? electrode readings）
不應(yīng)該是4*7 = 28個(gè)嗎，不明白為啥是30個(gè)(原文：For each output stream, we need six NLMS filters per input stream and one adaptive filter to fuse these outputs.In other words, we need a total of 30 filters.)
濾波器的權(quán)重是自適應(yīng)線上更新的。采用50order(利用50個(gè)進(jìn)行訓(xùn)練估計(jì)），學(xué)習(xí)率設(shè)置為0.05。

2、基于神經(jīng)網(wǎng)絡(luò)回歸模型
輸入：300size的向量（50個(gè)數(shù)據(jù)點(diǎn) x 6軸)
輸出：4軸數(shù)據(jù)
隱藏層：20個(gè)神經(jīng)元
還有可縮放后處理模塊（讓估計(jì)的振幅和EOG信號(hào)有相同的標(biāo)準(zhǔn)差，因此能相互抵消）

臉部動(dòng)作識(shí)別

CNN結(jié)構(gòu)

個(gè)性化遷移學(xué)習(xí)

由于不同人的表情動(dòng)作不太一樣，所以作者進(jìn)行了一定的遷移學(xué)習(xí)訓(xùn)練。在原有的CNN模型中添加了遷移學(xué)習(xí)訓(xùn)練，重新訓(xùn)練了全連接層。

減少計(jì)算復(fù)雜度

通過觸發(fā)機(jī)制來減小運(yùn)算負(fù)擔(dān)。沒有實(shí)時(shí)進(jìn)行CNN等運(yùn)算，而是當(dāng)有活動(dòng)出現(xiàn)的時(shí)候則觸發(fā)運(yùn)動(dòng)偽影算法，只有觸發(fā)偽影后才觸發(fā)后續(xù)模塊算法。

怎么設(shè)計(jì)實(shí)驗(yàn)

建立數(shù)據(jù)集

1、設(shè)置了三種場(chǎng)景：固定的面部動(dòng)作、邊走路邊面部動(dòng)作、邊動(dòng)頭邊面部動(dòng)作（因?yàn)橛脩艉茈y這么做，所以進(jìn)行了信號(hào)合成）；以及最后用OpenFace作為ground truth labeling。
2、17個(gè)用戶，男女比例，平均年齡；動(dòng)作包括：抬起眉毛，減低眉毛，抬起臉頰、皺鼻子，眨眼和“none class”；每一個(gè)用戶每一個(gè)動(dòng)作分別做20次；還簡(jiǎn)單收集了過程中的非自愿眨眼動(dòng)作，把這一類分給“none” class；

評(píng)估

1、準(zhǔn)確率
2、濾波后信噪比
3、偽影消除前后的信號(hào)圖
3、偽影去除的噪聲 比較（自適應(yīng)濾波&神經(jīng)網(wǎng)絡(luò)&完全沒濾波）；（加速度計(jì) 陀螺儀 加速度計(jì)和陀螺儀）；
4、不同用戶的動(dòng)作差異帶來的遷移學(xué)習(xí)結(jié)果，發(fā)現(xiàn)6個(gè)人動(dòng)作 準(zhǔn)確率不會(huì)再上升了。

總結(jié)

以上是生活随笔為你收集整理的论文笔记【WiNCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。