前面專欄中，我們介紹了有關(guān)基于圖片/視頻的人臉表情識(shí)別的相關(guān)內(nèi)容，也了解了通過回歸的方式來理解表情的方式——基于連續(xù)模型的人臉表情識(shí)別。在專欄的最后一篇文章中，我們將分享計(jì)算機(jī)視覺領(lǐng)域中圍繞情緒識(shí)別主題的一些會(huì)議和相關(guān)競(jìng)賽。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 作者&編輯 | Menpinland

隨著計(jì)算能力的提升、神經(jīng)網(wǎng)絡(luò)研究的步步深入，人工智能在機(jī)器翻譯、行為識(shí)別、語音識(shí)別以及圖像分割、分類、檢測(cè)等任務(wù)中取得了重大突破，推進(jìn)了這些領(lǐng)域的發(fā)展。配以圖像、語音識(shí)別的人工智能已經(jīng)逐漸能夠“看見”、“聽見”，然而人機(jī)交互的過程中，讓機(jī)器真正看得懂、聽得懂情感豐富的人類的情緒狀態(tài)，依然是一個(gè)很大的挑戰(zhàn)。

未來想讓計(jì)算機(jī)實(shí)現(xiàn)真正的人工智能并服務(wù)于人，并與人類產(chǎn)生自然的智能化的人機(jī)交互，計(jì)算機(jī)必須具備情緒識(shí)別和表達(dá)能力，需要具備情感。情緒識(shí)別是與人工智能相關(guān)的領(lǐng)域，它可以幫助計(jì)算機(jī)智能的識(shí)別人類情感。隨著情緒識(shí)別領(lǐng)域的不斷發(fā)展，人們對(duì)情緒識(shí)別的研究也越來越多，并在人機(jī)交流等不同的應(yīng)用領(lǐng)域中占有重要的地位 [1]。由于人臉表情是最容易獲取且最直觀反映人的情緒狀態(tài)的模式，因此在所有情緒識(shí)別研究的分支中，基于人臉表情的情緒識(shí)別是最早也是最熱門的一個(gè)分支。

早期的研究者將表情定義為六種基本的情緒：開心、悲傷、驚訝、害怕、厭惡、生氣，并通過讓相關(guān)研究人員或?qū)I(yè)的演員在實(shí)驗(yàn)室條件下進(jìn)行“擺拍”獲得不同類別表情的方式構(gòu)建數(shù)據(jù)集（后續(xù)有相關(guān)研究對(duì)基本情緒類別進(jìn)行了擴(kuò)充）。但隨著研究的深入，人們發(fā)現(xiàn)通過上述的方式進(jìn)行情緒識(shí)別的研究存在著一些弊病：（1）現(xiàn)實(shí)當(dāng)中人臉會(huì)出現(xiàn)遮擋、頭部姿態(tài)變換以及光照變換等更復(fù)雜的情況，而且人在自然條件下的表情也不會(huì)有在實(shí)驗(yàn)室條件下通過“擺拍”得到的表情那么明顯。因此，在理想條件下訓(xùn)練得到的算法模型面對(duì)現(xiàn)實(shí)更苛刻的條件，識(shí)別率自然大大下降。（2）將情緒定位為若干類別并不適用于每一種應(yīng)用場(chǎng)景，如識(shí)別駕駛員的情緒更關(guān)注的是他的疲勞程度或憤怒程度，教育應(yīng)用中識(shí)別學(xué)生的情緒更關(guān)注的是他的專注情況。因此，對(duì)于不同場(chǎng)景下不同的情緒識(shí)別需求應(yīng)該有不同的評(píng)價(jià)指標(biāo)。（3）人可以通過控制自己的面部表情來隱藏自己的情緒，基于單一視覺模態(tài)很難有效對(duì)情緒進(jìn)行識(shí)別。針對(duì)這三大弊病，當(dāng)前情緒識(shí)別也逐步偏向于自然條件下、更多應(yīng)用場(chǎng)景、更多模態(tài)背景下的研究。在每一年的一些涉及到多媒體、人機(jī)交互等主題的會(huì)議中，都有一些非常前沿的情緒識(shí)別競(jìng)賽或者主題研討會(huì)（workshop），它們重點(diǎn)關(guān)注的是當(dāng)前情緒識(shí)別研究尚未解決的難點(diǎn)或者貼近實(shí)際生活的新穎點(diǎn)，了解這些信息可以掌握當(dāng)前情緒識(shí)別研究的趨勢(shì)，同時(shí)學(xué)習(xí)新穎的研究方法。筆者為大家歸納了2018年至今的一些大型國際情緒識(shí)別競(jìng)賽和主題研討，供大家參閱：

1 EmotiW?

EmotiW（Emotion Recognition in the Wild Challenge）是一項(xiàng)圍繞現(xiàn)實(shí)環(huán)境中不同的情感計(jì)算問題算法競(jìng)賽。該挑戰(zhàn)提出的初衷是為情感計(jì)算研究人員提供一個(gè)競(jìng)爭性平臺(tái)。這項(xiàng)挑戰(zhàn)是ACM 多模態(tài)交互國際會(huì)議（ACM International Conference on Multimodal Interaction，ICMI）中其中一個(gè)挑戰(zhàn)。自2013開始，EmotiW每年都會(huì)舉辦一次，挑戰(zhàn)的子項(xiàng)目每年都會(huì)有所變化。?

tips：EmotiW每年其官網(wǎng)對(duì)于子挑戰(zhàn)的描述可能會(huì)存在一定的滯后性，對(duì)于子挑戰(zhàn)更準(zhǔn)確的描述應(yīng)該參考每年的總結(jié)論文。

EmotiW 2018

EmotiW 2018包含三個(gè)子挑戰(zhàn)：

---群體情緒識(shí)別（Group-level Emotion Recognition ，GReco）

---學(xué)生專注度預(yù)測(cè)（Student Engagement Prediction ，EngReco）

---音視頻情緒識(shí)別（Audio-Video Emotion Recognition，VReco）

群體情緒識(shí)別是將一個(gè)群體的感知情緒分為積極，中立或消極。社交網(wǎng)絡(luò)用戶通過Internet上傳社交活動(dòng)期間捕獲的大量圖像。這些圖像來自積極的社會(huì)事件，例如典禮，婚禮，派對(duì)或像會(huì)議這樣的中立事件，以及一些消極事件，例如葬禮，抗議等。此子挑戰(zhàn)中的圖像來自the Group Affect Database 3.0 [2]。標(biāo)簽用效價(jià)值進(jìn)行表示。數(shù)據(jù)集分成三個(gè)子集：訓(xùn)練集，驗(yàn)證集和測(cè)試集。Baseline是利用Inception V3+3個(gè)全連接層（4096）當(dāng)作三分類任務(wù)來做，在驗(yàn)證集和測(cè)試集上的準(zhǔn)確率分別為65%、61%。

圖1｜群體情緒識(shí)別數(shù)據(jù)圖例

學(xué)生專注度預(yù)測(cè)是預(yù)測(cè)視頻中學(xué)生的專注程度。數(shù)據(jù)集來源于Kaur 等人的研究 [3]。在數(shù)據(jù)集中，每位學(xué)生志愿者被要求觀看在線教育視頻（MOOC），然后通過筆記本電腦、手機(jī)或者網(wǎng)絡(luò)攝像頭等設(shè)備錄取他們觀看的過程。每個(gè)視頻樣本約5分鐘時(shí)長，錄制視頻的背景也各不相同，包括有計(jì)算機(jī)實(shí)驗(yàn)室、操場(chǎng)、食堂、旅館房間等。同時(shí)為了突出非受限環(huán)境的特點(diǎn)，數(shù)據(jù)集分散到一天不同時(shí)間進(jìn)行錄制，從而實(shí)現(xiàn)了包含多種光照條件的目的。數(shù)據(jù)集分成三個(gè)子集：訓(xùn)練集，驗(yàn)證集和測(cè)試集。標(biāo)簽的話，專注度被劃分為四個(gè)等級(jí)，0代表極度不專注，3代表極度專注。但最后實(shí)現(xiàn)上，是把專注度預(yù)測(cè)轉(zhuǎn)化為回歸問題，同時(shí)把0-3的專注度歸一化到[0-1]。Baseline是將每個(gè)樣本分割成不同的片段，每個(gè)片段利用LBPTOP或者是借助OpenFace提取特征，最后再利用LSTM完成回歸任務(wù)，在驗(yàn)證集和測(cè)試集上的均方誤差分別為0.10和0.15。

圖2｜學(xué)生專注度預(yù)測(cè)數(shù)據(jù)圖例

音視頻情緒識(shí)別是將一段音視頻中的人的情緒進(jìn)行識(shí)別。挑戰(zhàn)采用的數(shù)據(jù)集為Acted Facial Expressions in the Wild (AFEW) database [4]。視頻數(shù)據(jù)通過關(guān)鍵字檢索電影和電視劇片段得到。情緒標(biāo)簽是基本的7類表情（開心、悲傷、驚訝、害怕、厭惡、生氣、中立）。數(shù)據(jù)集同樣分成三個(gè)子集：訓(xùn)練集，驗(yàn)證集和測(cè)試集。Baseline是利用LBPTOP提取特征，用SVR進(jìn)行訓(xùn)練分類，在驗(yàn)證集和測(cè)試集上的準(zhǔn)確率為38.81%和41.07%。

EmotiW 2019

EmotiW 2019包含三個(gè)子挑戰(zhàn)

---群體凝聚力預(yù)測(cè)（Group-level Cohesion prediction ，GC）

---音視頻情緒識(shí)別（Audio-Video emotion recognition，AV）

---學(xué)生專注度預(yù)測(cè)（Student Engagement Prediction ，EP）。

tips：EmotiW 2019中的音視頻情緒識(shí)別、學(xué)生專注度預(yù)測(cè)兩項(xiàng)子挑戰(zhàn)內(nèi)容跟EmotiW 2018并無差異，因此不再做詳細(xì)的描述。

群體凝聚力預(yù)測(cè)是預(yù)測(cè)圖片中一個(gè)群體的凝聚力。數(shù)據(jù)集是在the Group Affect Database 3.0的基礎(chǔ)上進(jìn)行擴(kuò)展以及重新修改標(biāo)簽，具體可參考文獻(xiàn)[5]。在此項(xiàng)任務(wù)中，圖片的凝聚力從0到3分為四個(gè)等級(jí)，0表示極低凝聚力，1表示低凝聚力，2表示強(qiáng)凝聚力，3表示很強(qiáng)凝聚力，問題也像學(xué)生專注度預(yù)測(cè)一樣被定義為回歸問題。（之所以在等級(jí)劃分的時(shí)候，沒有一個(gè)介于低凝聚力以及強(qiáng)凝聚力的中間值，是因?yàn)檫@些等級(jí)是通過許多人進(jìn)行標(biāo)注的，即便受過相關(guān)的培訓(xùn)，當(dāng)標(biāo)注者比較模棱兩可或者比較疏忽大意沒仔細(xì)看，就會(huì)偏向打中間值，這樣就很容易出現(xiàn)中間值偏多的樣本不均情況，這種標(biāo)注方式是參考學(xué)生專注度的標(biāo)注方式，具體可參考文獻(xiàn)[6]）Baseline是用Inception V3+3個(gè)全連接層（4096）作為基礎(chǔ)模型，權(quán)重以ImageNet預(yù)訓(xùn)練的權(quán)重作為初始化并進(jìn)行微調(diào)，在驗(yàn)證集和測(cè)試集上的均方誤差分別為：0.84和0.50。

圖3｜群體凝聚力預(yù)測(cè)數(shù)據(jù)圖例

EmotiW 2020

EmotiW 2020包含四個(gè)子挑戰(zhàn)：

---自然狀態(tài)下專注度預(yù)測(cè)（Engagement Prediction in the Wild）

---基于音視頻的群體情緒識(shí)別（Audio-video Group Emotion Recognition）

---駕駛員注視預(yù)測(cè)（Driver Gaze Prediction）

---基于生理信號(hào)的情緒識(shí)別（Physiological signal based emotion recognition）

基于音視頻的群體情緒識(shí)別。此項(xiàng)任務(wù)跟EmotiW 2018的群體情緒識(shí)別相似，只是樣本輸入類型變成了音視頻了。Baseline就是利用在基于圖片的群體情緒識(shí)別數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的模型來提取特征，最后在驗(yàn)證集上的準(zhǔn)確率為50.05%。

駕駛員注視預(yù)測(cè)是判斷駕駛員眼睛所注視的方向（可看做是對(duì)駕駛員專注度預(yù)測(cè)的一種方式）。數(shù)據(jù)來源為Driver Gaze in the Wild (DGW) dataset [7]。數(shù)據(jù)采集的方式比較特殊。首先人為將車內(nèi)區(qū)域劃分為9個(gè)區(qū)域，然后通過指令的方式，依次讓模擬的駕駛員朝9個(gè)區(qū)域看，看的時(shí)間持續(xù)大約15-20s。同時(shí)數(shù)據(jù)采集設(shè)計(jì)了是在多種光照條件下進(jìn)行采集，增加了任務(wù)的難度。數(shù)據(jù)的標(biāo)簽通過語音轉(zhuǎn)文字的方法進(jìn)行標(biāo)注。這項(xiàng)任務(wù)將預(yù)測(cè)駕駛員注視方向轉(zhuǎn)化為預(yù)測(cè)駕駛員朝哪個(gè)方向看的問題，因此是分類任務(wù)。

雖然是視頻采集，但是baseline采用的是基于圖片的網(wǎng)絡(luò)模型，如Alexnet，Resnet和Inception Network（筆者猜測(cè)可能是將視頻中代表性幀選出來然后匹配視頻的標(biāo)簽，從而構(gòu)成了一個(gè)圖片的數(shù)據(jù)集）。同時(shí)為了避免人臉檢測(cè)算法失效導(dǎo)致樣本不含人臉的問題，baseline采用密集光流的方法，如果連續(xù)兩幀光流的Frobenius 范數(shù)超過某個(gè)閾值則拋棄后面的那幀（類似于于相似度算法）。最后在驗(yàn)證集上達(dá)到了56%的準(zhǔn)確率。

圖4｜駕駛員注視預(yù)測(cè)數(shù)據(jù)圖例

基于生理信號(hào)的情緒識(shí)別是利用生理信號(hào)來對(duì)情緒進(jìn)行識(shí)別。數(shù)據(jù)集來源于PAFEW [8]。該數(shù)據(jù)集包含的生理信號(hào)包括：皮膚電活動(dòng)（electrodermal activity，EDA）, 皮膚溫度（skin temperature，SKT），光容積掃描術(shù)（Photoplethysmography，PPG，監(jiān)測(cè)心率和氧飽和度最常見和簡單的方法之一 [9]），心搏間期（inter beat intervals），心跳（heart rate）和瞳孔信息（pupil information）。志愿通過觀看AFEW中的視頻產(chǎn)生生理信號(hào)，因此每個(gè)生理信號(hào)樣本對(duì)應(yīng)的情緒標(biāo)簽也是基本的七種。這項(xiàng)挑戰(zhàn)里僅采用EDA進(jìn)行比賽。

Baseline先利用多種運(yùn)算，將信號(hào)轉(zhuǎn)化為特征向量。然后分兩個(gè)階段用深度神經(jīng)網(wǎng)絡(luò)（DNN，僅包含全連接層）訓(xùn)練。第一階段是以高/低喚醒值或者正/負(fù)效價(jià)值二分類得到一個(gè)中間向量，然后再進(jìn)行情緒的七分類。如果僅使用單階段DNN進(jìn)行七分類，準(zhǔn)確率為42.08%，使用雙階段DNN訓(xùn)練，準(zhǔn)確率最高可達(dá)42.57%，提高了0.49%（論文中此項(xiàng)數(shù)據(jù)有誤）。

2 AVEC

AVEC是ACM MultiMedia的子活動(dòng)。挑戰(zhàn)賽舉辦的目的是為多模態(tài)信息處理提供通用的基準(zhǔn)測(cè)試集，并將基于聽覺，視覺和視聽覺情緒識(shí)別社區(qū)聚集在一起，從而能在確定的條件下對(duì)不同的健康和情感分析方法的進(jìn)行相互比較。同時(shí)希望借助這個(gè)比賽能改進(jìn)健康和情緒識(shí)別系統(tǒng)，以便能夠處理大量的未細(xì)分、非原型和非預(yù)選數(shù)據(jù)中的完全自然行為，因?yàn)檫@正是現(xiàn)實(shí)條件下多媒體和人機(jī)交互必須面對(duì)的問題。所有比賽參與者都必須在完全相同的條件下競(jìng)爭，以比較各自用于自動(dòng)聽覺、視覺以及視聽覺健康和情緒感知的多媒體處理和機(jī)器學(xué)習(xí)方法。

tips：AVEC各項(xiàng)子挑戰(zhàn)各種基準(zhǔn)實(shí)驗(yàn)做得比較詳盡，因此baseline建議去每一年的總結(jié)性論文查看；同時(shí)AVEC各項(xiàng)子挑戰(zhàn)跟前幾年的相關(guān)性較強(qiáng)，單獨(dú)看某一年的任務(wù)，會(huì)比較難理解。

AVEC 2018

AVEC 2018包含三個(gè)子挑戰(zhàn)：

---雙向情感障礙子挑戰(zhàn)（Bipolar Disorder Subchallenge，BDS）

---跨文化情緒子挑戰(zhàn)（Cross-cultural Emotion Sub-challenge，CES）

---“黃金標(biāo)準(zhǔn)”情緒子挑戰(zhàn)（Gold-standard Emotion Sub-challenge ，GES）。

雙向情感障礙子挑戰(zhàn)。在此項(xiàng)任務(wù)中，參與者必須根據(jù)年輕躁狂癥評(píng)分量表（Young Mania Rating Scale，YMRS）將躁狂發(fā)作后入院并出院的BD患者分為躁狂癥，低躁狂癥和緩解三類。數(shù)據(jù)集采用的是BD corpus [10]。數(shù)據(jù)集包含的47位BD患者從入院到出院之日定期錄制的訪談視聽記錄。該問題被定為三分類問題，評(píng)價(jià)指標(biāo)是這三類的未加權(quán)平均召回率（Unweighted Average Recall，UAR）。

跨文化情緒子挑戰(zhàn)。在此項(xiàng)任務(wù)中，參與者必須從視頻對(duì)話數(shù)據(jù)集中，借助一種文化的數(shù)據(jù)，跨文化（德國-->匈牙利）去連續(xù)預(yù)測(cè)另一種文化的三個(gè)情感維度（喚醒值，效價(jià)值和喜好值）的水平。數(shù)據(jù)集在SEWA [11] 的基礎(chǔ)上進(jìn)行跨文化的拓展。評(píng)價(jià)指標(biāo)是在維度上平均的一致性相關(guān)系數(shù)（total Concordance Correlation Coeffcient，CCC）。

“黃金標(biāo)準(zhǔn)”情緒子挑戰(zhàn)。該項(xiàng)挑戰(zhàn)要求參與者融合由多個(gè)注釋者提供按時(shí)間連續(xù)的情緒維度標(biāo)注生成可靠的“黃金標(biāo)準(zhǔn)”。然后，將獲得的標(biāo)簽用于訓(xùn)練和評(píng)估基于RECOLA數(shù)據(jù)集的基準(zhǔn)多模態(tài)情感識(shí)別系統(tǒng) [12]。該數(shù)據(jù)集包括法國人交互時(shí)的視聽和生理記錄，標(biāo)簽由法語為母語的標(biāo)注者的標(biāo)注。評(píng)價(jià)指標(biāo)是在維度上平均的一致性相關(guān)系數(shù)（total Concordance Correlation Coeffcient，CCC）。

AVEC 2019

AVEC 2019包含三個(gè)子挑戰(zhàn)：

---心理狀態(tài)子挑戰(zhàn)（State-of-Mind Sub-challenge，SoMS）

---AI檢測(cè)抑郁癥子挑戰(zhàn)（Detecting Depression with AI Sub-challenge，DDS）

---跨文化情緒子挑戰(zhàn)（Cross-cultural Emotion Sub-challenge，CES）。

tips：跨文化情緒子挑戰(zhàn)跟AVEC 2018差距不大，只是加多了中國人視頻對(duì)話數(shù)據(jù)，因此不再另外補(bǔ)充。

心理狀態(tài)子挑戰(zhàn)。此項(xiàng)任務(wù)將關(guān)注人類持續(xù)適應(yīng)的心理狀態(tài)（State-of-Mind，SOM）。SOM對(duì)于人的心理功能和行為調(diào)節(jié)至關(guān)重要。人類的SOM由于內(nèi)部和外部刺激而不斷變化，習(xí)慣性使用適應(yīng)性或適應(yīng)不良性SOM會(huì)影響心理健康。參賽者需要從視聽記錄的個(gè)人敘述中預(yù)測(cè)報(bào)敘述者的情緒。使用的是 Ulm State-of-Mind in Speech (USoMS) 數(shù)據(jù)集 [13]。采用的是評(píng)價(jià)指標(biāo)是一致性相關(guān)系數(shù)（Concordance Correlation Coefficient，CCC）。（tips：在介紹了是用“audiovisual record”的字眼描述這個(gè)任務(wù)，但是在數(shù)據(jù)集公布的論文[13]中貌似只有音頻信息。）

AI檢測(cè)抑郁癥子挑戰(zhàn)。此項(xiàng)任務(wù)會(huì)給定被采訪者與AI虛擬采訪人員的對(duì)話，參賽者需要通過這些對(duì)話去評(píng)估被采訪者的抑郁嚴(yán)重程度。數(shù)據(jù)集是Distress Analysis Interview (DAIC) [14] 的一個(gè)子集Wizard-of-Oz。這個(gè)子集只包含被采訪者與虛擬采訪人員的對(duì)話，因此也只有語音數(shù)據(jù)。采用的是評(píng)價(jià)指標(biāo)是一致性相關(guān)系數(shù)（Concordance Correlation Coefficient，CCC）

3 MuSe

2020 ACM MultiMedia里有關(guān)情感挑戰(zhàn)的Workshop不再是AVEC，而是換成了MuSe（Multimodal Sentiment Analysis）。最主要的區(qū)別是，MuSe關(guān)注的內(nèi)容增加了基于文本的情感分析，突出三種模態(tài)（視覺、聽覺、文本）方法的對(duì)比以及融合。過往的比賽要么專注于視聽的方式，將情感轉(zhuǎn)化為連續(xù)的喚醒度或者效價(jià)度，但這經(jīng)常忽略文本信息的潛在貢獻(xiàn)；要么專門研究用于符號(hào)信息分析的NLP方法去完成離散情感標(biāo)簽類別的預(yù)測(cè)。這兩大類情感分析的方法有很多相似的地方，尤其是都受到深度學(xué)習(xí)方法的巨大影響，因此如果綜合三種模態(tài)的信息，對(duì)于真實(shí)場(chǎng)景下的情感識(shí)別可能會(huì)有明顯的提升。

2020年包含了三個(gè)子挑戰(zhàn)，與以往AVEC不同的是，三個(gè)子挑戰(zhàn)使用的數(shù)據(jù)集是相同的，也是因?yàn)檫@個(gè)比賽第一次公布的MuSe-CaR數(shù)據(jù)集。該數(shù)據(jù)集是包含著有三種模態(tài)標(biāo)注的信息。比較神奇的是，雖然挑戰(zhàn)主題是情緒識(shí)別，但是該數(shù)據(jù)集主題卻是與汽車相關(guān)的，所探究的情緒，更多關(guān)注是車主對(duì)其愛車的”情緒“或者他自身駕駛的情緒狀態(tài)，因此比賽呈現(xiàn)出來的商業(yè)性質(zhì)稍微濃了一點(diǎn)。

MuSe三個(gè)子挑戰(zhàn)分別為：

---Multimodal Sentiment in-the-Wild Sub-challenge（MuSe-Wild）：參賽者必須從視聽數(shù)據(jù)中連續(xù)地預(yù)測(cè)情緒維度（喚醒-效價(jià)）的水平。

---Multimodal Emotion-Target Sub-challenge (MuSe-Topic)：參賽者預(yù)測(cè)視頻中討論特定主題（10類，一般信息，成本，性能，質(zhì)量和美學(xué)，安全，舒適，外觀特征，內(nèi)部特征，操作/駕駛體驗(yàn)，用戶體驗(yàn)）以及每段視頻討論者的喚醒、效價(jià)值的程度（高、中、低）。

---Multimodal Trustworthiness Sub-challenge (MuSe-Trust)：參賽者需預(yù)測(cè)視聽數(shù)據(jù)的可信程度。

除了上述比賽，比較有名的還有每年Conference on Automatic Face and Gesture Recognition(FG)下的各種Workshop以及Challenge/Competition，更多情緒識(shí)別的相關(guān)內(nèi)容，請(qǐng)參考：https://github.com/EvelynFan/AWESOME-FER

4 參考文獻(xiàn)

[1] 鄔晶晶. 基于深度學(xué)習(xí)的情緒識(shí)別技術(shù)[D].中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院),2020.

[2] Dhall A, Joshi J, Sikka K, et al. The more the merrier: Analysing the affect of a group of people in images[C]//2015 11th IEEE international conference and workshops on automatic face and gesture recognition (FG). IEEE, 2015, 1: 1-8.

[3] Kaur A, Mustafa A, Mehta L, et al. Prediction and localization of student engagement in the wild[C]//2018 Digital Image Computing: Techniques and Applications (DICTA). IEEE, 2018: 1-8.

[4] Dhall A, Goecke R, Lucey S, et al. Collecting large, richly annotated facial-expression databases from movies[J]. IEEE multimedia, 2012 (3): 34-41.

[5] Ghosh S, Dhall A, Sebe N, et al. Predicting group cohesiveness in images[C]//2019 International Joint Conference on Neural Networks (IJCNN). IEEE, 2019: 1-8.

[6] Whitehill J, Serpell Z, Lin Y C, et al. The faces of engagement: Automatic recognition of student engagementfrom facial expressions[J]. IEEE Transactions on Affective Computing, 2014, 5(1): 86-98.

[7] Ghosh S, Dhall A, Sharma G, et al. Speak2Label: Using Domain Knowledge for Creating a Large Scale Driver Gaze Zone Estimation Dataset[J]. arXiv preprint arXiv:2004.05973, 2020.

[8] Liu Y, Gedeon T, Caldwell S, et al. Emotion Recognition Through Observer's Physiological Signals[J]. arXiv preprint arXiv:2002.08034, 2020.

[9]https://www.linkedin.com/pulse/photoplethysmography-ppg-kaveh-mohamadabadi

[10] ?ift?i E, Kaya H, Güle? H, et al. The turkish audio-visual bipolar disorder corpus[C]//2018 First Asian Conference on Affective Computing and Intelligent Interaction (ACII Asia). IEEE, 2018: 1-6.

[11] Kossaifi J, Walecki R, Panagakis Y, et al. SEWA DB: A rich database for audio-visual emotion and sentiment research in the wild[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.

[12] Ringeval F, Sonderegger A, Sauer J, et al. Introducing the RECOLA multimodal corpus of remote collaborative and affective interactions[C]//2013 10th IEEE international conference and workshops on automatic face and gesture recognition (FG). IEEE, 2013: 1-8.

[13] Rathner E M, Terhorst Y, Cummins N, et al. State of mind: Classification through self-reported affect and word use in speech[C]//INTERSPEECH. 2018: 267-271.

[14] Gratch J, Artstein R, Lucas G M, et al. The distress analysis interview corpus of human and computer interviews[C]//LREC. 2014: 3123-3128.

總結(jié)

本文分享了計(jì)算機(jī)視覺領(lǐng)域中圍繞情緒識(shí)別主題的一些會(huì)議和相關(guān)競(jìng)賽，了解到當(dāng)前國內(nèi)外在情緒識(shí)別領(lǐng)域研究的熱點(diǎn)。到這里，人臉表情識(shí)別專欄內(nèi)容就已全部更新完畢。由于筆者研究范圍有限加上時(shí)間的原因，像基于人臉活動(dòng)單元的人臉表情識(shí)別以及一些更小眾的表情識(shí)別領(lǐng)域就沒有涵蓋到專欄之中。同時(shí)當(dāng)前專欄僅含理論上的分析，還缺乏實(shí)踐性的指導(dǎo)，如果還有條件，就等之后再來更新了~

最后感謝有三AI提供的平臺(tái)，感謝三哥在專欄更新過程中給予的耐心指導(dǎo)，希望本專欄內(nèi)容能夠?qū)ρ芯吭擃I(lǐng)域的小伙伴有所幫助，也希望有三AI越來越好，共勉~

有三AI秋季劃-人臉圖像組

人臉圖像小組需要掌握與人臉相關(guān)的內(nèi)容，學(xué)習(xí)的東西包括8大方向：人臉檢測(cè)，人臉關(guān)鍵點(diǎn)檢測(cè)，人臉識(shí)別，人臉屬性分析，人臉美顏，人臉編輯與風(fēng)格化，三維人臉重建。了解詳細(xì)請(qǐng)閱讀以下文章：

【CV秋季劃】人臉?biāo)惴敲炊?#xff0c;如何循序漸進(jìn)地學(xué)習(xí)好？

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【人臉表情識(shí)別】基于圖片的人臉表情識(shí)別，基本概念和數(shù)據(jù)集

• 【人臉表情識(shí)別】如何做好表情識(shí)別任務(wù)的圖片預(yù)處理工作
  

• 【人臉表情識(shí)別】不得不讀的重要論文推薦（2015-2018篇）

• 【人臉表情識(shí)別】不得不讀的重要論文推薦（2019-2020篇）

• 【人臉表情識(shí)別】基于視頻的人臉表情識(shí)別數(shù)據(jù)集與基本方法

• 【人臉表情識(shí)別】基于視頻的人臉表情識(shí)別不得不讀的論文

• 【人臉表情識(shí)別】基于回歸模型的人臉表情識(shí)別方法

• 【CV秋季劃】模型優(yōu)化很重要，如何循序漸進(jìn)地學(xué)習(xí)好？

• 【CV秋季劃】人臉?biāo)惴敲炊?#xff0c;如何循序漸進(jìn)地學(xué)習(xí)好？

• 【CV春季劃】170分鐘學(xué)習(xí)OpenCV與經(jīng)典圖像處理算法基礎(chǔ)
  

• 【CV秋季劃】人臉關(guān)鍵點(diǎn)檢測(cè)，人臉識(shí)別視頻更新

• 【CV秋季劃】人臉檢測(cè)，活體人臉檢測(cè)，偽造人臉檢測(cè)視頻更新

• 【CV秋季劃】人臉識(shí)別經(jīng)典難題介紹，抗遮擋，跨年齡，異質(zhì)源，少樣本等

• 【CV秋季劃】人臉三維重建視頻更新

• 【CV秋季劃】人臉年齡，表情，姿態(tài)等屬性識(shí)別視頻更新

• 【CV秋季劃】人臉美顏與風(fēng)格化視頻上新

• 【CV秋季劃】人臉編輯之統(tǒng)一屬性編輯方法視頻更新

• 【CV秋季劃】人臉編輯之表情，年齡，姿態(tài)編輯方法視頻更新

• 【CV秋季劃】深度學(xué)習(xí)換臉?biāo)惴ㄒ曨l更新

總結(jié)

以上是生活随笔為你收集整理的【人脸表情识别】情绪识别相关会议、比赛汇总（2018-2020）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。