大家好，歡迎來(lái)到我們?nèi)四槺砬樽R(shí)別的專(zhuān)欄，這是專(zhuān)欄的第一篇文章，今天我們討論的問(wèn)題是關(guān)于表情識(shí)別的基本概念和數(shù)據(jù)集。

作者 | Menpinland

編輯 | 言有三

在較早之前，有三AI已經(jīng)有一篇《人臉表情識(shí)別研究》的文章，里面已經(jīng)對(duì)早期的人臉表情相關(guān)的內(nèi)容做了一個(gè)較為詳細(xì)的綜述。但最近幾年，由于深度學(xué)習(xí)技術(shù)的發(fā)展，以及越來(lái)越多大規(guī)模人臉表情識(shí)別數(shù)據(jù)集的開(kāi)源，人臉表情識(shí)別的相關(guān)研究也發(fā)生了比較多的變化。本專(zhuān)欄將在前面綜述的基礎(chǔ)上，進(jìn)一步介紹當(dāng)前人臉表情識(shí)別的研究現(xiàn)狀，同時(shí)跟蹤該領(lǐng)域最新的研究成果。歡迎對(duì)此方向感興趣或正在從事該領(lǐng)域相關(guān)研究的萌新、大佬提供意見(jiàn)和建議，一起學(xué)習(xí)，共同進(jìn)步。

1 基本概念

有關(guān)表情的相關(guān)概述以及人臉表情識(shí)別的研究背景，可參考有三AI之前的綜述：《【 》，本文則不再贅述。

不過(guò)對(duì)于人臉表情識(shí)別的概念，此處進(jìn)行補(bǔ)充。本專(zhuān)欄討論的內(nèi)容是通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別人的面部表情以理解人的情緒狀態(tài)，即人臉表情識(shí)別（Facial Expression Recognition）。但在筆者剛?cè)肟硬檎蚁嚓P(guān)文獻(xiàn)的時(shí)候，發(fā)現(xiàn)有許多類(lèi)似的詞語(yǔ)，比如中文里面的“情緒識(shí)別”、”感情識(shí)別“，英文里面的”emotion“、”sentiment“、”affect“......其實(shí)之所以有這么多相似詞語(yǔ)，主要是因?yàn)椴煌I(lǐng)域表達(dá)方式及使用習(xí)慣不同。研究及理解情緒人的情緒狀態(tài)是一個(gè)很大的命題，除了面部表情，利用生理信號(hào)（如腦電信號(hào)、心跳、脈搏等）以及自然語(yǔ)言也可以理解人的情緒狀態(tài)。在基于生理信號(hào)的情緒研究中，“emotion”、“affect”是比較常見(jiàn)的字眼；而在基于NLP的情緒研究中，“sentiment”則出現(xiàn)得更為頻繁。也有相關(guān)學(xué)者對(duì)情緒識(shí)別領(lǐng)域里相似關(guān)鍵詞的使用做了專(zhuān)門(mén)的研究 [1]，有興趣的讀者可自行查看。

2 研究現(xiàn)狀

在早期的人臉表情識(shí)別的研究中，大部分常用的數(shù)據(jù)集都是讓研究人員或者專(zhuān)業(yè)的演員在實(shí)驗(yàn)室條件下（laboratory-controlled）進(jìn)行“擺拍”獲得的。但通過(guò)這樣的數(shù)據(jù)集訓(xùn)練得到的算法模型在實(shí)際使用的時(shí)候很容易出現(xiàn)較大的偏差。最主要的原因在于這些表情數(shù)據(jù)都是在比較理想的實(shí)驗(yàn)室條件下得到的。跟其他人臉相關(guān)的任務(wù)一樣，現(xiàn)實(shí)當(dāng)中人臉會(huì)出現(xiàn)遮擋、頭部姿態(tài)變換以及光照變換等更復(fù)雜的情況，除此之外，人在自然條件下的表情也不會(huì)有在實(shí)驗(yàn)室條件下通過(guò)“擺拍”得到的表情那么明顯。因此，在理想條件下訓(xùn)練得到的算法模型面對(duì)現(xiàn)實(shí)更苛刻的條件，識(shí)別率自然大大下降。針對(duì)上述問(wèn)題，越來(lái)越多自然環(huán)境下（in the wild）自發(fā)式的表情數(shù)據(jù)集也逐步開(kāi)源，同時(shí)相關(guān)算法的研究也越來(lái)越偏向于去提升人臉表情識(shí)別在更具挑戰(zhàn)性的現(xiàn)實(shí)條件下的魯棒性。

圖1｜人臉表情識(shí)別存在的遮擋、頭部姿態(tài)變換、光照變換問(wèn)題

在人臉表情識(shí)別中，按照數(shù)據(jù)格式、表情定義類(lèi)型的不同，可劃分為更加細(xì)致的方向。按照數(shù)據(jù)格式劃分，可分為基于圖片的人臉表情識(shí)別以及基于（音）視頻的人臉表情識(shí)別；按照表情定義類(lèi)型的不同，可劃分為基于離散標(biāo)簽的人臉表情識(shí)別，基于連續(xù)模型的人臉表情識(shí)別以及基于人臉活動(dòng)單元系統(tǒng)（Facial Action Coding System, FACS）的人臉表情識(shí)別。基于離散標(biāo)簽的人臉表情識(shí)別就是將表情定義為六種基本的情緒：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣（通常七類(lèi)多個(gè)中立，八類(lèi)多個(gè)輕蔑），用分類(lèi)的方法完成識(shí)別的任務(wù)，這也是目前大部分人臉表情識(shí)別研究；基于連續(xù)模型的人臉表情識(shí)別，就是按照心理學(xué)的效價(jià)-喚醒環(huán)形模型（Valence–Arousal circumplex model）[2] 將表情定義為兩個(gè)連續(xù)的數(shù)值，用回歸的方法完成人臉表情預(yù)測(cè)的任務(wù)；基于FACS的人臉表情識(shí)別，就是將人臉劃分為多個(gè)活動(dòng)單元（action unit, AU），將表情識(shí)別問(wèn)題轉(zhuǎn)換為判斷哪幾個(gè)活動(dòng)單元“活躍（active）”的問(wèn)題。以上各種分類(lèi)都會(huì)在本專(zhuān)欄有所涉及。首先先介紹基于圖片的人臉表情識(shí)別（沒(méi)特別說(shuō)明，后面相關(guān)介紹，人臉表情定義類(lèi)型都默認(rèn)離散標(biāo)簽）。

3 基于圖片的人臉表情數(shù)據(jù)集

在介紹相關(guān)算法之前，我們首先去了解在基于圖片的人臉表情識(shí)別使用得比較頻繁的幾個(gè)數(shù)據(jù)集：

1.The Japanese Female Facial Expression (JAFFE) Dataset [3]

鏈接:https://zenodo.org/record/3451524#.X2MFNG4zZPY

---數(shù)據(jù)采集方式：10位日本女性在實(shí)驗(yàn)室條件下擺拍指定表情獲得

---表情標(biāo)簽：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣、中立

---數(shù)據(jù)集大小：共213張圖片，每個(gè)人每種表情大概3-4張圖片，每張圖片分辨率256*256像素

圖2｜JAFFE中部分圖片示例

2.MMI Facial Expression Database [4,5]

鏈接:https://www.mmifacedb.eu/

---數(shù)據(jù)采集方式：32位參與者在實(shí)驗(yàn)室條件下擺拍指定表情獲得

---表情標(biāo)簽：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣、中立；AU；時(shí)序狀態(tài)（表情開(kāi)始幀-->峰值幀-->結(jié)束幀，onset-->apex-->offset）

---數(shù)據(jù)集大小：2900個(gè)視頻以及740張圖片，分辨率 720*576像素

圖3｜MMI中部分圖片示例

3.Extended Cohn-Kanade Dataset (CK+) [6]

鏈接:http://www.pitt.edu/~emotion/ck-spread.htm

---數(shù)據(jù)采集方式：123位參與者在實(shí)驗(yàn)室條件下擺拍指定表情獲得

---表情標(biāo)簽：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣、中立、輕蔑；AU

---數(shù)據(jù)集大小：593個(gè)視頻序列，分辨率640*490或者640*480，基于圖片的人臉表情識(shí)別中常常取最后幾幀作為樣本

圖4｜CK+中部分圖片示例

4.FER2013 [7]

鏈接:https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/overview

---數(shù)據(jù)采集方式：通過(guò)Google搜索引擎獲取（這種即被定義為自然狀態(tài)下自發(fā)式的表情數(shù)據(jù)）

---表情標(biāo)簽：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣、中立

---數(shù)據(jù)集大小：訓(xùn)練集含28709張圖片, 驗(yàn)證集含3589張圖片，測(cè)試集含3589張圖片，分辨率48*48，數(shù)據(jù)及標(biāo)簽存放在csv文件里

圖5｜FER2013中部分圖片示例

5.Real-world Affective Faces Database (RAF-DB) [8]

鏈接:http://www.whdeng.cn/RAF/model1.html

---數(shù)據(jù)采集方式：采集自互聯(lián)網(wǎng)

---表情標(biāo)簽：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣、中立；復(fù)合情緒（可參考圖6中的例子理解）

---數(shù)據(jù)集大小：總共29672張圖片

圖6｜RAF-DB中部分圖片示例

6.AffectNet [9]

鏈接:http://mohammadmahoor.com/affectnet/

---數(shù)據(jù)采集方式：采集自互聯(lián)網(wǎng)

---表情標(biāo)簽：開(kāi)心、悲傷、驚訝、害怕、厭惡、生氣、中立；二維連續(xù)模型

---數(shù)據(jù)集大小：總計(jì)1800000張圖片，其中450000是提供離散以及連續(xù)的標(biāo)簽，是目前自然條件下最大的表情識(shí)別圖片數(shù)據(jù)集，也是提供二維連續(xù)模型標(biāo)簽中最大的數(shù)據(jù)集

圖7｜AffectNet中部分圖片示例

4 參考文獻(xiàn)

[1] Munezero M, Montero C S, Sutinen E, et al. Are they different? Affect, feeling, emotion, sentiment, and opinion detection in text[J]. IEEE transactions on affective computing, 2014, 5(2): 101-111.

[2] Russell J A. A circumplex model of affect[J]. Journal of personality and social psychology, 1980, 39(6): 1161.

[3] Lyons M, Akamatsu S, Kamachi M, et al. Coding facial expressions with gabor wavelets[C]//Proceedings Third IEEE international conference on automatic face and gesture recognition. IEEE, 1998: 200-205.

[4] Valstar M, Pantic M. Induced disgust, happiness and surprise: an addition to the mmi facial expression database[C]//Proc. 3rd Intern. Workshop on EMOTION (satellite of LREC): Corpora for Research on Emotion and Affect. 2010: 65.

[5] Pantic M, Valstar M, Rademaker R, et al. Web-based database for facial expression analysis[C]//2005 IEEE international conference on multimedia and Expo. IEEE, 2005: 5 pp.

[6] Lucey P, Cohn J F, Kanade T, et al. The extended cohn-kanade dataset (ck+): A complete dataset for action unit and emotion-specified expression[C]//2010 ieee computer society conference on computer vision and pattern recognition-workshops. IEEE, 2010: 94-101.

[7] Goodfellow I J, Erhan D, Carrier P L, et al. Challenges in representation learning: A report on three machine learning contests[C]//International conference on neural information processing. Springer, Berlin, Heidelberg, 2013: 117-124.

[8] Li S, Deng W, Du J P. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 2852-2861.

[9] Mollahosseini A, Hasani B, Mahoor M H. Affectnet: A database for facial expression, valence, and arousal computing in the wild[J]. IEEE Transactions on Affective Computing, 2017, 10(1): 18-31.

總結(jié)

本文首先介紹了人臉表情識(shí)別的相關(guān)概念以及研究現(xiàn)狀，然后了解了目前基于圖片的人臉表情識(shí)別領(lǐng)域最常用的幾個(gè)數(shù)據(jù)集。后面的1-2篇專(zhuān)欄將會(huì)圍繞近幾年基于圖片的人臉表情識(shí)別論文介紹相關(guān)的預(yù)處理以及識(shí)別的方法。

如果想長(zhǎng)期在有三AI社區(qū)學(xué)習(xí)人臉相關(guān)的技術(shù)，可以參考有三AI秋季劃人臉圖像小組，臉圖像小組需要掌握與人臉相關(guān)的內(nèi)容，學(xué)習(xí)的東西包括8大方向：人臉檢測(cè)，人臉關(guān)鍵點(diǎn)檢測(cè)，人臉識(shí)別，人臉屬性分析，人臉美顏，人臉編輯與風(fēng)格化，三維人臉重建。了解詳細(xì)請(qǐng)閱讀以下文章：

「CV秋季劃」人臉?biāo)惴敲炊啵绾窝驖u進(jìn)地學(xué)習(xí)好？

總結(jié)

以上是生活随笔為你收集整理的人脸表情识别人脸表情识别系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。