表情識別技術綜述

Abstract:Facial expression recognition is the key research direction in many fields such as machine vision, pattern recognition and artificial intelligence. It has become a research hotspot of many scholars and experts. As a research direction of emotion calculation, facial expression recognition constitutes the basis of emotional understanding and an important prerequisite for realizing human-computer interaction intelligence. This paper reviews the definition and development history of facial expression recognition technology, and introduces the main methods and applications of facial expression feature extraction and facial expression recognition in the past five years. Finally, through facial expression recognition at home and abroad. The actual application is studied, and the current challenges and shortcomings of facial expression recognition and future development prospects are analyzed.
摘要：人臉表情識別是機器視覺、模式識別和人工智能等眾多領域的重點研究方向,目國內外多名專家學者都在針對此領域進行研究。人臉的表情不僅可以傳達表達心情、傳遞情緒，而且在人際交往中也起到重要的作用。因此，研究人臉表情識別顯得尤為重要。本文主要介紹了人臉表情識別技術的定義、發展歷史，列舉了近年來國內和國外專家學者對于人臉表情識別的主要方法和應用，最后通過對國內外人臉表情識別的研究情況，分析得出人臉表情識別目前的挑戰與不足以及未來的發展前景。

1引言

1.1人臉表情識別的定義
????動態視頻中提取出人的表情狀態，從而進一步識別出對象的心理狀態[5]。這項技術可是是計算機更能理解人的情緒，并能根據人類在不同環境中的面部表情對人的心理活動做出判斷并給與相應回應。人臉表情識別主要由：人臉檢測、人臉表情特征提取和表情分類三部分組成。本文將在下文當前流行的各種表情提取方法及簡要介紹和對比。
1.2人臉表情識別的發展歷程
????有關人臉面部表情的研究在心理學和醫學界由來已久，但在計算機人臉表情識別領域卻起步較晚。
關于面部識表情識別最早的研究是在1978年，Suwa和Sugie等人[6]對一段面部視頻關鍵點的外表做了一個預先實驗。但由于當時計算能力的限制，面部表情研究在很長一段時間內不受專家學者關注。
90年代初，Mase等[7]使用光流法實現自動提取特征的研究的成功使面部表情識別逐漸回到大家的視野中。
????2001年，Tian等[8]將AU用于面部識別分析的研究開自動表情研究的先河。
????近些年來，許多專家學者不斷創新，像Gabor濾波器[9]、光流法和局部二值模式(Local Binary Pattern, LBP)[10]或兩者之間的組合[11]的方法不斷被采用。初次之外，在自動面部表情識別領域，諸如自發面部表情檢測、復雜精神狀態分析研究等的新的領域也不斷被開辟。
1.3人臉表情識別的應用
????當前人臉表情識別技術正處于蓬勃的發展期，其技術手段也應用到了包括人機交互、安全、機器人制造、醫療、游戲和汽車制造等不同領域。在安全方面，例如販子分子的測謊工作，如果僅僅依靠人力觀察和可能因為評判標準不一和表情遺漏造成誤判，此時就需要使用具有表情識別能力的計算機來輔助判斷。在機器人制造、醫療方面，如在臨床治療和服務行業中結合人臉表情識別可以使機器人更能理解人的心理活動，從而為人們提供更加準確、周到的服務。在游戲方面，已經推出有像Dancing Face等類似表情識別的相關的游戲，并取得了不錯的反響。在汽車領域主要進行了針對人臉表情對駕駛人員進行是否疲勞駕駛的判斷，在趙磊的基于深度學習和面部多源動態行為融合的駕駛員疲勞檢測方法研究[21]中利用人臉識別技術對駕駛員疲勞狀況的加測取得了較為準確的結果。

2人臉表情識別的過程

????基于計算機的人臉表情識別主要分為三步即人臉檢測、表情特征提取以及表情分類。通常情況下，進行人臉表情識別的圖像或視頻中存在其他環境的干擾信息，因此人臉檢測相當于在待處理的視頻或圖像中將人臉進行檢測并從圖像中進行分割，從而有效降低表情識別過程中可能出現的干擾信息。人臉檢測主要是根據人臉的特有特征，在待測的圖像區域中檢測是否存在人臉，并將檢測的可能性與閾值進行比較，從而定位人臉的坐標信息并分割出人臉所在的位置。
當確定人臉區域后，相當于縮小了表情識別的檢測區域，在人臉區域上對表情信息進行特征提取。目前較為流行的表情特征提取法由主成分分析法（PCA）、局部二值模式（LBP）以及一些其他基于運動和形變的特征提取方法。
????在該階段需要針對待求問題選擇合適的分類器訓練得到分類準確、泛化能力強的分類器，并將需要檢測的圖像作為輸入，經過人臉檢測、提取表情特征以及分類器分類得到人臉表情的所屬類別[12]。

圖1 人臉表情自動識別主要步驟
2.1人臉檢測與方法簡介
????在進行表情特征提取之前，首先要對圖片進行預處理，圖片與處理主要需要兩個步驟，即去除復雜背景以及圖像歸一化。人臉檢測技術在這方面可以提供很好的技術支撐。人臉檢測與定位就是在輸入圖像中找到人臉的準確位置并及逆行定位分割，目前采取的方法主要有：基于傳統知識的算法、基于集合的算法、基于AdaBoost的算法以及基于神經網絡的算法。本文將對后兩種經典算法進行簡要介紹。
2.1.1基于AdaBoost的人臉檢測算法
????AdaBoost是一種通過迭代在訓練機上訓練的出弱分類器，再將弱分類器真和得到請分類器的算法。這種算法可以快速計算檢測器使用的特征，可以產生高效的分類器。

圖2 基于AdaBoost的人臉檢測主要步驟
????AdaBoost算法目前具有廣泛的應用，如在沈翔等人基于膚色與改進AdaBoost算法的人臉檢測[13]中，提出了一種基于膚色與改進Adaboost算法的人臉檢測。使用雙閾值的權重更新方式避免了分類器訓練過程中可能出現的過擬合現象;人臉檢測時利用膚色的聚類性, 將檢測到的膚色區域作為Adaboost分類器的搜索候選區域。有效縮短檢測時間，降低了誤檢率。黎向鋒等人提出的一種基于改進AdaBoost+Haar的車輛檢測算法[14]中在訓練階段對負樣本進行分類，訓練出的分類器先簡單后復雜；在檢測階段提出車款匹配算法，已檢測框底邊作為參考，調整檢測窗口的范圍，減少檢測窗口數量，達到了在復雜背景條件下對車輛的檢測。
2.1.2基于神經網絡的人臉檢測算法
????卷積神經網絡（CNN）是深度學習和人工神經網絡相結合的一種算法。相比傳統算法和其它神經網絡，卷積神經網絡能夠高效處理圖片的二維局部信息，提取圖片特征，進行圖像分類。通過海量帶標簽數據輸入，用梯度下降和誤差反向傳播的方法訓練模型。卷積神經網絡在大批量圖像處理方面占據絕對優勢，但容易受數據空間多樣性的影響，也存在結構層數多，訓練難度高的問題。

圖3 基于卷積神經網絡的人臉檢測主要步驟
????基于卷積神經網絡的優勢和劣勢，薛艷杰等人提出基于改進卷積神經網絡的人臉識別研究[15],結構上包含兩個子卷積網絡, 實現多卷積的功效;然后, 對于提取人臉特征的卷積層和池化層采取融合, 以減少網絡參數及訓練時間;最后分類器采用Softmax分類器。使識別別率、訓練速度得到了提高。
2.2表情特征提取
????表情特征提取在人臉表情識別中發揮著重要的作用，有效的表情表情特征應該完整提取人臉表情有效特征并且排除無關的干擾因素，并使圖像的位數降低到適宜范圍，對于不同的類別的表情有較好的區分效果?；谝陨蠋c，我將對目前較為流行的主成分分析法（PCA）和局部二值模式（LBP）作簡要介紹。
2.2.1主成分分析法
????主成分分析法的主要作用就是對輸入矩陣進行降維，其原理就是將原來的輸入數據投影到一個新的坐標中，在新的坐標之下，表示一個同樣的矩陣可以用一個維數更低的矩陣進行描述，具體的步驟為：

圖4 主成分分析法主要步驟
????雖然使用主成分分析法可以實現對對于數據的降維，但是它的計算復雜度十分高并且對存儲空間也有很大的要求。在涂亮等人微表情識別中面部動力譜特征提取的PCA改進[16]中提出基于主元分析(PCA)的改進算法。首先將數據中心平移到原點,其次估計相關矩陣,最后估計其特征向量和特征值,取最大特征值對應的特征向量方向作為時空立方體的主方向，低了原PCA算法的復雜度。
2.2.2局部二值模式
????LBP算法的原理是將待測圖像中每個像素與其局部鄰域的點在亮度上的二值序關系進行編碼形成局部二值模式，才用多區域直方圖進行特征描述。處理過程為：通過計算每個像素與其鄰域的8個灰度值的關系，形成一個二進制碼，中心點的值代表閾值，當鄰域數值大于中心點數值時在該鄰域處填入數值1，否則填入數值0。舉例如下：

????本例中，二進制編碼為11011010。像素點的個數為n，中心點的像素位置為gc(Xc,Yc)，相鄰點的坐標為g0，g1…g7，則LBP的計算公式為：

????LBP算法具有光照不變性，并且算法復雜度低的優點，但本算法無法區分鄰與閾值相等這種情況，并且在高精度計算中存在內存消耗大的劣勢。在嵇介曲基于LBP算法的人臉識別研究中[17]，針對LBP算法提取人臉圖像的表情特征信息時會丟失特殊的特征信息的缺點,提出了多重局部二值模式的人臉表情識別方法, 該方法在中心像素點以及鄰域像素點灰度值之間創造性地增加了一位二進制編碼，實驗結果表明可有效提高LBP算法的識別率。
2.3表情識別
????在表情識別階段包括分類器設計和分了決策兩部分，表情識別的主要目的是根據特征提取中所提去出的表情特征對人臉表情進行分類判斷，目前應用的主要有一下幾種方法。
2.3.1k-最近鄰學習法
????K-最近鄰學習法是根據測量不同特征值之間的臨近距離進行分類。它的思路是：輸入待測樣本，設定K值，如果K個最相似樣本中大多數都屬于某一特定類別，那么待測樣本也應該屬于這一類別。下面通過舉例來表示本算法：

圖5 k-最近鄰學習法示例圖
????在本圖中，如果對圖片中的綠色圓形進行分類判斷，當K取3時，由于鄰近的三個分類中對象中紅色三角形所占的比例最大為2/3，所以綠色原型歸為紅色三角形一類，當K取5時，由于在鄰近的5個分類對象中藍色矩形所占的比例最大為3/5，所以綠色圓形被歸為藍色矩形一類。由此可以判斷此種分類方法，關鍵在于K值的選取。
????在此種方法中距離的計算主要采用歐式距離或曼哈頓距離。

????將這種分類方法應用于人臉表情識別的主要過程為：在訓練集中表情數據標簽已知的情況下，輸入上一步驟中提取的表情特征，并計算其與哥哥訓練及數據之間的距離；按照距離的遞增關系進行排序；選取距離最小的前K個點；確定前K個點所在類別的出現頻率；返回前出現頻率最高的類別作為人臉表情的預測分類。在王曉霞等人基于混合特征和分層最近鄰法的人臉表情識別[18]中，根據人臉表情特征基于分類樹思想將表情進行三層分類，整個識別過程由粗到細,融合了幾何特征和頻域特征，實驗驗證了k-最近鄰學習法的有效性。
2.3.2神經網絡分類器
????人工神經網絡(Artificial Neural Network,ANN)采用仿生學原理模擬人類大腦的神經元細胞結構，與人腦類似它由大量的神經元相互連接成的自適應非線性動態系統，對輸入細膩些進行復雜運算。下面我將對BP神經網絡進行簡單介紹：
????依據仿生學原理，BP神經網絡抽象出了節點、節點中之間的連接、節點之間的連接強度。其主要構成為：輸入層、隱藏層和輸出層。

圖6 神經網絡分類器原理圖
????在BP網絡中進行人臉識別的主要流程為：
????1）進行網絡初始化設定各連接權值、誤差函數 e給定計算精度值 ε 和最大學習次數 M ；
????2）在迭代次數范圍內，選取一個學習樣本，正向傳入輸入；
????3）計算各層神經元的輸入與輸出；
????4）調整連接權值和閾值；
????5）循環遍歷所有的輸入樣本直至結束；
????6）計算平均誤差E；
????7）對樣本的精度進行判斷，選擇繼續迭代還是輸出分類結果。

3表情識別存在的問題與發展前景

3.1 當前表情識別存在的問題
????面部表情識別是一個跨學科，具有挑戰性的前沿話題，但目前尚未進入實踐領域。一個好的表情識別系統應該能夠抵抗外加復雜背景因素的干擾，提取出有效的表情特征，并能準確高效的分析出人臉表情的所屬類別。在過去的幾十年中，面部識別技術從無到有，雖然面部表情識別的理論和技術取得了很大進展，但仍舊存在需要優化和改進的部分：
????1）由于人的多樣性，面部的外觀，表情和膚色可能不同，具有模式可變性，面部識別的準確性并不總是十分穩定[19]；
????2）再度人臉進行特征提取時很難排除人臉胡須、眼睛等因素的干擾，這些干擾因素的存在會降低實驗結果的準確性；
????3）現實生活中對于人臉以及人臉表情的檢測往往會受制于復雜背景和光照條件的影響，如在強光條件下人臉檢測和表情識別的準確度都會大大降低；
????4）當前的研究中，各學科結合不夠密切，對于人類表情的分類還停滯于6中基本表情；
????5）當前的人臉表情研究算法缺乏創新，大多數人的研究只是基于各種已有算法的疊加；
????6）各種算法有待優化，對于表情識別和人臉檢測中，準確度高的算法往往對計算機的硬件要求高，并且運算復雜度高、運算時間長，很難應用于實際生產生活。
3.2 表情識別的發展前景
????隨著大數據時代的到來以及人工智能、深度學習的持續火熱，人們對面部表情實時識別的需求急劇增加。未來人臉表情識別將會有更大的發展潛力，現總結如下：
????1）進行三維表情研究，目前的研究大都輸入人臉的二位圖像，手指與這種現狀，很難完全反映出一個人的表情狀態，二使用三維圖像，可以完整、真實的傳遞人的表情信息，減少表情識別受光照和狀態的影響，使用三維信息對人臉表情進行研究將是未來一個重要的研究課題；
????2）加強技術融合，目前人臉檢測，表情特征提取、表情識別的方法喲很多，每種方法有其自身優勢也相應存在部分缺陷，如何榮獲人各種檢測識別方法中的優勢，提高表情是別的速度與準確率，會批各自缺點，也將是未來表情識別中的研究中重點；
????3）融入非視覺的因素，人的表情和思維具有較高的復雜度，僅僅從表情一方面很難對情緒進行準確判斷，未來應結合體溫、聲音、環境等因素對人的心理進行總和判斷；
????4）建立公共表情數據庫，目前對人臉表情的研究離不開表情數據庫的使用，而有效的、開放的表情數據庫又寥寥無幾，因此著力建立表情數據庫也是未來表情識別發展中的一個關鍵問題。

4 結束語

????表情識別是目前研究的熱門領域，具有廣闊的研究前景。本文主要針對人臉表情識別的定義、發展歷程、識別方法。并簡要介紹了幾種關于人臉檢測、特征提取、表情分類的經典算法，通過對不同算法的分析得出目前表情識別發展中存在的問題，并對未來的表情識別做出了總結與展望。

參考文獻：

[1]A.Mehrabian. Communication without words. Psychology Today,1968,2(4):53-56.
[2] Schlosberg H.Three dimensions of emotion[J].Psychological Review，1954，61（2）：81-88.
[3] Ekman P，Friesen W V.Facial action coding system：a technique for the measurement of facial movement[M] Palo Alto：Consulting Psychologists Press，1978：271-302.
[4]Keltner D，Ekman P.Facial expression of emotion[J].American Psychologist，1993，48（4）：384-392.
[5]王大偉, 周軍, 梅紅巖, et al. 人臉表情識別綜述[J]. 計算機工程與應用, 2014, 50(20):149-157.
[6]徐琳琳, 張樹美, 趙俊莉. 基于圖像的面部表情識別方法綜述[J]. 計算機應用, 2017(12):171-178+208.
[7]梁瑞奇，基于神經網絡的人臉識別.電子制作，2018，10.
[8]M. Suwa et al. , In: Proc. 4th Int. Joint Conf. Pattern Recognition, 1978, pp. 408～ 410.
[9]K. Mase, IEICE Trans, Special Issue on Computer Vision and its Application, 1991, E74( 10).
[10]TIAN Y L, KANADE T, COHN J F. Recognizing action units for facial expression analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001, 23(2): 97-115.
[11]LITTLEWORT G, BARTLETT M S, FASEL I, et al. Dynamics of facial expression extracted automatically from video[J]. Image & Vision Computing, 2006, 24(6): 615-625.
[12]SHAN C F, GONG S G, MCOWAN P W. Facial expression recognition based on local binary patterns:a comprehensive study[J]. Image and Vision Computing, 2009, 27(6): 803-816. DOI:10.1016/j.imavis.2008.08.005
[13]COHEN I, SEBE N, GARG A, et al. Facial expression recognition from video sequences:temporal and static modeling[J]. Computer Vision & Image Understanding, 2003, 91(1/2): 160-187.
[14]趙磊，基于深度學習和面部多源動態行為融合的駕駛員疲勞檢測方法研究，博士，2018，05
[15]楊曉龍; 閆河; 張楊，人臉表情識別綜述，數字技術與應用，2018，02.
[16]沈翔；朱建鴻，基于膚色與改進AdaBoost算法的人臉檢測，傳感器與微系統，2019，03，143-145.
[17]黎向鋒；趙偉康；豆心愿；左敦穩，基于改進AdaBoost+Haar的車輛檢測算法，2019，02，
[18]薛艷杰；鄧燕妮，基于改進卷積神經網絡的人臉識別研究，科技風，2019，04，106-131.
[19]涂亮；劉本永，微表情識別中面部動力譜特征提取的PCA改進，通信技術，2019，02，337-342.
[20]嵇介曲，基于LBP算法的人臉識別研究，安徽理工大學，2017,06.
[21]王曉霞；李振龍；辛樂，基于混合特征和分層最近鄰法的人臉表情識別，計算機工程，2011，08，171-173+176.
[22]李菊霞，人臉表情識別方法及展望，農業網絡信息，2009，02，100-103.

總結

以上是生活随笔為你收集整理的【人机交互技术】人脸表情识别技术综述（感觉写的比较简单）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。