「技术综述」人脸脸型分类研究现状
https://www.toutiao.com/i6711561945733923336/
?
作者 |?王朋強
編輯 | 言有三
今天給大家?guī)硪黄四樧R別中的臉型識別，不同的臉型適合的眼鏡發(fā)型不同，那么計算機要如何基于人臉圖像來確定臉型呢？
1 概述
人臉臉型就是指我們平時常說的，瓜子臉、圓臉、方臉等。人臉臉型分類就是算法根據(jù)一張包含面部的照片推測出人臉屬于那種臉型，是人人都愛的瓜子臉還是有正義感的國字臉(也就是方形臉)等。
人臉臉型分類過程一般分為人臉檢測、面部特征點定位，然后在此基礎(chǔ)上根據(jù)合適的參數(shù)進行分類，例如人臉的寬高比、眼睛位置等。
目前比較大的幾個平臺中，在騰訊AI平臺和face++人工智能開放平臺的人臉檢測、人臉屬性功能中都沒有提供臉型分類的輸出信息，只有在百度云的人臉識別中有臉型分類的輸出結(jié)果。如下是face++人工智能開放平臺的人臉識別演示，包含了常見的年齡、性別等，但是沒有臉型結(jié)果：
?
在百度云的人臉識別的人臉檢測與屬性分析中有實現(xiàn)臉型分類的輸出結(jié)果。接下來我們測試一下分類效果，實際檢測輸出包括年齡、性別、表情等，為了演示只保留了臉型結(jié)果。使用測試圖像前六幅來自celebA數(shù)據(jù)集，第七幅和第八幅正臉和側(cè)臉對比的圖像來自IMM數(shù)據(jù)集，最后一幅是百度云平臺的演示圖片。測試圖像中選取了戴墨鏡、帽子和胡子的人像，還有頭發(fā)有遮擋的，同一人同背景的正臉和側(cè)臉，總體分類效果很好，不過由于對于臉型分類主觀因素影響比較大，有幾個個人感覺應(yīng)該是瓜子臉的分為了心形，同時由于側(cè)臉臉部特征比較少，缺少橫向的寬度等信息，分類不夠準(zhǔn)確。百度云的分類結(jié)果分為5類，方形(square)、三角形(triangle)、橢圓形(oval)、心形(heart)和圓形(round)。以下是百度云的臉型分類的效果：
鏈接是https://cloud.baidu.com/product/face?
?
?
?
?
?
?
?
?
人臉臉型分類可以進一步輔助人臉表情識別，還可以根據(jù)臉型選擇合適得眼鏡、發(fā)型等，美容行業(yè)也可以根據(jù)臉型進行五官調(diào)整。
2 人臉臉型數(shù)據(jù)集
關(guān)于人臉臉型得數(shù)據(jù)集，并沒專門公開的做好臉型標(biāo)注的數(shù)據(jù)集。論文研究中常用的數(shù)據(jù)集有CAS-PEAL、JAFFE數(shù)據(jù)集，都需要手動進行標(biāo)記。當(dāng)然也可以爬取一下圖片，借助現(xiàn)有的百度云平臺，來對進行數(shù)據(jù)集進行標(biāo)注，再進行人工評判篩選。
2.1 JAFFE數(shù)據(jù)集
網(wǎng)址：http://www.kasrl.org/jaffe.html介紹：JAFFE是日本女性臉部表情數(shù)據(jù)集(Japanese Female Facial Expression)，其中包括了10個日本女性的213幅表情圖像，其中6個是基本表情，例如笑，驚訝，生氣等，還有一個是中性表情（即自然狀態(tài)下的表情），每幅圖像的表情是選擇了60人來評判。
大小：10位日本女性的213幅圖像。
標(biāo)簽：高興, 悲傷, 害怕, 生氣, 驚訝, 厭惡, 中性
?
2.1 CAS-PEAL人臉數(shù)據(jù)集
網(wǎng)址：http://www.jdl.ac.cn/peal/介紹：CAS-PEAL Face Database是由中科院和北京大學(xué)的先進人機通信技術(shù)聯(lián)合實驗室聯(lián)合建立的數(shù)據(jù)集。建立該數(shù)據(jù)庫的目的是為全世界范圍的人臉識別研究提供大規(guī)模的中國人人臉數(shù)據(jù)去訓(xùn)練和提高算法。其中CAS-PEAL-R1是CAS-PEAL的一個子數(shù)據(jù)集。CAS-PEAL數(shù)據(jù)集需要申請才可以使用。
大小：
CAS-PEAL: 99594幅圖像涉及1040個人(595位男性和445位女性)。
CAS-PEAL-R1: 30900幅圖像涉及1040個人
標(biāo)簽：表情
?
2.3 CelebA數(shù)據(jù)集
網(wǎng)址：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html介紹：celebA(CelebFaces Attributes Dataset)數(shù)據(jù)集是大規(guī)模的名人人臉屬性數(shù)據(jù)庫，有超過200k的名人圖像，每幅圖像有40個屬性標(biāo)注，包括是否是圓臉、有沒有戴眼鏡、有沒有戴項鏈、性別等等。
大小：202,599幅臉部圖像
標(biāo)簽：性別、是否屬于圓臉、有無眼鏡、有無項鏈、是否帶帽子、有無胡須、濃妝淡妝等。
?
3 臉型分類方法
傳統(tǒng)的方法是擬合人臉輪廓曲率來進行分類的，主要是利用臉部和下巴的曲線建立模型【1】。大部分提取面部特征使用的方法都是ASM和AAM，提取出特征之后的使用的分類算法不同，有以下幾種：
3.1 SVM【2】
分類方法：
支持向量機SVM一般用來處理二分類問題，對于多個類別可以將多個二分類的SVM組合到一起生成一個多分類SVM，例如one-versus-one。One-versus-one multiclass SVM 是一種高效的分類方法，分類過程類似于投票過程。例如分三類A，B，C。那么將這三類兩兩組合形成二分類SVM，如SVM1（A，B），SVM2（A，C）,SVM3（B，C），然后將三個二分類SVM使用到同一樣本，統(tǒng)計樣本被分為A，B，C類的個數(shù)，例如SVM1和SVM2分類結(jié)果都是A，SVM3分類結(jié)果是C，那么A的票最高，最終分類結(jié)果就是A。
分類過程：
1） 利用AAM方法建立模型提取特征；
2） 每個臉型選取一部分數(shù)據(jù)訓(xùn)練出一個3分類的SVM；
分類結(jié)果：
在論文中研究人員將臉型分為三類瓜子臉，圓臉和方形臉，然后選擇取了513幅瓜子臉圖像、538幅圓臉圖像和434幅方形臉圖像進行訓(xùn)練，最終使用180幅圖像作為測試，測試結(jié)果瓜子臉識別率：90%，圓臉識別率：93.3%，方形臉識別率：85%。分類準(zhǔn)確率不高的原因是研究中使用的數(shù)據(jù)集是JAFFE數(shù)據(jù)集，該數(shù)據(jù)是一個表情數(shù)據(jù)集，由于有些表情會造成面部變動很大影響分類，例如帶有驚訝表情的面部會被識別為瓜子臉。
?
臉型類型
?
測試準(zhǔn)確率
?
驚訝表情的面部會被錯誤分為瓜子臉
3.2 KNN方法【4】
分類特征：
?
利用圖中紅色圈出來的點可以計算面寬Wshape、下頜寬Wmandible、形態(tài)面高Hshape3個測量參數(shù)。面寬去左右顴點的歐氏距離，下頜寬取左右下頜角點歐氏距離，形態(tài)面高取鼻根點與頦下點間歐氏距離【3】【4】。
形態(tài)面指數(shù)：
?
顴下頜寬指數(shù)：
?
將以上這些參數(shù)作為臉型分類的特征進行分類。
分類過程：1、利用ASM獲取形狀特征點集；2、計算形態(tài)面指數(shù)和顴下頜寬指數(shù)，若形態(tài)面指數(shù)大于0.915歸為長臉；3、歸為長臉的樣本若顴下頜寬大于0.875歸為方圓下巴長臉，否則歸為尖下巴長臉。面型指數(shù)小于0.915的樣本，需要將形態(tài)面指數(shù)和顴下頜寬指數(shù)和樣本庫中的樣本做比對，求取k個近鄰得到臉型類別。
分類結(jié)果：
研究人員使用的是CAS-PEAL數(shù)據(jù)集，使用了其中1200張溫和光照、中性表情的正面人臉，由20人投票將人臉庫分為了三角臉、橢圓臉、圓臉、方臉、尖下巴長臉和方圓下巴長臉6類，分類精確率統(tǒng)計如下表：
?
由于臉型的分類實際上是一個比較簡單的問題，輸入正臉后就是一個簡單的深度學(xué)習(xí)分類問題，
3.3 SVM-RBF方法【5】
分類特征：提取了臉部的61個特征點，采用下表對特征點處理得到19個表征臉型的特征參數(shù)，采用這19個特征進行訓(xùn)練和預(yù)測。
?
?
分類過程：1、利用AAM獲取臉部特征點；2、根據(jù)上面的表格計算表征臉型的19個特征；3、利用SVM-RBF進行分類；論文中還是用了LDA(Linear Discriminant Analysis)和SVM-Linear方法，不過效果都沒有SVM-RBF好。
分類結(jié)果：實驗中數(shù)據(jù)是從Google搜索的1000張女性臉部圖像，訓(xùn)練集和測試集按照9:1進行分配。SVM-RBF的分類結(jié)果最好，平均準(zhǔn)確率可以達到72%；其次是SVM-Linear方法，平均準(zhǔn)確率有64%；LDA方法最差，平均準(zhǔn)確率只有58%。
?
?
?
3.2 最近鄰法【6】
分類特征：用于臉型分類的幾何特征，G1：整個臉部輪廓的最佳擬合橢圓；G2：下巴特征點的最佳擬合橢圓；G3：臉頰特征點的最佳擬合橢圓；G4：下巴的連線；G5：太陽穴連線；G6：對角線；
根據(jù)這6個特征，獲取到一個表征臉型的8為特征向量F：(F1-F3)是(G1,G2,G3)的高度對G5長度歸一化得到的，(F4-F6)是臉部輪廓到(G1,G2,G3)的距離對G5的長度歸一化獲得，F7是G4對G5歸一化得到，F8是兩個對象線長度的平均對G5歸一化獲得。
?
分類方法：最終分類根據(jù)兩個臉型特征向量之間的距離確定，距離最近的即為同一類。
?
分類結(jié)果：論文中使用300幅圖像作為訓(xùn)練，使用了100幅圖像用來測試。出去由于臉部特征提取失敗引起的錯誤，最終分類準(zhǔn)確率在90%。
基于深度學(xué)習(xí)的方法已經(jīng)大大簡化了流程，準(zhǔn)備好足夠多的數(shù)據(jù)，這就是一個普通的分類任務(wù)。不得不感嘆，深度學(xué)習(xí)讓很多傳統(tǒng)方法再也無路可走。
4 總結(jié)
臉型分類可以應(yīng)用在發(fā)型設(shè)計，眼鏡框選擇和美容行業(yè)，還可以用在虛擬化妝中，根據(jù)臉型確定哪里需要陰影等。總得來說根據(jù)正臉圖像進行臉型分類準(zhǔn)確率很高，但是對側(cè)臉的圖像，側(cè)臉臉部特征比較少，無法正確判斷臉部的比例，因此準(zhǔn)確率比較低，如果采用的3D的信息側(cè)臉分類效果應(yīng)該會有所提升。
參考文獻：
[1]魏偉. 基于主動形狀模型人臉識別算法的研究與實現(xiàn)[D].復(fù)旦大學(xué),2012.
[2]L. Li, J. So, H.-C. Shin, and Y. Han. “An AAM-based face shape classi?cation method used for facial expression recognition,” International Journal of Research in Engineering and Technology, vol. 2, pp. 164–168, 2013.
[3]趙薇,汪增福.用于大庫人臉識別的臉型分類研究[J].電子技術(shù),2009,36(11):77-79+68.
[4]劉雙成,蔡曉東,張力,畢偉偉,梁建勇.基于主動形狀模型和K近鄰算法的人臉臉型分類[J].桂林電子科技大學(xué)學(xué)報,2014,34(06):479-483.
[5]Wisuwat Sunhem, Kitsuchart Pasupa,"An Approach to Face Shape Classi?cation for Hairstyle Recommendation", International Conference on Advanced Computational Intelligence, 8th
[6]Amir Zafar, Tiberiu Popa , "Face and Eye-ware Classi?cation using Geometric Features for a Data-driven Eye-ware Recommendation System ",Proceedings of Graphics Interface 2016: Victoria, British Columbia, Canada, 1-3 June 2016, 183-188
總結(jié)
以上是生活随笔為你收集整理的「技术综述」人脸脸型分类研究现状的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： c++题目兔子繁殖
- 下一篇： 再谈深度学习文本的表示