python人脸识别框很小_人脸识别：从传统方法到深度学习
人臉識(shí)別：從傳統(tǒng)方法到深度學(xué)習(xí)
這開(kāi)始于上世紀(jì)七十年代，人臉識(shí)別成為了計(jì)算機(jī)視覺(jué)領(lǐng)域和生物識(shí)別領(lǐng)域最具有研究型的話題之一。傳統(tǒng)方法依賴于手工制作模型特征，通過(guò)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練大量的數(shù)據(jù)集的方法也在最近取代了傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)。在這篇文章里我們提供了全面的最新的文獻(xiàn)資料去溫習(xí)流行的人臉識(shí)別方法，包括傳統(tǒng)的方法例如基于集合方法、整體方法、基于特征方法以及混合方法，也包括深度學(xué)習(xí)的方法。
I 介紹
人臉識(shí)別是指機(jī)器能夠在圖片或者視頻中識(shí)別或檢測(cè)到目標(biāo)對(duì)象。第一個(gè)人臉識(shí)別算法發(fā)展于上世紀(jì)七十年代早期。從這之后，人臉識(shí)別算法的精確度得到了一定的改善和提高。到如今人臉識(shí)別已經(jīng)逐漸發(fā)展到比以傳統(tǒng)方法來(lái)識(shí)別檢測(cè)其它生物特征的精確性更強(qiáng)大更精準(zhǔn)，比如指紋和虹膜的識(shí)別。關(guān)于人臉識(shí)別比其它生物特征識(shí)別檢測(cè)更易處理的其中一個(gè)重要的因素就是它的非侵入性特征。舉個(gè)例子，指紋識(shí)別要求試驗(yàn)者將特定手指放在傳感器上，虹膜識(shí)別要求試驗(yàn)者離照相機(jī)要足夠的近距離，講述人識(shí)別要求試驗(yàn)者說(shuō)話聲音要足夠大。而與此相反，現(xiàn)代的人臉識(shí)別系統(tǒng)只要求試驗(yàn)者在照相機(jī)能夠取到景的視野里面（或者說(shuō)就是要求在相對(duì)照相機(jī)的一個(gè)合理距離之內(nèi)）。這就使人臉識(shí)別稱為生物特征檢測(cè)領(lǐng)域里最人性化的一個(gè)，這也意味著人臉識(shí)別的潛在應(yīng)用領(lǐng)域是非常廣的。它可以被部署在一個(gè)用戶不情愿合作的環(huán)境里就比如說(shuō)監(jiān)視系統(tǒng)，其他常見(jiàn)的人臉識(shí)別的應(yīng)用包括有訪客控制、欺詐識(shí)別以及應(yīng)用在社交媒體上。
人臉識(shí)別是最具有挑戰(zhàn)性的生物特征檢測(cè)之一，尤其是當(dāng)部署在一個(gè)不受約束的環(huán)境里，存在于真實(shí)世界的人臉圖像是具有高度特異性的（這種類型的人臉圖像一般會(huì)稱為特別的臉孔）。這其中的一些變量包括頭部姿勢(shì)、老化程度、當(dāng)時(shí)的照明條件以及面部表情。這些例子都在圖1中展現(xiàn)出來(lái)了。
[圖像1] 關(guān)于人臉的各種典型變量：a.頭部姿勢(shì) b.年齡 c.照明條件 d.面部表情 e.有無(wú)遮擋
人臉識(shí)別技術(shù)在這些年里有明顯的變化。傳統(tǒng)方法依賴于手工制作模型特征，例如邊緣紋理描述，還有結(jié)合機(jī)器學(xué)習(xí)技術(shù)的方法例如主要成分分析、線性判別分析以及支持向量機(jī)。由于這項(xiàng)工程的功能所以存在著必須要克服的困難，那就是要適應(yīng)在不受約束的環(huán)境中有不同的變異性，這使研究者開(kāi)始專注于對(duì)每種類型的變異性尋找特殊的方法，比如說(shuō)控制年齡不變法、姿勢(shì)不變法、控制照明條件相同等等。近些年來(lái)，傳統(tǒng)的人臉識(shí)別方法被依賴于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)所取代。深度學(xué)習(xí)的主要的優(yōu)勢(shì)就在于它可以被大量的數(shù)據(jù)集所訓(xùn)練從而學(xué)習(xí)到這些數(shù)據(jù)里所表現(xiàn)出來(lái)的最明顯的特征。在網(wǎng)絡(luò)上獲得的各式各樣的人臉圖像的可用性允許我們收集到大量包含真實(shí)世界變量的人臉圖像的數(shù)據(jù)集。基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法通過(guò)訓(xùn)練這些數(shù)據(jù)集，使之能夠達(dá)到在訓(xùn)練中能夠發(fā)現(xiàn)被使用的人臉圖像的真實(shí)世界變異性的表現(xiàn)和存在，并且有很高的精確性他們能夠?qū)W習(xí)到其中的特征。此外，隨著深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)領(lǐng)域的流行和發(fā)展，加速了人臉識(shí)別的研究。卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用于解決許多其他的計(jì)算機(jī)視覺(jué)任務(wù)，就比如說(shuō)對(duì)象檢測(cè)和識(shí)別、分割、光學(xué)特性識(shí)別、面部表情分析以及年齡估計(jì)等等。
[圖像2] 組成人臉識(shí)別過(guò)程的各個(gè)模塊
人臉識(shí)別系統(tǒng)通常是由以下的幾個(gè)模塊組成:
1.人臉檢測(cè) 人臉檢測(cè)器能夠發(fā)現(xiàn)在一張圖片中人臉的位置并且可以的話能夠返回每一個(gè)的帶坐標(biāo)的邊界框，這在圖3中有對(duì)應(yīng)的說(shuō)明。
2.人臉對(duì)齊 人臉對(duì)齊的目標(biāo)就是以相同的方式在圖像位于固定位置的一組參考點(diǎn)上進(jìn)行縮放和裁剪人臉圖像。這個(gè)典型的處理就要求使用標(biāo)志探測(cè)器找到一組面部標(biāo)志。如果是簡(jiǎn)單的2D對(duì)齊，就要找到適應(yīng)參考點(diǎn)的最佳的仿射變換。3b和3c圖片展示了兩幅人臉圖像通過(guò)一組相同的參考點(diǎn)對(duì)齊。更復(fù)雜的3D對(duì)齊算法能夠?qū)崿F(xiàn)人臉的正面化，就是改變了這個(gè)臉部和頭部的姿勢(shì)。
3.人臉表征 在人臉表征階段，人臉圖像的像素值轉(zhuǎn)換為一個(gè)緊湊的有區(qū)別的特征向量，并且也可以作為一個(gè)模板。在理想情況下，所有同一主題的人臉都應(yīng)該映射成相類似的特征向量。
4.人臉匹配 在人臉匹配模塊中，兩個(gè)模板通過(guò)被比較而得到相似性的分?jǐn)?shù)這就可以表明他們是同一物體的可能性是很大的。
人臉表征可以說(shuō)是是人臉識(shí)別系統(tǒng)里最重要的組成部分，這會(huì)在第二章節(jié)的文獻(xiàn)回顧中重點(diǎn)闡述。
[圖像3] a. 人臉探測(cè)器所檢測(cè)出的人臉邊界方框。b.c.對(duì)齊人臉與參考點(diǎn)
II 文獻(xiàn)回顧
人臉識(shí)別的早期研究關(guān)注于使用圖像處理技術(shù)去匹配描述臉型的樣本特征。即使這些方法只能在非常嚴(yán)格的設(shè)置下才能有效工作，但它們同樣展示了使用計(jì)算機(jī)來(lái)自動(dòng)識(shí)別人臉是有可能的。在這之后，統(tǒng)計(jì)子空間方法例如主要組成分析法和線性判別分析法不斷開(kāi)始流行起來(lái)。這些方法都是一種整體考慮的方法因?yàn)樗麄兪褂谜麄€(gè)面部區(qū)域作為一個(gè)輸入。與此同時(shí)，在其他計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展導(dǎo)致了能夠描述一張圖像不同位置紋理組成的局部特征提取器的發(fā)展。基于特征的人臉識(shí)別方法包括了在人臉圖像上匹配局部特征。整體方法和基于特征的方法都有了長(zhǎng)遠(yuǎn)的發(fā)展并且也組成了一種新的混合方法。基于混合方法的人臉識(shí)別系統(tǒng)到近期都是最先進(jìn)的，直到當(dāng)深度學(xué)習(xí)以最領(lǐng)先的方法應(yīng)用在計(jì)算機(jī)視覺(jué)中，當(dāng)然這也包括了人臉識(shí)別。這篇文章的其他部分有分別總結(jié)了一些最具代表性的研究針對(duì)于前述的每種類型的方法。
A. 基于集合的方法
Kelly和Kanade的發(fā)表在上世紀(jì)七十年代的博士學(xué)位論文被認(rèn)為是最早的自動(dòng)人臉識(shí)別的研究。他們提出利用專業(yè)的邊緣和輪廓探測(cè)器去找到一組面部標(biāo)志的位置然后去測(cè)量相對(duì)位置以及他們之間的距離。這些早期系統(tǒng)的精確性在數(shù)量級(jí)很小的人臉數(shù)據(jù)庫(kù)中得到了證明（一個(gè)是只有十個(gè)主題的數(shù)據(jù)庫(kù)，另一個(gè)是只有二十個(gè)主題）。在【17】文章中，與【2】類似的基于幾何的方法和將人臉圖像表現(xiàn)為漸變圖像的方法進(jìn)行了比較。作者表示使用漸變圖像的方法比基于幾何的方法提供了更好的識(shí)別精度。但是基于幾何的方法運(yùn)行速度更快并且所需要的內(nèi)存更少。在【18】中將使用面部標(biāo)志和幾何形狀來(lái)人臉識(shí)別的方法進(jìn)行了深入研究。在【19】中他們提出一種基于測(cè)量?jī)山M面部標(biāo)志物的前推距離的方法以及一種基于面部標(biāo)志物之間的測(cè)量距離比的方法。作者討論了即使其他方法能夠提取更多的面部信息，能夠有更好的識(shí)別精度，但是基于幾何的方法是運(yùn)行更快的并且是可以和其他方法組合使用去發(fā)展混合方法的。由于3D標(biāo)志編碼的信息深度，基于幾何的方法已經(jīng)被證明在3D人臉識(shí)別中更為有效【20】【21】。
基于幾何的方法在人臉識(shí)別研究的早期是絕對(duì)的關(guān)鍵。在下文中將會(huì)介紹這種方法經(jīng)常被用來(lái)當(dāng)作快速的選擇或者說(shuō)與之組合使用的選擇在更加先進(jìn)的方法中。
B. 整體方法
整體方法使用整個(gè)面部區(qū)域來(lái)表示人臉。許多方法的工作原理是通過(guò)投影人臉到低維度空間里然后丟棄多余的細(xì)節(jié)以及研究任務(wù)里不需要的變量。在這之中最流行的方法之一就是主要組成分析。這個(gè)方法在【22】中被首次提出，【23】中提到在一組訓(xùn)練用的人臉圖像上應(yīng)用主要組成分析法以便能夠找到在這個(gè)數(shù)據(jù)分布中占最大變異性的特征向量。在這篇文章中由于他們與真實(shí)臉龐的相似性。特征向量被通常稱為特征臉，這在圖4中展示了出來(lái)。新的面孔被投影到特征面孔所跨越的子空間里，以獲得重建他們所需的特征面孔線性組合的權(quán)值。這個(gè)想法在【24】中被應(yīng)用在通過(guò)比較新的面孔在面孔權(quán)值集合里的權(quán)值來(lái)識(shí)別面孔。一個(gè)基于貝葉斯方法分析圖像差異性的概率版本在【25】中被提出。在這個(gè)方法中兩組特征面孔被用來(lái)分別模擬個(gè)人和人群差異。許多原始特征面孔方法的其他變量已經(jīng)被提出。比如說(shuō)基于核方法的主要組成分析的非線性擴(kuò)展，這被稱為核心主要組成分析法在【27】中被提出。獨(dú)立組成分析，一種概括性的主要組成分析法，能夠捕獲像素之間的高階依賴關(guān)系，這個(gè)觀點(diǎn)在【29】中被提出。基于2D圖像的二維主要組成分析法矩陣會(huì)代替一維向量的觀點(diǎn)在【30】中被提出。
[圖像4] 這是使用ORL數(shù)據(jù)庫(kù)計(jì)算出的前5組特征臉，從左到右依次方差減小，特征化增多。
一個(gè)關(guān)于基于主要組成分析法的問(wèn)題是如何把訓(xùn)練集的所有圖像中的變異性能投影最大化。這意味著頂部特征向量可能對(duì)于識(shí)別精度有著負(fù)面影響，因?yàn)樗麄兛赡軐?duì)應(yīng)著與研究任務(wù)無(wú)關(guān)的個(gè)人差異性，比如說(shuō)照明條件、姿勢(shì)或者表情。依賴于線性判別分析或者可以叫做費(fèi)舍爾判別分析的整體方法，在【32】中被提出解決這個(gè)問(wèn)題。【33】【34】【35】【36】這線性判別分析背后的主要思想是利用分類標(biāo)簽來(lái)找到最大化此分類之間差異的投影矩陣W，同時(shí)忽略非本類的差異性：
其中?和?是類之間和類內(nèi)的離散矩陣，其定義如下：
當(dāng)?代表一個(gè)數(shù)據(jù)樣本，?表示?這個(gè)類的平均值，?是數(shù)據(jù)集整體的平均值，?是數(shù)據(jù)集中的類數(shù)。可通過(guò)計(jì)算分離矩陣?的特征向量來(lái)得到方程式1的解值。類似于主要組成分析法，通過(guò)選擇對(duì)應(yīng)最大特征值的特征向量的子集，可以將線性判別分析法用于降維的操作。即使線性判別分析法在人臉識(shí)別上的應(yīng)用被認(rèn)為是比主要組成分析法更合適的，當(dāng)離散矩陣?不能被準(zhǔn)確預(yù)估的時(shí)候，單純基于線性判別分析的方法是更易于去擬合的。【35】【36】這發(fā)生在當(dāng)輸入的數(shù)據(jù)是高維的并且在訓(xùn)練時(shí)每一分類沒(méi)有太多標(biāo)簽。在極端情況下，?是單數(shù)而且?是不能被計(jì)算的。因?yàn)檫@個(gè)原因，通常在應(yīng)用線性判別分析之前先使用主要組成分析法來(lái)給數(shù)據(jù)降維。【33】【35】【36】線性判別分析也已經(jīng)擴(kuò)展到使用核心的非線性情況和概率線性判別分析。
支持向量機(jī)也已經(jīng)應(yīng)用在人臉識(shí)別研究作為整體方法。【40】中通過(guò)訓(xùn)練具有圖像差異的支持向量機(jī)將一個(gè)任務(wù)劃定為兩類問(wèn)題。進(jìn)一步來(lái)說(shuō)，這兩類是包含了同一類中所有圖像的差異性的類內(nèi)差異的集合，以及包含了不同類間所有圖像差異性的類間差異集合（類似于【25】中提出的概率主要組成分析法）。此外【40】還提出通過(guò)增加參數(shù)來(lái)控制系統(tǒng)的工作點(diǎn)，以此修改了傳統(tǒng)的支持向量機(jī)公式。在這中【41】提出了分離支持向量機(jī)為每一類而單獨(dú)訓(xùn)練。作者做了關(guān)于用主要組成分析法預(yù)測(cè)訓(xùn)練支持向量機(jī)以及用線性判別分析法預(yù)測(cè)訓(xùn)練支持向量機(jī)的實(shí)驗(yàn)。實(shí)驗(yàn)證明當(dāng)用主要組成分析法預(yù)測(cè)進(jìn)行訓(xùn)練的時(shí)候支持向量機(jī)方法比簡(jiǎn)單歐氏距離表現(xiàn)得更好。因?yàn)榫€性判別分析已經(jīng)對(duì)人臉識(shí)別所需要得判別信息進(jìn)行了編碼。
和PCA、LDA相關(guān)的一種方法是局部保留預(yù)測(cè)（LPP）方法在【42】中提出。當(dāng)PCA和LDA關(guān)于圖像空間保留了整體特征結(jié)構(gòu)（分別最大化變異性和有效判別信息）時(shí)，LPP專注于保留圖像空間的局部特征結(jié)構(gòu)。這就意味著LPP投影會(huì)把有相似局部信息的地方映射到在LPP子空間中相鄰的點(diǎn)。舉個(gè)例子，比如說(shuō)張開(kāi)和閉上嘴的同一個(gè)人的兩張圖像，如果使用LPP的話會(huì)被映射到類似的點(diǎn)，但是在PCA和LDA中就不一定了。這個(gè)方法被證明在多種數(shù)據(jù)集上均優(yōu)于PCA和LDA。在【43】中提出在通過(guò)LPP基向量正交取得了進(jìn)一步的發(fā)展。
另一個(gè)流行的整體方法就是臉部的稀疏表示。這個(gè)思想第一次提出是在【44】中作為基于稀疏表示的分類，是通過(guò)使用訓(xùn)練圖像的線性組合來(lái)表現(xiàn)人臉。
此處?就是測(cè)試圖像，?是包含了所有訓(xùn)練圖像的矩陣，?是稀疏系數(shù)的向量。通過(guò)加強(qiáng)表述的稀疏性，大多數(shù)非零系數(shù)都屬于訓(xùn)練圖像時(shí)正確類別的。在測(cè)試時(shí)，系數(shù)屬于每一個(gè)被用來(lái)重建圖像的分類，然后重建誤差最低的一個(gè)被認(rèn)為是正確的類別。這個(gè)方法的強(qiáng)大之處在于對(duì)于那些有噪點(diǎn)和遮擋的損壞圖像，會(huì)通過(guò)增加稀疏錯(cuò)誤性來(lái)提高線性組合中的系數(shù)?：
?的非零條目對(duì)應(yīng)于損壞的像素。為了提高健壯性和減少計(jì)算復(fù)雜度，已經(jīng)提出了這個(gè)方法的許多變型。舉個(gè)例子，判別K-SVD算法在【45】中被提出來(lái)選擇一組更緊湊但有區(qū)別的訓(xùn)練圖像去重建圖像。在這中的【46】提出，SRC通過(guò)使用馬爾科夫隨機(jī)場(chǎng)概率圖來(lái)模擬關(guān)于遮擋區(qū)域的空間連續(xù)性的先驗(yàn)假設(shè)。在【47】中被提出，分別對(duì)圖像的每一個(gè)像素進(jìn)行加權(quán)以便于更好的重建圖像。
最近，受到概率PCA【25】的啟發(fā)，聯(lián)合貝葉斯方法被提出。在這個(gè)方法中替代了【25】中提出的使用圖像差異性，就是人臉圖像表示為兩個(gè)高斯變量的總和，代表個(gè)人差異和群體差異。使用這個(gè)方法，成功挑戰(zhàn)數(shù)據(jù)集LFW中分類標(biāo)簽面孔的精確性達(dá)到92.4%。這是已知的整體方法在該數(shù)據(jù)集中精確度最高的一個(gè)。
整體方法是發(fā)展真實(shí)世界人臉識(shí)別系統(tǒng)的重中之重，正如在文獻(xiàn)中提出的大量方法所證明的那樣。在下一個(gè)子章節(jié)，一個(gè)流行的發(fā)展為整體方法替代品的被叫做基于特征的方法，將會(huì)被討論。
C. 基于特征的方法
基于特征的方法是指在面部圖像中不同位置提取的局部特征的方法。和基于幾何的方法不同，基于特征的方法專注于提取有判別性的特征而不是計(jì)算它們的形狀。基于特征的方法相較于整體方法的強(qiáng)大之處是當(dāng)處理人臉表現(xiàn)出的局部特異性時(shí)，比如說(shuō)面部表情和照明條件就。舉個(gè)例子，比如說(shuō)同一主題的兩張圖像間唯一的不同在于其中一張人的眼睛是閉著的。在基于特征的方法中，只有當(dāng)特征向量是對(duì)應(yīng)于提取出來(lái)的兩幅圖像眼部周圍特征的不同時(shí)，特征向量系數(shù)才會(huì)有所不同。另一方面在整體方法中，所有特征向量的系數(shù)都可能是不同的。此外許多描述符被用在基于特征的方法中，被設(shè)計(jì)為對(duì)應(yīng)于不同的變化，比如說(shuō)縮放、旋轉(zhuǎn)或平移。
【50】中提出的第一種基于特征的方法是模塊化特征面孔方法，是一項(xiàng)對(duì)于原始特征面孔技術(shù)的擴(kuò)展。在這個(gè)方法中，PCA獨(dú)立應(yīng)用于人臉圖像的不同位置區(qū)域來(lái)產(chǎn)生多組特征值。即使這個(gè)特征值和特征面孔最后是相同的精度，但是當(dāng)只有少量的特征向量時(shí)，特征值的方法提供了更好的精度。
基于特征的方法可以使用二進(jìn)制邊緣特征的想法在【51】中提出。他的主要貢獻(xiàn)是改善了用于比較二進(jìn)制圖像的Hausdorff距離。Hausdorff距離通過(guò)查看一組點(diǎn)到另一組點(diǎn)的最大距離來(lái)測(cè)量?jī)山M點(diǎn)之間的接近度。Hausdorff距離的修改在【51】中提出，一組中的每一點(diǎn)都接近靠近其他組的一些點(diǎn)。作者認(rèn)為這個(gè)屬性使這個(gè)方法更加強(qiáng)大的處理小型和非硬性局部變形。這個(gè)方法的一種變形提出了用于人臉表征的線邊緣圖。LEMs提供了一個(gè)緊湊的人臉表征因?yàn)檫吘壉痪幋a為線段，僅僅會(huì)使用終點(diǎn)的坐標(biāo)。一個(gè)線段Hausdorff距離也提出在這項(xiàng)工作來(lái)匹配LEMs。但不建議用該距離來(lái)匹配不同方向的線，因?yàn)閷?duì)于線的位移具有強(qiáng)壯性，并且結(jié)合了兩個(gè)LEMs之間找到的線的條數(shù)的差異性的度量。
一個(gè)非常流行的基于特征的方法是彈性束圖匹配EBGM方法，是動(dòng)態(tài)鏈?zhǔn)浇Y(jié)構(gòu)的擴(kuò)展在【55】中提出。在這個(gè)方法中，人臉使用節(jié)點(diǎn)圖來(lái)表現(xiàn)。這節(jié)點(diǎn)包含了一組預(yù)定義的面部標(biāo)志物周圍提取的Gabor系數(shù)。在訓(xùn)練期間這個(gè)人臉束圖模型的建造需要通過(guò)手動(dòng)堆放每張訓(xùn)練圖像的局部節(jié)點(diǎn)。當(dāng)這個(gè)測(cè)試用的人臉圖像出現(xiàn)的時(shí)候，一張新的圖被創(chuàng)建并且通過(guò)在FBG模型中搜索最相似的節(jié)點(diǎn)來(lái)擬合面部標(biāo)志。可以通過(guò)測(cè)量?jī)蓚€(gè)圖中節(jié)點(diǎn)的相似性來(lái)比較兩個(gè)圖像。這個(gè)方法的一個(gè)版本是使用定向梯度直方圖【57】。在這【58】中替代Gabor系數(shù)特征的方法被提出，這個(gè)方法是優(yōu)于原始的EBGM方法的，因?yàn)镠OG描述符對(duì)于光照、旋轉(zhuǎn)、小位移的改變有很好的健壯性。
[圖像5] a.人臉圖像被劃分為4 * 4的局部區(qū)域。b.從每個(gè)局部區(qū)域中計(jì)算出的LBP描述符的直方圖形式。
伴隨著局部特征描述符在其他計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，利用基于特征的方法來(lái)人臉識(shí)別也越來(lái)越流行。在【61】中，局部二元模式LBP描述符的直方圖是從局部區(qū)域中獨(dú)立提取的。在圖5中有所展示，并且都連接起來(lái)以形成全局特征向量。此外，他們使用了加權(quán)卡方距離來(lái)測(cè)量?jī)蓚€(gè)特征向量?和?之間的相似性。
?是一個(gè)控制特征向量第i個(gè)系數(shù)的貢獻(xiàn)的權(quán)值。就像在【62】中展示的一樣，許多這個(gè)方法的變型已經(jīng)提出改善人臉識(shí)別精度的研究，并且能夠完成其它相關(guān)任務(wù)例如人臉檢測(cè)、面部表情分析和人口統(tǒng)計(jì)分類。舉個(gè)例子，LBP描述符從Gabor特征映射中提取出來(lái)作為L(zhǎng)GBP的描述符，這個(gè)觀點(diǎn)在【63】中提出。【64】一個(gè)旋轉(zhuǎn)不變的LBP描述符將傅里葉變換應(yīng)用于LBP直方圖在【65】中提出。一個(gè)LBP的變型叫做局部導(dǎo)數(shù)模式LDP在【66】中，提出通過(guò)編碼導(dǎo)數(shù)模式的特征來(lái)提取高階局部信息。
比例不變特征變換SIFT描述符對(duì)于人臉識(shí)別同樣是應(yīng)用廣泛。三個(gè)不同的方法理論在人臉圖像上匹配SIFT描述符的觀點(diǎn)在【68】中提出：
這最佳的識(shí)別精度的獲得是使用了第三個(gè)方法，這個(gè)相關(guān)的方法提出了使用加速?gòu)?qiáng)大功能SURF特征替代SIFT。在這項(xiàng)工作中，作者發(fā)現(xiàn)在常規(guī)方法上提取密集特征的方式提供了最佳結(jié)果。在【71】中，兩個(gè)SIFT的變型方法被提出。一個(gè)叫做規(guī)模化SIFT，可根據(jù)其規(guī)模大小刪除一些不可靠的關(guān)鍵點(diǎn)。另一個(gè)叫作部分描述符SIFT，可以在大規(guī)模數(shù)據(jù)中找到關(guān)鍵點(diǎn)并且靠近臉部邊界。相比于原始的SIFT方法，這兩個(gè)方法都很好的提高了人臉識(shí)別的精度。
一些基于特征的方法專注于在訓(xùn)練樣本里學(xué)習(xí)局部特征。舉個(gè)例子，在【72】中提出無(wú)監(jiān)督學(xué)習(xí)技術(shù)被用來(lái)將人臉的局部微結(jié)構(gòu)編碼為一組離散代碼。這離散編碼在不同的面部區(qū)域被分組為直方圖。最終的局部描述符通過(guò)在每個(gè)直方圖上應(yīng)用PCA技術(shù)來(lái)計(jì)算出來(lái)。在【75】中提出了一種和LBP類似的基于學(xué)習(xí)的描述符。特別要說(shuō)的是，這個(gè)描述符由差異模式組成。這個(gè)差異模式通過(guò)將局部3*3區(qū)域的中心像素減去其相鄰像素得出，并且通過(guò)訓(xùn)練高斯混合模型計(jì)算出微分模式的高階統(tǒng)計(jì)。另一個(gè)類似于LBP描述符的是具有學(xué)習(xí)階段的在【76】中提出。在這個(gè)工作中LDA被用來(lái)做以下工作：
基于特征的方法的各個(gè)變型展示了相對(duì)于整體方法的更加健壯性。然而一些整體方法中的有點(diǎn)被丟棄了，比如丟棄了非判別信息和更緊湊的表示形式。混合方法結(jié)合了這兩者的優(yōu)勢(shì)，將會(huì)在下文被討論。
D. 混合方法
混合方法結(jié)合了整體方法和基于特征的方法兩者的技術(shù)。在深度學(xué)習(xí)廣泛傳播之前，大多數(shù)的人臉識(shí)別系統(tǒng)都是基于混合方法的。一些混合方法是簡(jiǎn)單地把兩個(gè)不同的技術(shù)結(jié)合起來(lái)，而沒(méi)有任何相互作用。舉個(gè)例子，在早先介紹過(guò)的模型化特征面孔工作中，作者實(shí)驗(yàn)時(shí)使用特征面孔和特征值相結(jié)合來(lái)表現(xiàn)并且成功達(dá)到了比只使用一種方法取得的精度更高。然而最流行的混合方法是首先提取局部特征（LBP，SIFT）然后投影這些特征到低維的可區(qū)分的子空間上（PCA，LDA），整個(gè)過(guò)程在圖6中有所展示。
[圖像6] 典型的混合方法來(lái)實(shí)現(xiàn)人臉表征。
一些混合方法使用Gabor特征結(jié)合不同子空間的方法來(lái)工作【77】【78】【79】。在這些方法中，將不同方向和比例的Gabor核與圖像進(jìn)行卷積，并將其輸出連接到特征向量中。這特征向量在接下來(lái)向下取樣來(lái)實(shí)現(xiàn)降維。在【77】中，特征向量通過(guò)使用加強(qiáng)的線性判別模型來(lái)進(jìn)一步處理【80】。PCA跟著ICA應(yīng)用于向下取樣特征向量【78】中講到，并使用【80】中的概率推理模型來(lái)對(duì)兩張圖像是否屬于同一主題進(jìn)行分類。在【79】中具有多項(xiàng)式內(nèi)核的帶核PCA應(yīng)用于特征向量，以對(duì)高階統(tǒng)計(jì)量進(jìn)行編碼。所有的這些混合方法都顯示出了比單獨(dú)使用Gabor特征更高的精度。
LBP描述符在許多的混合方法中有關(guān)鍵性的作用。在【81】中，一張圖像被分為沒(méi)有重疊區(qū)域的圖像，接下來(lái)LBP描述符在多種分辨率下提取。每塊區(qū)域的LBP描述符被連接于區(qū)域特征向量，然后投影在PCA和LDA的子空間里。這個(gè)方法擴(kuò)展到彩色圖像中在【82】被提出。Laplacian PCA是PCA的擴(kuò)展，在應(yīng)用于描述LBP描述符時(shí)展現(xiàn)出的性能優(yōu)于標(biāo)準(zhǔn)PCA和帶核PCA。【84】中提出兩個(gè)新穎的補(bǔ)丁版本，一個(gè)是 three-patch LBP，另一個(gè)是 four-patch LBP，與LDA和SVM結(jié)合使用。所提出的TPLBP和FPLBP描述符可以通過(guò)相鄰像素的補(bǔ)丁之間的編碼相似之處提升面部識(shí)別的準(zhǔn)確性。最近【85】提出通過(guò)密集提取人臉標(biāo)志周圍的多比例LBP描述符來(lái)表現(xiàn)高維人臉圖像。通過(guò)PCA將高維特征向量（100K-dim）縮減為400維，并使用聯(lián)合貝葉斯方法學(xué)習(xí)了最終的判別性特征向量。在他們實(shí)驗(yàn)中，【85】顯示出提取高維特征當(dāng)從一維到一千維時(shí)，能增高人臉識(shí)別的精度大概6%-7%。這種方法的主要不足是在于執(zhí)行這種大小程度的降維所需的高計(jì)算成本。因?yàn)檫@個(gè)原因，他們提出通過(guò)解決以下優(yōu)化問(wèn)題將稀疏線性投影矩陣B近似于PCA和聯(lián)合貝葉斯變換的方法：
其中第一項(xiàng)是高維特征向量矩陣X與投影在低維的特征向量矩陣Y之間的重構(gòu)誤差。第二項(xiàng)是在投影矩陣B中加強(qiáng)稀疏性，這個(gè)?平衡了每一項(xiàng)的貢獻(xiàn)。最近有另一個(gè)方法提出依賴于判別高斯過(guò)程的潛在變量模型的多任務(wù)學(xué)習(xí)方法，取名為高斯面孔【86】。這個(gè)方法擴(kuò)展了高斯處理方法，合并了一種計(jì)算效率更高的帶核LDA版本，以從LBP描述符中學(xué)習(xí)人臉表征，該描述符可以利用來(lái)自多個(gè)域的數(shù)據(jù)資源。使用這個(gè)方法在LFW數(shù)據(jù)集上的成功率達(dá)到了98.52%。這與許多深度學(xué)習(xí)方法所達(dá)到的準(zhǔn)確性具有競(jìng)爭(zhēng)力。
一些混合方法的提出使用了不同局部特征的聯(lián)合。舉個(gè)例子，Gabor的LBP特征在【88】中使用。作者認(rèn)為這兩種類型的特征可以捕獲到補(bǔ)充的信息。當(dāng)LBP描述符捕獲到表現(xiàn)出來(lái)的小細(xì)節(jié)時(shí)，Gabor特征可以在更大范圍的比例上編碼面部形狀。PCA可以獨(dú)立的應(yīng)用在包含Gabor系數(shù)和LBP系數(shù)的特征向量上來(lái)降低維度。通過(guò)連接兩個(gè)PCA變換的特征向量并應(yīng)用于類似帶核LDA的子空間的方法（叫做帶核可判別的公共向量）來(lái)獲得最終的人臉表征。另一個(gè)方法使用Gabor和LBP特征在【90】中提出。在這個(gè)方法中，人臉通過(guò)應(yīng)用PCA+LDA的方法獲得LGBP描述符的直方圖的區(qū)域來(lái)表示。多特征系統(tǒng)在【8】中提出來(lái)應(yīng)對(duì)在相對(duì)較差照明條件下的人臉識(shí)別問(wèn)題。在這個(gè)研究中有三項(xiàng)貢獻(xiàn)：
在【91】中提出了一種相關(guān)的方法，這是一種新穎的描述符將局部相位量化LPQ擴(kuò)展為多比例的局部相位量化MLPQ。此外在內(nèi)核LDA工作框架中，一種內(nèi)核融合技術(shù)被用來(lái)結(jié)合MLPQ描述符和MLBP技術(shù)。在【5】中提出了一種年齡不變的人臉識(shí)別系統(tǒng)，此系統(tǒng)基于對(duì)SIFT和多比例LBP的密集提取以及結(jié)合了新穎的多特征判別分析式MFDA。這個(gè)多特征判別分析式MFDA技術(shù)使用隨機(jī)子空間樣本來(lái)重建多元低維特征的子空間，并且裝袋為在分類邊界附近存在類間對(duì)的LDA于訓(xùn)練集中選取子集，來(lái)提高表現(xiàn)出的辨別能力。密度SIFT描述符也被用作紋理特征，并且與以成對(duì)的面部標(biāo)志之間的相對(duì)距離的形式表現(xiàn)出的圖像特征相結(jié)合。在使用多元PCA+LDA變換中，圖形和紋理特征的結(jié)合有了更深一步的發(fā)展。
來(lái)總結(jié)一下這個(gè)子章節(jié)，回顧了和圖6的描述中不同的其他類型的混合方法。在【96】中提出，通過(guò)訓(xùn)練屬性與明喻二元值支持向量機(jī)分類器，將低維的局部空間特征（比如RGB和HSV顏色空間中的圖像強(qiáng)度、邊緣幅度和漸變方向）用來(lái)計(jì)算高維的視覺(jué)特征。屬性分類器來(lái)檢測(cè)描述人臉的屬性，例如性別、種族和年齡。另一方面，明喻分類器通過(guò)測(cè)量面部不同部位與一組有限的參考對(duì)象的相似度，來(lái)檢測(cè)那些不好描述的屬性。在比較兩個(gè)圖像時(shí)，關(guān)于圖像的屬性和明喻的分類器的輸出都會(huì)被反饋到支持向量機(jī)SVM分類器中。在【97】中一個(gè)和明喻分類器類似的方法被提出。這其中主要的不同是【97】中是使用了大量簡(jiǎn)單的一對(duì)一的分類器替代了【96】中提出的更復(fù)雜的一對(duì)多分類器，并且SIFT描述符被用在低維特征中。在【98】中提出了兩種用于人臉識(shí)別的度量學(xué)習(xí)方法。其中第一個(gè)叫做邏輯判別度量學(xué)習(xí)LDML，這個(gè)方法是基于正對(duì)（屬于同一主題）之間的距離應(yīng)該小于負(fù)對(duì)（屬于不同主題）之間的距離的思想。【98】中的第二個(gè)是邊緣化KNN方法MKNN，使用了k最近鄰分類器來(lái)找到在相比較的兩個(gè)向量的相鄰向量中，可以形成多少對(duì)相鄰的正對(duì)。這兩個(gè)方法都是用人臉上的固定點(diǎn)（嘴角、眼睛和鼻子）所計(jì)算出的SIFT向量對(duì)來(lái)訓(xùn)練的。
混合方法提供了最好的整體方法和基于特征的方法的整合。他的主要限制的地方就在于要選擇好的特征，這個(gè)特征能夠幫助我們提取到大量可提取的信息來(lái)完成人臉識(shí)別。一些人通過(guò)結(jié)合不同類型的特征來(lái)嘗試解決這個(gè)難題，而其他人通過(guò)引入學(xué)習(xí)階段來(lái)提高特征的判別能力。深度學(xué)習(xí)方法將要在下文討論，深度學(xué)習(xí)是采取了可以通過(guò)訓(xùn)練，學(xué)習(xí)到大量最適合識(shí)別任務(wù)的特征和功能的端到端系統(tǒng)，能使這些想法更進(jìn)一步。
E. 深度學(xué)習(xí)方法
卷積神經(jīng)網(wǎng)絡(luò)CNNs是深度學(xué)習(xí)在人臉識(shí)別中最常用的方法。這最主要的優(yōu)點(diǎn)在于深度學(xué)習(xí)方法可以被大量的數(shù)據(jù)所訓(xùn)練來(lái)學(xué)習(xí)到在訓(xùn)練集中各種變異性的表示來(lái)實(shí)現(xiàn)人臉識(shí)別。通過(guò)這個(gè)方法，取代了之前需要設(shè)計(jì)特殊的特征變量來(lái)適應(yīng)不同類型的類內(nèi)變量，比如說(shuō)照明條件、姿勢(shì)、面部表情等等。卷積神經(jīng)網(wǎng)絡(luò)CNNs會(huì)在訓(xùn)練集中學(xué)習(xí)到這些差異。深度學(xué)習(xí)方法的主要不足在于他們需要用大量的包含幾乎各種變量的可以泛化到幾乎所有樣本的訓(xùn)練集。幸運(yùn)的是，一些包含幾乎各種人臉圖像的大規(guī)模的人臉數(shù)據(jù)集在最近發(fā)布到了公網(wǎng)上，【9-15】這就可以用來(lái)訓(xùn)練CNN模型。除了學(xué)習(xí)到特征判別外，神經(jīng)網(wǎng)絡(luò)也能夠?qū)崿F(xiàn)降維，并且可以被訓(xùn)練為分類器或者成為使用度量方法的工具。CNNs被認(rèn)為是端到端的訓(xùn)練系統(tǒng)，并且不需要與其他一些具體的方法結(jié)合。
CNN關(guān)于人臉識(shí)別的模型被不同的方法來(lái)訓(xùn)練。其中一個(gè)方法就是把要解決的問(wèn)題都視為一個(gè)分類，在訓(xùn)練集中每個(gè)問(wèn)題都對(duì)應(yīng)著一個(gè)類。在訓(xùn)練之后，模型就可以通過(guò)丟棄分類層，使用前一層的特征作為人臉表征來(lái)識(shí)別訓(xùn)練集中沒(méi)有出現(xiàn)過(guò)的對(duì)象【99】。在深度學(xué)習(xí)文獻(xiàn)中，這些特征通常被叫做瓶頸特征。在經(jīng)歷第一個(gè)訓(xùn)練階段后，模型通過(guò)使用一些其他的技術(shù)進(jìn)一步處理，來(lái)實(shí)現(xiàn)對(duì)目標(biāo)應(yīng)用的瓶頸特征的優(yōu)化功能。這些技術(shù)比如說(shuō)聯(lián)合貝葉斯方法或者用不同損失函數(shù)微調(diào)的CNN模型。另一個(gè)常見(jiàn)的方法是通過(guò)優(yōu)化兩張人臉或者三張人臉的距離度量方法，來(lái)直接學(xué)習(xí)瓶頸特征。
使用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)人臉識(shí)別的思想不是最近才提出來(lái)的。一種PBDNN基于概率決策的神經(jīng)網(wǎng)絡(luò)方法在1997年提出，用來(lái)人臉檢測(cè)、眼部定位和人臉檢測(cè)。每個(gè)訓(xùn)練對(duì)象把應(yīng)用在人臉識(shí)別的PBDNN分為一個(gè)完全連接的子網(wǎng)，來(lái)減少隱藏的單元從而避免過(guò)度擬合。兩個(gè)PBDNN分別用強(qiáng)度和邊緣特征來(lái)訓(xùn)練，并且把他們的輸出結(jié)合起來(lái)就可以給出一個(gè)最終的分類選擇。另一種早期方法提出結(jié)合SOM自組織圖和卷積神經(jīng)網(wǎng)絡(luò)。自組織圖SOM是在無(wú)監(jiān)督學(xué)習(xí)下訓(xùn)練的一種神經(jīng)網(wǎng)絡(luò)，是將輸入數(shù)據(jù)投影到一個(gè)保留了輸入空間拓?fù)浣Y(jié)構(gòu)的較低維空間里（在原始空間附近的輸入，也是在輸出空間附近）。據(jù)描述這兩種早期的方法都沒(méi)有用來(lái)端到端訓(xùn)練，并且提出當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)很淺。能實(shí)現(xiàn)端到端的人臉識(shí)別CNN的方法在【100】中提出。這個(gè)方法使用了含有對(duì)比損失功能的siamese結(jié)構(gòu)。這個(gè)對(duì)比損失功能實(shí)現(xiàn)了度量學(xué)習(xí)過(guò)程，該過(guò)程旨在使對(duì)應(yīng)于同一主題的特征向量對(duì)之間的距離最小化，同時(shí)使對(duì)應(yīng)于不同主題的特征向量對(duì)之間的距離最大化。這個(gè)方法中CNN架構(gòu)也很淺，并且只是使用小量的數(shù)據(jù)集訓(xùn)練。
上述提到的方法都沒(méi)有取得突破性的成果，主要是由于使用了低容量的神經(jīng)網(wǎng)絡(luò)并且在當(dāng)時(shí)只有相對(duì)很小的數(shù)據(jù)集可供訓(xùn)練。直到這些模型得到擴(kuò)展并且使用大量的數(shù)據(jù)訓(xùn)練時(shí)【107】才出現(xiàn)了第一種用于人臉識(shí)別的深度學(xué)習(xí)方法【99】，并且逐漸成為最先進(jìn)的方法。特別要提的是Facebook的DeepFace應(yīng)用【99】，這是使用高容量模型的最早基于CNN的人臉識(shí)別方法之一。DeepFace在LFW基準(zhǔn)上達(dá)到了高達(dá)97.35%的精準(zhǔn)度，并且將之前最先進(jìn)的技術(shù)的錯(cuò)誤減少了27%。作者使用來(lái)自4030位試驗(yàn)者的440萬(wàn)張人臉訓(xùn)練了具有softmax loss^2的CNN模型。在這個(gè)研究中有兩個(gè)新的貢獻(xiàn)：
同時(shí)DeepID系統(tǒng)通過(guò)在包含十個(gè)區(qū)域、三個(gè)比例和RGB或灰色通道上訓(xùn)練60個(gè)不同的CNNs模型【9】實(shí)現(xiàn)了和DeepFace類似的結(jié)果。在測(cè)試期間，160個(gè)瓶頸特征在每一塊補(bǔ)丁區(qū)域上提取出來(lái)，其水平翻轉(zhuǎn)的副本形成了19200維的特征向量160 * 2 * 60。和【90】中所提觀點(diǎn)類似，提出的CNN結(jié)構(gòu)也使用了局部連接層。經(jīng)過(guò)使用CNNs得到的19200維的特征向量訓(xùn)練的聯(lián)合貝葉斯分類器，可以用來(lái)驗(yàn)證結(jié)果。這個(gè)系統(tǒng)在包含10177位名人臉部圖像的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。
總結(jié)
以上是生活随笔為你收集整理的python人脸识别框很小_人脸识别：从传统方法到深度学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 怎么测试服务器端口是否对外开放_从零开始
- 下一篇： python视频网站项目_Python开