人臉特征點(diǎn)定位之Explicit Shape Regression

人臉關(guān)鍵點(diǎn)定位是在人臉檢測基礎(chǔ)上，進(jìn)一步定位人臉的眼睛眉毛鼻子嘴巴輪廓等。主要思想就利用關(guān)鍵點(diǎn)附近的信息以及各個(gè)關(guān)鍵點(diǎn)之間的相互關(guān)系來定位。方法大致分為兩類，一個(gè)是基于模型的方法，一個(gè)是基于回歸的方法。這里主要介紹的第二種方法。?

?

基于模型的方法以cootes在1995年提出的asm方法最為代表，asm方法將數(shù)十個(gè)臉部特征點(diǎn)的紋理和位置關(guān)系約束一起考慮來進(jìn)行計(jì)算出一個(gè)參數(shù)模型。從局部特征中檢測到所求的關(guān)鍵點(diǎn)，但是這種方法對噪聲非常敏感。asm也是開先河的經(jīng)典之作，也是后面被follow最多方法。也是cootes等人提出的aam方法，對外觀變化和初始化也非常敏感，以上的這些包括他們的改進(jìn)都是用的PCA參數(shù)模型。

基于回歸的方法是ASM相關(guān)改進(jìn)的另外一個(gè)方向，就是對形狀模型本身的改進(jìn)。CVPR2012，MSRA孫劍組的Face Alignment by Explicit Shape Regression，取得了非常不錯(cuò)的效果（下文簡稱ESR）。這篇文章沒有用PCA去約束形狀模型，而是基于訓(xùn)練樣本的線性組合來約束形狀。而且，其在alignment的效果(LFPW測試集)上是目前看到最好的，此外，這個(gè)方法的速度非常快。

?Esr使用的是一個(gè)cascade regression的框架，是P. Dollár在CVPR2010的Cascaded Pose Regression?中提出的一種方法，用來解決對齊問題。曹旭東的esr方法在此基礎(chǔ)上做了幾個(gè)擴(kuò)展，使他更為適合做人臉關(guān)鍵點(diǎn)定位，下面且聽我詳細(xì)道來。

?

一．Two-level boosted regression

ESR使用了一個(gè)兩級的boosted regressor。作者是使用了第一級10級，第二層500級。在這個(gè)二級結(jié)構(gòu)中，第一級中每個(gè)節(jié)點(diǎn)都是500個(gè)弱分類器的級聯(lián)，也就是一個(gè)第二層的regressor。這里肯定會(huì)有人不明白，這不就是相當(dāng)于一層，其實(shí)不是。因?yàn)?#xff0c;在第二層regressor中，特征是保持不變的，而在第一層中，特征是變化的。所以，這事實(shí)上是一個(gè)兩層的結(jié)構(gòu)。在第一層，每一個(gè)節(jié)點(diǎn)的輸出都是上一個(gè)節(jié)點(diǎn)的輸入。都是在上一級估計(jì)的關(guān)鍵點(diǎn)上在取的特征。

?

二．Primitive regressor

? ?在這里，作者用fern作為原始regressor。fern是N個(gè)特征和閾值的組合，將訓(xùn)練樣本劃分為2的F次冪個(gè)bins。每一個(gè)bin對應(yīng)一個(gè)輸出，即

?這里是過擬合系數(shù)，是當(dāng)前bin中樣本總數(shù)。這樣，最后的輸出就是一個(gè)所有訓(xùn)練樣本的線性組合。

?

三．Feature

?? CPR中提出了 pose indexd feature，這種特征保持了對形狀的不變性，從而增加了算法的魯棒性。在曹旭東esr方法中，將這種feature變成了shape indexd feature，所謂的shape index feature，就是根據(jù)關(guān)鍵點(diǎn)的位置和一個(gè)偏移量，取得該位置的像素值，然后計(jì)算兩個(gè)這樣的像素的差值，從而得到了形狀索引特征。該方法中采用的是局部坐標(biāo)而非全局坐標(biāo)系，極大的增強(qiáng)了特征的魯棒性。

?

?

?

四．Correlation-based feature selection

這一步，我們需要在提取的400x400個(gè)特征中，選擇出f個(gè)特征作為fern分類器的輸入。這里，作者采用了一種Correlation-based的方法。先將要回歸的目標(biāo)映射到一個(gè)方向，然后在這個(gè)方向上分別計(jì)算與不同的特征向量的相關(guān)系數(shù)，選擇最大的f個(gè)。在計(jì)算時(shí)，可以提前計(jì)算好不同的特征間的協(xié)方差，這樣可以極大的降低計(jì)算復(fù)雜度。

?

這里，將對這篇文章的理解與大家分享

?

總結(jié)

以上是生活随笔為你收集整理的人脸特征点定位之Explicit Shape Regression的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。