3DMM(人臉3D形變統(tǒng)計(jì)模型)

1 3DMM方法介紹

3DMM是一種較為基礎(chǔ)的三維人臉統(tǒng)計(jì)模型，最早被提出是用于解決從二維人臉圖像恢復(fù)三維形狀的問(wèn)題。在3DMM方法發(fā)展的二十年來(lái)，各位學(xué)者對(duì)其進(jìn)行了數(shù)據(jù)擴(kuò)展和深入研究，又由于神經(jīng)網(wǎng)絡(luò)廣泛使用，使得3DMM參數(shù)優(yōu)化得到簡(jiǎn)化，基于3DMM方法的三維重建文章層出不窮。但此類方法基于一組人臉形狀和紋理的統(tǒng)計(jì)模型來(lái)表示任意一張人臉，仍然存在重建人臉判別性較差，參數(shù)求解難的問(wèn)題，目前也是學(xué)術(shù)界研究的重點(diǎn)方向。

傳統(tǒng)3DMM方法
前提所有三維人臉是已經(jīng)進(jìn)行稠密對(duì)齊(3D face registration)的，即所有的三維人臉都能用相同的點(diǎn)云數(shù)或面片數(shù)來(lái)表示，且相同序號(hào)的點(diǎn)代表相同的語(yǔ)義，例如對(duì)每一個(gè)人臉形狀基第2217個(gè)面片頂點(diǎn)都是左外眼角點(diǎn)（BFM2017數(shù)據(jù)庫(kù)）。在稠密對(duì)齊的情況下，文章提出每個(gè)帶紋理的三維人臉都能用如下公式表示：

其中S和T表示人臉平均形狀和平均紋理部分，每張人臉的判別特性體現(xiàn)在加號(hào)右邊一組基的線性組合，S_i和T_i分別表示按照特征值降序排列的協(xié)方差陣的特征向量。這也是3DMM的關(guān)鍵。在文章中，作者采集了200個(gè)三維人臉的頭部，用這組數(shù)據(jù)作為PCA（主成分分析）的基礎(chǔ)，來(lái)獲得能代表人臉形狀和紋理信息的主成分即S_i和T_i。

求解過(guò)程，實(shí)際就是對(duì)參數(shù)α_i和β_i的求解。在文中作者告訴我們這兩組系數(shù)的分布滿足，

其中σ_i是形狀協(xié)方差陣的特征值。滿足多元正態(tài)分布。β同理。

接下來(lái)是如何用這組統(tǒng)計(jì)模型與一張或多張二維圖片進(jìn)行匹配，獲得圖片上人臉的三維形狀和紋理。在99年的論文中，作者采用一種分析合成方法（analysis-by-synthesis），主要思想在于，將3D模型和一組渲染參數(shù)一起優(yōu)化，使他們產(chǎn)生的圖片盡可能的接近輸入圖片。首先算法先根據(jù)現(xiàn)有參數(shù)產(chǎn)生一個(gè)帶紋理的3D人臉，渲染出一張2D圖片，根據(jù)原圖片與渲染圖片的殘差更新參數(shù)。

模型參數(shù)：α_j和β_j是確定人臉形狀和紋理的系數(shù)，渲染參數(shù)包含相機(jī)位置（方向角，仰角），目標(biāo)尺度，圖像平面旋轉(zhuǎn)和平移，環(huán)境光強(qiáng)度，直射光強(qiáng)度。其余參數(shù)，如相機(jī)距離，光照方向和表面反照率保持估計(jì)值不變。使用透視投影和Phong光照模型，從參數(shù)渲染彩色圖片，此時(shí)重建圖片在歐氏距離上應(yīng)該盡可能與輸入圖片接近，有如下公式

同時(shí)由于從2D圖片重建三維是一個(gè)病態(tài)問(wèn)題，為了避免出現(xiàn)不像人臉的重建結(jié)果，對(duì)參數(shù)設(shè)置了一定的約束，因此重建方法是質(zhì)量和先驗(yàn)概率的折中。根據(jù)貝葉斯決策，問(wèn)題變成找到擁有最大后驗(yàn)概率的參數(shù)集合。考慮輸入圖片可能帶有噪聲，我們進(jìn)一步假設(shè)觀測(cè)圖片滿足如下概率，

其中σ_N代表高斯噪聲的標(biāo)準(zhǔn)差，于是最大后驗(yàn)概率可以通過(guò)最小化代價(jià)函數(shù)獲得
在求解形狀參數(shù)時(shí)采用隨機(jī)梯度下降算法，隨機(jī)選擇一組面片（文中40張一組，在此過(guò)程中隨機(jī)采樣的面片若被遮擋，其權(quán)值設(shè)為0）對(duì)任意的α_j求一階偏導(dǎo)，參數(shù)更新為原參數(shù)減去學(xué)習(xí)率與梯度的乘積。文中對(duì)每個(gè)面片的紋理和3D位置的處理是直接由面片的三個(gè)角點(diǎn)的平均值得到的。在后續(xù)的研究中，很多工作都致力于優(yōu)化求解方法，例如加入contour、silhouette和特征點(diǎn)信息作為約束，或利用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行求解，使得參數(shù)求解速度更快。

2 BFM數(shù)據(jù)庫(kù)

BFM數(shù)據(jù)庫(kù)的提出有效擴(kuò)大了3DMM的適用場(chǎng)景，BFM可以擬合任意三維人臉并保存3DMM參數(shù)。有兩個(gè)版本09版和17版，在這里只對(duì)17版（17版論文）進(jìn)行說(shuō)明。相比于09版，針對(duì)表情基進(jìn)行了優(yōu)化。BFM提供了一組形狀，表情，紋理的基，且可以根據(jù)改變參數(shù)來(lái)改變?nèi)四樀哪挲g肥胖程度，其中形狀基為一個(gè)199n維的主成分，以及1991維的主成分均方誤差。紋理的基和形狀基維度相同，表情基有100n維主成分和1001維均方誤差相較09版的20維有所增加。

總結(jié)

以上是生活随笔為你收集整理的3DMM(人脸3D形变统计模型)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。