基于可變形模板的三維人臉重建-學習筆記

原文地址：http://blog.csdn.net/hjimce/article/details/50331423

作者：hjimce

一、數(shù)據(jù)庫處理：

我們通過掃瞄得到的數(shù)據(jù)，每個人臉模型的網(wǎng)格頂點個數(shù)各不相同，也就是拓撲結(jié)構(gòu)不同，因此我們需要對我們的訓練數(shù)據(jù)，做一個歸一化處理。使得每個模型的頂點一一對應，拓撲結(jié)構(gòu)相同，這一步采用的算法是，參數(shù)化的方法，進行網(wǎng)格重構(gòu)劃分。

1、首先采用柱面參數(shù)化的方法，把網(wǎng)格參數(shù)化到圓柱上，對應到二維平面。

2、然后在參數(shù)空間采用光流法進行稠密對齊，并對網(wǎng)格進行重新劃分

3、采用重心坐標放射不變性的方法，進行網(wǎng)格重建。

這個算法流程，剛好跟我研究生的課題搞的算法，很類似。這樣我們的數(shù)據(jù)庫中的每個人臉模型的頂點、拓撲結(jié)構(gòu)都是相同的，我們可以得到一個平均臉，包好了：

?

這個平均臉，將后續(xù)使用。

二、人臉重建主要公式

基于形變模型的人臉重建的主要思想，是利用數(shù)據(jù)庫的人臉模型，作為基底向量，表示出任何一個人臉模型（我們即將重建的人臉的三維模型）：

?

其中Savg、Tavg就是我們上面第一步求得的平均臉模型。Si表示人臉數(shù)據(jù)庫樣本i的形狀向量、Ti則表示紋理向量，α、β是未知的系數(shù)。因此假設(shè)我們輸入一張用戶人臉，我們要重建其三維人臉模型，我們的目標就是要求解α、β，只要這兩個系數(shù)知道了，我們就可以利用上面的公式，求解出其對應的三維模型了。當然上面的計算公式，我們后面將會使用PCA進行簡化降維。

三、優(yōu)化求解

上面我們說到我們的目標是求解未知的系數(shù)：α、β，說是這么說，說起來簡單，做起來難，因此接著我們要講解的α、β求解，也是paper算法的靈魂了。那么具體要怎么解呢？我們有如下已知條件：

1、用戶輸入的一張人臉圖片

2、人臉數(shù)據(jù)庫平均臉（包含了貼圖）

3、人臉數(shù)據(jù)庫

OK，沒了，這就是我們目前所知道的已知條件了。那么到底是怎么從2D重建出3D？也就是怎么求解α、β？算法的總體思路是采用迭代優(yōu)化的方法，先隨機初始化α、β，然后我們可以得到3D的模型，然后我們把這個3D模型，投影到2D平面，得到一張新的人臉圖片。然后采用這張人臉圖片與用戶輸入的人臉圖片構(gòu)建損失函數(shù)：

?

使得用戶輸入的圖片與我們投影到二維的圖片，差值最小化。然后對上面的式子α、β進行求導，最后采用梯度下降法，更新參數(shù)α、β，如此一直循環(huán)迭代，直到收斂。因為我們從三維投影到二維的過程中，涉及到相機等相關(guān)的參數(shù)，這些參數(shù)也是未知數(shù)，所以統(tǒng)一用：ρ表示，然后梯度下降的過程中α、β、ρ這三個參數(shù)一起更新。

參考文獻：

1、《A Morphable Model For The Synthesis Of 3D Faces》

**********************作者：hjimce ? 時間：2015.12.15 ?聯(lián)系QQ：1393852684 ? 地址：http://blog.csdn.net/hjimce? ?原創(chuàng)文章，版權(quán)所有，轉(zhuǎn)載請保留本行信息（不允許刪除）********************

總結(jié)

以上是生活随笔為你收集整理的图形处理（十三）基于可变形模板的三维人脸重建-学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。