標(biāo)題：Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

鏈接：https://www.researchgate.net/profile/Jianzhu-Guo/publication/346771019_Beyond_3DMM_Space_Towards_Fine-Grained_3D_Face_Reconstruction/links/5fd601cb299bf1408806ba10/Beyond-3DMM-Space-Towards-Fine-Grained-3D-Face-Reconstruction.pdf

本文的目標(biāo)是解決現(xiàn)如今人臉重建數(shù)據(jù)集不夠的問題，作者認(rèn)為未來隨著深度相機(jī)的普及，我們將會(huì)有無窮多的RGBD圖像用于訓(xùn)練，因此他試圖尋找一種從RGBD圖像中做人臉重建的方式。主要有兩大貢獻(xiàn)：

?

1.構(gòu)建了一個(gè)新的3D人臉數(shù)據(jù)集FG3D

2.提出了一個(gè)細(xì)粒度重建網(wǎng)絡(luò)FGNet

首先，為了構(gòu)建FG3D這個(gè)數(shù)據(jù)集，作者收集了一些RGBD數(shù)據(jù)集，然后使用ICP的配準(zhǔn)方法將3DMM模型擬合到RGBD圖上，從而補(bǔ)齊面部的所有網(wǎng)格信息。

但是RGBD圖的一個(gè)特性是很多地方都有空缺，因此作者就直接做了平滑處理，將有深度信息的點(diǎn)連接，從而補(bǔ)全全圖的空間信息。

然后就是FGNet，這個(gè)網(wǎng)絡(luò)的目標(biāo)是在現(xiàn)有3DMM模型的基礎(chǔ)上增加形狀細(xì)節(jié)，從而讓形狀更貼合真實(shí)的圖像。而增加細(xì)節(jié)的方式你就是直接預(yù)測(cè)一個(gè)UV map，最后將UV map加到3D模型上就完事。

作者提出了兩個(gè)方式來預(yù)測(cè)這個(gè)UV map：

1. 相機(jī)視角：就是直接給CNN輸入原始圖像和PNCC圖像（PNCC就是用色彩來表示坐標(biāo)的空間信息的2D圖像）來直接預(yù)測(cè)UV map，這個(gè)的好處就是保證信息絕對(duì)沒有遺漏，但問題是模型可能需要從一些很小的細(xì)節(jié)來預(yù)測(cè)某些部位，例如耳朵等被遮擋的部分，這會(huì)讓模型比較難以收斂。

2.模型視角：這里作者將3DMM模型先配準(zhǔn)到面部，然后將圖像中的人臉紋理投射到UV map中，之后做個(gè)attention來提取出重要的部分（應(yīng)該是沒被擋住的部分），之后與形狀的UV map做拼接，輸入CNN，來預(yù)測(cè)最終的形變UV map。這樣的好處就是輸入圖像的結(jié)構(gòu)永遠(yuǎn)是一致的，因?yàn)槎际荱V map嘛，所以模型可能會(huì)比較好學(xué)。

最后證明兩個(gè)方式都有效，但是模型視角更好一些。

總結(jié)

以上是生活随笔為你收集整理的[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。