標題：Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction

鏈接：https://www.researchgate.net/profile/Jianzhu-Guo/publication/346771019_Beyond_3DMM_Space_Towards_Fine-Grained_3D_Face_Reconstruction/links/5fd601cb299bf1408806ba10/Beyond-3DMM-Space-Towards-Fine-Grained-3D-Face-Reconstruction.pdf

本文的目標是解決現如今人臉重建數據集不夠的問題，作者認為未來隨著深度相機的普及，我們將會有無窮多的RGBD圖像用于訓練，因此他試圖尋找一種從RGBD圖像中做人臉重建的方式。主要有兩大貢獻：

?

1.構建了一個新的3D人臉數據集FG3D

2.提出了一個細粒度重建網絡FGNet

首先，為了構建FG3D這個數據集，作者收集了一些RGBD數據集，然后使用ICP的配準方法將3DMM模型擬合到RGBD圖上，從而補齊面部的所有網格信息。

但是RGBD圖的一個特性是很多地方都有空缺，因此作者就直接做了平滑處理，將有深度信息的點連接，從而補全全圖的空間信息。

然后就是FGNet，這個網絡的目標是在現有3DMM模型的基礎上增加形狀細節，從而讓形狀更貼合真實的圖像。而增加細節的方式你就是直接預測一個UV map，最后將UV map加到3D模型上就完事。

作者提出了兩個方式來預測這個UV map：

1. 相機視角：就是直接給CNN輸入原始圖像和PNCC圖像（PNCC就是用色彩來表示坐標的空間信息的2D圖像）來直接預測UV map，這個的好處就是保證信息絕對沒有遺漏，但問題是模型可能需要從一些很小的細節來預測某些部位，例如耳朵等被遮擋的部分，這會讓模型比較難以收斂。

2.模型視角：這里作者將3DMM模型先配準到面部，然后將圖像中的人臉紋理投射到UV map中，之后做個attention來提取出重要的部分（應該是沒被擋住的部分），之后與形狀的UV map做拼接，輸入CNN，來預測最終的形變UV map。這樣的好處就是輸入圖像的結構永遠是一致的，因為都是UV map嘛，所以模型可能會比較好學。

最后證明兩個方式都有效，但是模型視角更好一些。

總結

以上是生活随笔為你收集整理的[ECCV2020]Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。