隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，面部相關(guān)任務(wù)的研究也成為學(xué)術(shù)界和工業(yè)界的熱門話題。眾所周知的面部任務(wù)通常包括面部檢測，面部識別，面部表情識別等，其主要使用2D RGB面部（通常包括一些紋理信息）作為輸入; 3D掃描成像技術(shù)的出現(xiàn)為面部相關(guān)任務(wù) - 3D面部開發(fā)了一條新的探索路線。

與許多2D面部相關(guān)的任務(wù)介紹性文獻(xiàn)/評論文章相比，3D面部的入門知識還不夠好。本文將回顧和介紹三維人臉相關(guān)的基礎(chǔ)知識，并總結(jié)一些關(guān)于三維人臉識別與重建的基礎(chǔ)入門文獻(xiàn)。

3D人臉基礎(chǔ)知識

一般而言，RGB，灰度和紅外人臉圖像是2D人臉，其主要是在特定視角下表示顏色或紋理的圖像，并且沒有空間信息。用于訓(xùn)練深度學(xué)習(xí)的圖像通常是2D。

2.5D是在某個(gè)視角下拍攝的面部深度數(shù)據(jù)，但由于角度問題，它顯示的表面不連續(xù)，也就是說，當(dāng)你試圖旋轉(zhuǎn)面部時(shí)，會(huì)有一些像溝壑一樣的空隙區(qū)域。這是因?yàn)榕臄z時(shí)未捕獲被遮擋部分的深度數(shù)據(jù)。

那么3D面孔呢？它通常由不同角度的多個(gè)深度圖像組成，完全顯示面部的表面形狀，并且在具有一定深度信息的密集點(diǎn)云中的空間中呈現(xiàn)面部。

相機(jī)模型

相機(jī)模型包括四個(gè)坐標(biāo)系：像素坐標(biāo)，圖像坐標(biāo)，攝像機(jī)坐標(biāo)，世界坐標(biāo)（高中物理老師的頭部沒有閃光燈談?wù)搮⒖枷到y(tǒng)），攝像機(jī)成像過程是三維的 真實(shí)三維空間中的點(diǎn)映射到成像平面（二維空間）的過程也稱為投影變換。

• 相機(jī)坐標(biāo)→圖像坐標(biāo)

相機(jī)坐標(biāo)系到圖像坐標(biāo)系的過程可用小孔成像解釋，本文借助相似原理可清楚描述相機(jī)坐標(biāo)系中點(diǎn)??到像平面點(diǎn)??的過程，其中 f 為相機(jī)焦距。

相機(jī)坐標(biāo)到圖像坐標(biāo)的齊次表示

• 圖像坐標(biāo)→像素坐標(biāo)

一般使用像素值表示 2D 圖像，坐標(biāo)原點(diǎn)通常是圖像的左上角，因此像素坐標(biāo)和成像平面坐標(biāo)之間，相差了一個(gè)縮放和原點(diǎn)的平移

通過用相機(jī)坐標(biāo)表示圖像坐標(biāo)，可以得到像素坐標(biāo)與相機(jī)坐標(biāo)的關(guān)系:

為保證齊次性（一般很多變換矩陣有這個(gè)特性），這里稍作改寫：

即經(jīng)常說的相機(jī)內(nèi)參矩陣（Camera Intrinsics），K 有 4 個(gè)未知數(shù)和相機(jī)的構(gòu)造相關(guān)，f_x，f_y 和相機(jī)焦距、像素大小有關(guān)，c_x，c_y 是平移的距離，和相機(jī)成像平面的大小有關(guān)。

• 世界坐標(biāo)→相機(jī)坐標(biāo)

其實(shí)，相機(jī)坐標(biāo)系并不是一個(gè)特別“穩(wěn)定”的坐標(biāo)系，因?yàn)橄鄼C(jī)會(huì)隨著自身移動(dòng)而改變坐標(biāo)的原點(diǎn)以及各個(gè)坐標(biāo)軸的方向，這時(shí)就需要一個(gè)更穩(wěn)定的坐標(biāo)系來更好地表示射影變換，而我們通常采用的恒定不變的坐標(biāo)系為世界坐標(biāo)系。

相機(jī)坐標(biāo)系與世界坐標(biāo)系之間相差一個(gè)旋轉(zhuǎn)矩陣和平移向量

同樣為了保證齊次性，其改寫形式如下：

即常說的相機(jī)外參（Camera Extrinsics）。

從世界坐標(biāo)系到像素坐標(biāo)系相當(dāng)于弱投影過程。總之，有必要將攝像機(jī)坐標(biāo)系轉(zhuǎn)換為像素坐標(biāo)系。攝像機(jī)內(nèi)部參數(shù)需要從攝像機(jī)坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系。

3D相機(jī)

根據(jù)相機(jī)的工作模式，它可以分為單目相機(jī)（Monocular），雙目相機(jī)（Stereo）和深度相機(jī)（RGB-D），而相機(jī)的精髓也在于反映三者 二維的維度世界。

單目攝像機(jī)，即單個(gè)攝像機(jī)的攝像機(jī)，會(huì)丟失場景的深度，因?yàn)樗荒芡瑫r(shí)捕獲某個(gè)視角的圖像。例如，如果已知某個(gè)圖像點(diǎn)P在成像平面上，由于特定距離未知，投影的像素點(diǎn)可以是連接相機(jī)原點(diǎn)和P的線上的任何位置，因此在旅行或畢業(yè)時(shí)， 可以采取。精心挑選的人放錯(cuò)了效果圖。

那你怎么用深入的信息拍照呢？一種方法是通過雙目相機(jī)獲得深度。雙目相機(jī)顧名思義“雙眼”，左眼相機(jī)和右眼相機(jī)的光圈中心和基線，空間中的點(diǎn)P將投影在雙目相機(jī)圖像的總和上 因此，P原理可以通過相似原理來解決。到基線的距離是點(diǎn)P的深度（參見下面的公式）。在實(shí)際應(yīng)用中，更容易計(jì)算物體紋理豐富的地方的視差，并且考慮到計(jì)算量，雙目深度估計(jì)通常由GPU或FPGA計(jì)算。

，其中?

隨著技術(shù)的不斷發(fā)展，深度相機(jī)的出現(xiàn)使我們更容易捕捉到圖像的深度。其中一款深度相機(jī)是基于結(jié)構(gòu)光的RGB-D相機(jī)。以人臉為例，掃描儀在目標(biāo)面上發(fā)出光圖案（例如光柵），并根據(jù)其變形計(jì)算表面的形狀，從而計(jì)算面部深度信息.

圖片中還有一個(gè)RGB相機(jī)，那么如何實(shí)現(xiàn)深度和RGB之間的一對一對應(yīng)？在測量深度之后，RGB-D相機(jī)通常根據(jù)制作時(shí)每個(gè)相機(jī)的位置完成深度和彩色圖像像素之間的配對，并輸出一對一對應(yīng)的彩色圖和深度圖。我們可以在相同的圖像位置讀取顏色信息和距離信息，計(jì)算像素的3D相機(jī)坐標(biāo)，并生成點(diǎn)云。

還有一個(gè)基于飛行時(shí)間（ToF）的深度相機(jī)，它向目標(biāo)發(fā)射脈沖光，然后根據(jù)光束在傳輸和返回之間的飛行時(shí)間確定物體與其自身的距離。與激光傳感器不同，ToF相機(jī)可以在發(fā)射脈沖光的同時(shí)捕獲整個(gè)圖像的像素深度，而激光通常通過逐點(diǎn)掃描獲取深度信息。

綜上所述，3D人臉任務(wù)通常使用深度相機(jī)來獲取人臉的深度信息。深度相機(jī)通常包括雙目相機(jī)，基于紅外結(jié)構(gòu)光原理（例如Kinect 1代）的RGB-D相機(jī)或基于光時(shí)間的原理。ToF相機(jī)（如Kinect 2代）。

3D 人臉數(shù)據(jù)

3D面部相關(guān)任務(wù)通常有三種表征數(shù)據(jù)的方法：點(diǎn)云，網(wǎng)格圖和深度圖。

點(diǎn)云（Point cloud）

在三維點(diǎn)云中，每個(gè)點(diǎn)對應(yīng)于三維坐標(biāo)。許多3D掃描設(shè)備使用該數(shù)據(jù)格式來存儲(chǔ)所獲取的3D面部信息。有時(shí)，面部的紋理屬性也可以縫合到形狀信息，并且點(diǎn)的表達(dá)式變?yōu)?#xff0c;其中p，q是稀疏坐標(biāo)。

點(diǎn)云的缺點(diǎn)在于，由于點(diǎn)存儲(chǔ)通常是無序的，因此不能很好地獲得每個(gè)點(diǎn)的鄰域信息。通常，點(diǎn)云數(shù)據(jù)用于擬合平滑表面以減少噪聲的影響。

網(wǎng)格（Mesh）

3D網(wǎng)格由3D表面上的預(yù)先計(jì)算和索引信息表示。與點(diǎn)云數(shù)據(jù)相比，它需要更多的內(nèi)存和存儲(chǔ)空間，但由于3D網(wǎng)格的靈活性，它更適合做一些三維變換，如仿射變換，旋轉(zhuǎn)和縮放。每個(gè)3D網(wǎng)格數(shù)據(jù)由以下元素組成：點(diǎn)，線和三角形面。二維紋理的坐標(biāo)信息也可以存儲(chǔ)在點(diǎn)信息中，這有利于重建更精確的三維模型。

深度（Depth/Range）

深度圖像也稱為2.5D或范圍圖像。將3D面的z軸值投影到2D平面上，類似于平滑的3D表面。由于這是二維表示，因此可以直接應(yīng)用許多處理二維圖像的現(xiàn)有方法。該數(shù)據(jù)可以使用三角測量原理直接以灰度顯示或轉(zhuǎn)換為3D網(wǎng)格。

3D人臉相關(guān)任務(wù)

常用Pipeline

2D 人臉相關(guān)任務(wù)的 Pipeline 一般分為數(shù)據(jù)預(yù)處理、特征提取、特征分析等過程，那么 3D 人臉的 Pipeline 呢？這里本文引用《3D Face Analysis: Advances and Perspectives》

上面顯示了一個(gè)通用的3D / 2.5D面部分析框架。我們通過設(shè)備獲得面部（網(wǎng)格，點(diǎn)云，深度）的3D / 2.5D表示，并在經(jīng)過一些預(yù)處理操作（如球面剪切，噪聲消除，深度缺失修復(fù)，點(diǎn)）后獲得一些可用的3D / 2.5D 云登記等人臉。

接下來，預(yù)處理面的特征在于許多方法，例如表面法線，曲率，UV-Map或常用的CNN方法; 在提取特征之后，可以執(zhí)行各種面部任務(wù)，例如識別，表達(dá)分析，性別分類，年齡分類等。

鑒于本文的目的是梳理三維人臉介紹的相關(guān)知識，下面簡要介紹三維人臉重建與識別的相關(guān)工作，包括開發(fā)過程和一些相對易用的論文。

3D人臉識別

在3D人臉識別的最初幾十年中，面部設(shè)計(jì)的特征和分類或測量方法被用于面部驗(yàn)證和識別。近年來，隨著深度學(xué)習(xí)方法的興起，一些工作已經(jīng)被數(shù)據(jù)和3D人臉識別模型訓(xùn)練所驅(qū)動(dòng)。本文簡要總結(jié)了三維人臉識別方法，具體如下：

1.傳統(tǒng)的識別方法

基于點(diǎn)云數(shù)據(jù)的三維人臉識別

這種方法通常不考慮3D空間中的面部特征，而是直接使用3D點(diǎn)云進(jìn)行匹配。常用方法是ICP（迭代最近點(diǎn)，鏈接：https：//en.wikipedia.org/wiki/Iterative_closest_point）和Hausdorff距離（鏈接：https：//en.wikipedia.org/wiki/Hausdorff_distance）。

作為一種剛性匹配算法，ICP可以校正三維點(diǎn)云本身的平移和旋轉(zhuǎn)變換，但對于由表達(dá)式和遮擋引起的表面凹凸變化不夠穩(wěn)健，且時(shí)間開銷相對較大。

ICP使用面部表面采樣的法向矢量進(jìn)行匹配。由于正常信息具有更好的可辨識性，因此這里簡要介紹ICP算法。ICP是一種迭代最近點(diǎn)的方法，可以實(shí)現(xiàn)兩個(gè)云的匹配。確切地說，這種類型與2D面的關(guān)鍵點(diǎn)對齊。

假設(shè)有兩組點(diǎn)云：?,通過迭代的方法找到一組?和，滿足，即求解

Hausdorff距離通過計(jì)算兩個(gè)面的三維點(diǎn)云之間的最近點(diǎn)對之間的最大值來評估空間中不同真實(shí)子集之間的距離。但是，該算法仍然存在表達(dá)和遮擋問題。改進(jìn)的Hausdorff距離算法使用3D面的輪廓來過濾數(shù)據(jù)庫中的對象。

模板面部方法由三維人臉上的種子點(diǎn)變形，適合待測人員的面部，使用擬合參數(shù)進(jìn)行人臉識別，并且可以生成特定的密集三者生成的 - 維面點(diǎn)云對齊方法。變形的臉模型。

基于人臉特征的三維人臉識別

基于人臉特征的三維人臉識別可分為局部特征和全局特征。有關(guān)詳細(xì)信息，請參閱3D Face Analysis：進(jìn)展和展望。

本地功能有兩個(gè)方面。一種是基于面部區(qū)域組件信息的特征，例如鼻子，眼睛和嘴巴區(qū)域。這些特征可以大致分為基于面部關(guān)鍵點(diǎn)，曲率和塊的特征提取方法; 描述子算法提取的特征，如在深度圖像上提取小波特征，SIFT，2D-LBP，MRF，LSP，以及對3D數(shù)據(jù)進(jìn)行特征提取，如3D-LBP。全局特征可以轉(zhuǎn)換整個(gè)面部并提取特征。面部數(shù)據(jù)可以以不同的方式存儲(chǔ)，例如點(diǎn)云，圖像，網(wǎng)格型3D面部數(shù)據(jù)，例如3D面部模型作為球面諧波特征。（SHF），或者使用稀疏系數(shù)作為特征將3D面部表面映射到用于稀疏表示的二維網(wǎng)格中。

2.深度學(xué)習(xí)識別方法

CNN在2D人臉識別方面取得了很大進(jìn)展。然而，2D臉部很容易受到化妝，手勢，燈光和表情的影響。3D面本身包含面部的空間形狀信息，受外部因素的影響較小。與2D面部相比，3D面部數(shù)據(jù)攜帶更多信息。然而，由于難以獲得3D面部數(shù)據(jù)和一些面部數(shù)據(jù)缺乏準(zhǔn)確性，3D面部識別的發(fā)展不是很熱。

基于深度圖的人臉識別

深度圖中人臉識別的常用方法包括提取LBP，多幀深度圖融合，深度圖歸一化等特征。這里，簡要介紹了兩個(gè)與深度圖相關(guān)的人臉識別論文。

《Robust Face Recognition with Deeply Normalized Depth Images 》

本文被認(rèn)為是一種比較常見的深度圖人臉識別管道，它分為兩個(gè)網(wǎng)絡(luò)：規(guī)范化網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)。歸一化網(wǎng)絡(luò)負(fù)責(zé)將輸入深度圖轉(zhuǎn)換為HHA圖像并通過CNN網(wǎng)絡(luò)返回3DMM的參數(shù)（如下面的3D重建中所述），其可在重建3D點(diǎn)云之后投影到歸一化深度中。。特征提取網(wǎng)絡(luò)基本上類似于普通的2D人臉識別網(wǎng)絡(luò)，并且獲得表征深度圖面部的特征向量。

《Led3D: A Lightweight and Efficient Deep Approach to Recognizing Low-quality 3D Faces 》

本文是CVPR 2019的低質(zhì)量深度圖人臉識別文章。深度圖面向預(yù)處理和數(shù)據(jù)增強(qiáng)操作的一些文本值得參考。在本文中，球面的法線的法線用作網(wǎng)絡(luò)輸入。實(shí)驗(yàn)表明，可以更好地表征深層。同時(shí)，作者還精心設(shè)計(jì)了輕量級識別網(wǎng)絡(luò)（主要是多層特征融合和關(guān)注）。機(jī)制），可以參考。

基于RGB-D的人臉識別

基于RGB-D的人臉識別基本上基于2D人臉識別方法。與RGB對齊的深度圖作為頻道發(fā)送到CNN網(wǎng)絡(luò)。RGB-D的一個(gè)優(yōu)點(diǎn)是增加面部的空間形狀信息。RGB-D圖像有很多面部識別論文，但基本思想是融合在要素層或像素層中。

《Accurate and robust face recognition from RGB-D images with a deep learning approach 》

2016年，本文提出了一種基于深度學(xué)習(xí)的RGB-D圖像人臉識別算法。本文通過RGB圖像和多幀融合深度圖像進(jìn)行預(yù)訓(xùn)練和遷移學(xué)習(xí)，并在特征層融合，增強(qiáng)識別能力。

基于深度/ RGB-3DMM的人臉識別

在過去的兩年中，出現(xiàn)了使用3DMM進(jìn)行深度或RGB圖像的人臉模型回歸，并應(yīng)用于識別任務(wù)。這類工作的總體思路是通過回歸3DMM參數(shù)（表情，姿勢，形狀）來實(shí)現(xiàn)3D人臉數(shù)據(jù)增強(qiáng)，并應(yīng)用于CNN培訓(xùn)，代表性工作如FR3DNet（鏈接：https：/ / arxiv.org/） abs / 1711.05942），3D人臉識別（鏈接：https：//arxiv.org/abs/1703.10714）。

《Deep 3D Face Identification》

本文是將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于三維人臉識別任務(wù)的第一種方法。主要思想是利用3DMM + BFM將深度圖擬合成3D人臉模型，實(shí)現(xiàn)深度數(shù)據(jù)放大，最后將數(shù)據(jù)增強(qiáng)（如隨機(jī)遮擋和姿態(tài)變換）發(fā)送到Finetune的2D人臉識別網(wǎng)絡(luò)。

《Learning from Millions of 3D Scans for Large-scale 3D Face Recognition》

本文是3D人臉識別的杰作，真正實(shí)現(xiàn)了數(shù)百萬個(gè)人臉數(shù)據(jù)的創(chuàng)建，提出了一個(gè)3D人臉識別網(wǎng)絡(luò)FR3DNet，最終在現(xiàn)有公共數(shù)據(jù)集上進(jìn)行了測試，效果非常好（數(shù)據(jù)方式） 駕駛基本上是完全刷牙的狀態(tài)）。 創(chuàng)建新ID的方法是在作者的私有數(shù)據(jù)集中找到兩個(gè)具有最大彎曲能量差異的3D面，并通過添加獲得新的3D面（有關(guān)詳細(xì)信息，請參閱原始文本）; 還提出了臉部3D。 在點(diǎn)云識別網(wǎng)絡(luò)中，使用大卷積核有助于更好地感知點(diǎn)云的形狀信息。

還有許多數(shù)據(jù)驅(qū)動(dòng)的3D人臉識別，如3DMMCNN（鏈接：https：//arxiv.org/abs/1612.04904），總結(jié)基于深度學(xué)習(xí)的3D人臉識別方法受到數(shù)據(jù)和現(xiàn)有數(shù)據(jù)不足的限制。精度不夠。研究人員的第一項(xiàng)任務(wù)是進(jìn)行大量數(shù)據(jù)增強(qiáng)或生成大量虛擬3D人臉。但是，這些方法是否具有很強(qiáng)的泛化性能仍值得討論，屬于3D人臉識別時(shí)代也許還未到來。

3D人臉重建

3D面部研究中另一個(gè)有趣的方向是3D面部重建，其是通過一個(gè)或多個(gè)RGB面部圖像重建面部的3D模型。它有許多應(yīng)用場景，例如Face Animation，密集Face。事實(shí)上，RGB到3D人臉重建是一個(gè)病態(tài)的問題，因?yàn)镽GB圖像實(shí)際上代表了紋理特征并且沒有空間信息，但考慮到實(shí)際應(yīng)用價(jià)值，已經(jīng)提出了一些三維重建方法。這些年來。

基于傳統(tǒng)方法的人臉重建

傳統(tǒng)的3D人臉重建方法通常通過圖像本身表示的信息完成3D人臉重建，例如圖像的視差和相對高度。通過雙目視覺實(shí)現(xiàn)3D重建更為常見。困難在于如何在不同的視角下匹配相應(yīng)的特征。對于此類文章，您可以參考“不同3D面部重建方法的調(diào)查”（鏈接：https：//pdfs.semanticscholar.org/d4b8/8be6ce77164f5eea1ed2b16b985c0670463a.pdf）。

基于模型的面部重建

3D面部重建中有兩種常用的模型，其中一種是通用模型CANDIDE，另一種是3DMM。

在眾多常見型號中，CANDIDE-3最為著名，包括113個(gè)頂點(diǎn)和168個(gè)面。簡單地說，通過修改這些頂點(diǎn)和面，它們的特征與要重建的圖像相匹配。通過整體調(diào)整，面部特征等面部特征盡可能對齊;進(jìn)行局部調(diào)整以使面部的局部細(xì)節(jié)更精確，之后，執(zhí)行頂點(diǎn)插值，并且可以獲得重建的人臉。

該模型的優(yōu)缺點(diǎn)是顯而易見的。模板的頂點(diǎn)數(shù)量太少，重建速度快，但重建精度嚴(yán)重不足，面部細(xì)節(jié)特征重建不好。

入門 3D 人臉一定會(huì)接觸的算法是 3D Morphable Model (3DMM)，這是 1999 年由 Volker Blanz 在《A Morphable Model For The Synthesis Of 3D Faces》一文中提出的一種人臉模型的線性表示，可以將一張 2D 的人臉圖片生成其對應(yīng)的 3D 人臉模型，表示方法為：

其中??和??分別為通過統(tǒng)計(jì)分析 PCA 得到的 shape 和 expression 基，使用 3DMM 模型重建人臉首先需要這兩組基，目前使用較多的是 BFM 基【下載地址】（https://faces.dmi.unibas.ch/bfm/main.php?nav=1-2&id=downloads）【論文地址】（https://ieeexplore.ieee.org/document/5279762）。

那么如何從二維重建三維呢？首先要了解三維模型是如何投影到二維平面的，上文最開始講的相機(jī)模型，把三維模型投影到二維平面可以表示為：

通過使用面部數(shù)據(jù)庫構(gòu)建平均面部變形模型。在給出新的面部圖像之后，將面部圖像與模型匹配，并且修改模型的相應(yīng)參數(shù)以使模型變形直到模型和面部圖像。差異被最小化，紋理被優(yōu)化和調(diào)整以完成面部建模。

一般的2D到3D重建過程使用監(jiān)督方法來處理2D面部關(guān)鍵字和3D頂點(diǎn)的正交投影上的關(guān)鍵點(diǎn)。

基于 CNN 端到端的人臉重建

利用3DMM模型，可以執(zhí)行單個(gè)2D面的3D重建，但是真正的問題是傳統(tǒng)的3DMM重建是迭代擬合過程，其效率低，因此不適合于實(shí)時(shí)3D面。重建。分析3DMM原理，我們需要調(diào)整3DMM的199維參數(shù)（這個(gè)不同的基數(shù)是不同的），為什么不使用CNN回歸基參數(shù)？通過這種方式，我們可以通過網(wǎng)絡(luò)預(yù)測參數(shù)，實(shí)現(xiàn)3DMM的快速重建。

但是有一個(gè)問題，我們?nèi)绾潍@得培訓(xùn)數(shù)據(jù)？為此，大多數(shù)論文選擇使用3DMM線來擬合大量的人臉圖像作為地面實(shí)況，然后將它們發(fā)送到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。雖然這是一個(gè)病態(tài)的問題，但效果還不錯(cuò)。本文將介紹幾種易于理解的CNN端到端3D人臉重建方法。

《Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition 》

本文使用CNN返回Identity Shape和Residual Shape參數(shù)。表達(dá)式類似于3DMM。不同之處在于，除了普通的重建損失（通常是元素方式的L2損失）之外，還增加了識別損失以確保重建的面部。ID特征不變。

《End-to-end 3D face reconstruction with deep neural networks》

本文的思想也是返回3DMM參數(shù)。作者認(rèn)為，高級語義特征可以表示ID信息，而中間層特征可以表示表達(dá)特征，因此可以從不同層次返回相應(yīng)的參數(shù)來實(shí)現(xiàn)3D人臉重建任務(wù)。

《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network 》

另一種常見的端到端3D人臉重建方法是位置回歸網(wǎng)絡(luò)（PRN），強(qiáng)推！（使用開源代碼PRN：https：//github.com/YadiraF/PRNet）。

本文提出了一種用于三維人臉重建和密集人臉對齊的端到端位置回歸網(wǎng)絡(luò)。

作者介紹了UV位置圖，它可以通過2D圖像存儲(chǔ)人臉的3D點(diǎn)云坐標(biāo)。假設(shè)包含65536個(gè)點(diǎn)的3D點(diǎn)云可以通過UV位置圖（每個(gè)像素點(diǎn)）表示為256 * 2563 2D圖像。存儲(chǔ)點(diǎn)云的空間坐標(biāo)，因此可以通過編碼器 - 解碼器網(wǎng)絡(luò)返回原始圖像的UV位置圖來實(shí)現(xiàn)3D面部重建。

通過設(shè)計(jì)不同區(qū)域不同權(quán)重的損失函數(shù)，作者最終實(shí)現(xiàn)了更高精度的人臉重建和密集的關(guān)鍵點(diǎn)對齊。

《3D Dense Face Alignment via Graph Convolution Networks》

上述回歸UV位置圖的方法存在問題。當(dāng)最終的UV圖像映射到3D面網(wǎng)格的圖像時(shí)，會(huì)出現(xiàn)一些條紋。在最近的一些3D面部重建工作中，通過多級回歸3D面部網(wǎng)格也有很好的重建效果。

本文作者逐步增加了網(wǎng)格頂點(diǎn)的回歸，從而完成了多個(gè)監(jiān)督任務(wù)下的最終網(wǎng)格回歸。同時(shí)，采用圖卷積的形式，點(diǎn)之間的映射關(guān)系可以更加必要，最終實(shí)現(xiàn)。良好的重建效果。

3D人臉重建是近年來的熱門話題。每年在各種會(huì)議上有很多文章提出各種3D面部重建程序。但是，從入門的角度來看，掌握上述常用方法將是下一步的研究，將打下良好的基礎(chǔ)。

總結(jié)

以上是生活随笔為你收集整理的3D人脸识别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。