??????? 參考，人臉pose檢測算法：https://blog.csdn.net/wishchin/article/details/51554036。

?????? 人臉的Pose檢測需要一個 SolvePNP 的過程，對于固定三維點集模型，找出二維點集對應(yīng)的位姿。此外，在track時使用點集尋找一個最優(yōu)的位姿起始，應(yīng)該給出一個好的起始點。或者，人臉pose檢測只需要人臉對齊，同時找到二維人臉的平面即可。

?????? 參考總結(jié)：https://www.jianshu.com/p/e4b9317a817f。MTCNN的廣泛應(yīng)用，提出了一種新的聯(lián)合人臉檢測和對齊的級聯(lián)CNN框架，相對于DPM傳統(tǒng)方法是一個更為稀疏的模型，為實時性能精心設(shè)計了輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，在移動設(shè)備上也可以達(dá)到實時的效果。github：https://github.com/imistyrain/MTCNN 。MTCNN默認(rèn)提供五個關(guān)鍵點的檢測和對齊過程。三維恢復(fù)需要更多的點的對齊過程。

?

?????? 基于CNN的稠密2d對齊：人臉的關(guān)鍵點具有顯著性，利用CNN方法可以提取類似角點的顯著性，通過增大網(wǎng)絡(luò)結(jié)構(gòu)，可以提高特征點的提取個數(shù)，并對特征進(jìn)行描述匹配，進(jìn)而可應(yīng)用于Align。DCNN(Deep Convolutional Network Cascade for Facial Point Detection),CVPR2013 香港中文大學(xué)湯曉歐，SunYi等人作品，首次將CNN用于人臉關(guān)鍵點檢測。總體思想是由粗到細(xì)，實現(xiàn)5個人臉關(guān)鍵點的精確定位。網(wǎng)絡(luò)結(jié)構(gòu)分為3層：level 1、level 2、level 3。每層都包含多個獨立的CNN模型，負(fù)責(zé)預(yù)測部分或全部關(guān)鍵點位置，在此基礎(chǔ)上平均來得到該層最終的預(yù)測結(jié)果。

此外，可以使用更為普通的，從底向上的特征點提取CNN方法。

?

???? 基于CNN的稠密3d對齊：Face Alignment Across Large Poses: A 3D Solution(3DDFA2015)，解決大姿態(tài)下人臉特征點不可見的問題，本文提出了將3D稠密人臉模型而不是稀疏的特征點形狀擬合到人臉圖片上。通過加入3D信息，可以解決由3D變換導(dǎo)致的外觀變化和自遮擋問題。2).為了解決3DDFA擬合過程，本文使用一個基于回歸的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，CNN可以從大姿態(tài)變化的圖片中抽取有用的信息。另外本文為了CNN更好的擬合3D人臉模型，專門設(shè)計了PNCC特征（Projected Normalized Coordinate Code）和WPDC(Weighted Parameter Distance Cost)代價函數(shù)。3).為了更好的訓(xùn)練3DDFA，文章會構(gòu)建了一個包含成對的2D人臉形狀和3D人臉模型。

??????? 一份Pytorch版本復(fù)現(xiàn)的3DDFA：https://github.com/cleardusk/3DDFA。

?

???? 基于CNN的稠密重建：人臉對齊算法PRNet-(Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network)，代碼鏈接：https://github.com/YadiraF/PRNet 。主要思想：提出了一個簡單的方法，同時重建三維面部結(jié)構(gòu)，并提供密集的對齊。為了實現(xiàn)這一目標(biāo)，設(shè)計了一種稱為UV位置圖的二維表示方法，該方法在UV空間中記錄完整人臉的3D形狀，然后訓(xùn)練一個簡單的卷積神經(jīng)網(wǎng)絡(luò)將其從單個2D圖像中回歸。在訓(xùn)練過程中，還將一個權(quán)重掩碼集成到損失函數(shù)中，以提高網(wǎng)絡(luò)的性能。本文的方法不依賴于任何先驗人臉模型，可以在語義的同時重建完整的人臉幾何。同時，網(wǎng)絡(luò)本身很輕，處理圖像的時間只有9.8毫秒，這比以前的作品要快得多。在多個具有挑戰(zhàn)性的數(shù)據(jù)集上的實驗表明，論文提出的方法在重建和對齊任務(wù)上都大大超過了其它最先進(jìn)的方法。

主要貢獻(xiàn)：1、 第一次以端到端的方式解決了人臉對齊和三維人臉的問題，使其一起完成，而且不受低維解空間的限制。2、 為了直接回歸三維面部結(jié)構(gòu)和密集排列，開發(fā)了一種新的表示方法，稱為UV位置圖，它記錄了三維人臉的位置信息，并與UV空間上每個點的語義緊密對應(yīng)。3、 為了訓(xùn)練，提出了一個權(quán)重掩碼，它將不同的權(quán)重分配給位置圖上的每個點并計算加權(quán)損失。論文展示這個設(shè)計有助于提高網(wǎng)絡(luò)的性能。4、 最終提供了一個運行速度超過100FPS的輕量級框架直接從單個二維圖像中獲得三維人臉重建和對齊結(jié)果面部圖像。

UVmap

主要結(jié)構(gòu)：

實驗結(jié)果：構(gòu)建：基于TensorFlow

?

總結(jié)

以上是生活随笔為你收集整理的RPNet++：人脸对齐faceAlignment和基于CNN的三维人脸恢复的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。