??????? 參考，人臉pose檢測算法：https://blog.csdn.net/wishchin/article/details/51554036。

?????? 人臉的Pose檢測需要一個 SolvePNP 的過程，對于固定三維點集模型，找出二維點集對應的位姿。此外，在track時使用點集尋找一個最優的位姿起始，應該給出一個好的起始點。或者，人臉pose檢測只需要人臉對齊，同時找到二維人臉的平面即可。

?????? 參考總結：https://www.jianshu.com/p/e4b9317a817f。MTCNN的廣泛應用，提出了一種新的聯合人臉檢測和對齊的級聯CNN框架，相對于DPM傳統方法是一個更為稀疏的模型，為實時性能精心設計了輕量級的網絡結構，在移動設備上也可以達到實時的效果。github：https://github.com/imistyrain/MTCNN 。MTCNN默認提供五個關鍵點的檢測和對齊過程。三維恢復需要更多的點的對齊過程。

?

?????? 基于CNN的稠密2d對齊：人臉的關鍵點具有顯著性，利用CNN方法可以提取類似角點的顯著性，通過增大網絡結構，可以提高特征點的提取個數，并對特征進行描述匹配，進而可應用于Align。DCNN(Deep Convolutional Network Cascade for Facial Point Detection),CVPR2013 香港中文大學湯曉歐，SunYi等人作品，首次將CNN用于人臉關鍵點檢測。總體思想是由粗到細，實現5個人臉關鍵點的精確定位。網絡結構分為3層：level 1、level 2、level 3。每層都包含多個獨立的CNN模型，負責預測部分或全部關鍵點位置，在此基礎上平均來得到該層最終的預測結果。

此外，可以使用更為普通的，從底向上的特征點提取CNN方法。

?

???? 基于CNN的稠密3d對齊：Face Alignment Across Large Poses: A 3D Solution(3DDFA2015)，解決大姿態下人臉特征點不可見的問題，本文提出了將3D稠密人臉模型而不是稀疏的特征點形狀擬合到人臉圖片上。通過加入3D信息，可以解決由3D變換導致的外觀變化和自遮擋問題。2).為了解決3DDFA擬合過程，本文使用一個基于回歸的級聯卷積神經網絡，CNN可以從大姿態變化的圖片中抽取有用的信息。另外本文為了CNN更好的擬合3D人臉模型，專門設計了PNCC特征（Projected Normalized Coordinate Code）和WPDC(Weighted Parameter Distance Cost)代價函數。3).為了更好的訓練3DDFA，文章會構建了一個包含成對的2D人臉形狀和3D人臉模型。

??????? 一份Pytorch版本復現的3DDFA：https://github.com/cleardusk/3DDFA。

?

???? 基于CNN的稠密重建：人臉對齊算法PRNet-(Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network)，代碼鏈接：https://github.com/YadiraF/PRNet 。主要思想：提出了一個簡單的方法，同時重建三維面部結構，并提供密集的對齊。為了實現這一目標，設計了一種稱為UV位置圖的二維表示方法，該方法在UV空間中記錄完整人臉的3D形狀，然后訓練一個簡單的卷積神經網絡將其從單個2D圖像中回歸。在訓練過程中，還將一個權重掩碼集成到損失函數中，以提高網絡的性能。本文的方法不依賴于任何先驗人臉模型，可以在語義的同時重建完整的人臉幾何。同時，網絡本身很輕，處理圖像的時間只有9.8毫秒，這比以前的作品要快得多。在多個具有挑戰性的數據集上的實驗表明，論文提出的方法在重建和對齊任務上都大大超過了其它最先進的方法。

主要貢獻：1、 第一次以端到端的方式解決了人臉對齊和三維人臉的問題，使其一起完成，而且不受低維解空間的限制。2、 為了直接回歸三維面部結構和密集排列，開發了一種新的表示方法，稱為UV位置圖，它記錄了三維人臉的位置信息，并與UV空間上每個點的語義緊密對應。3、 為了訓練，提出了一個權重掩碼，它將不同的權重分配給位置圖上的每個點并計算加權損失。論文展示這個設計有助于提高網絡的性能。4、 最終提供了一個運行速度超過100FPS的輕量級框架直接從單個二維圖像中獲得三維人臉重建和對齊結果面部圖像。

UVmap

主要結構：

實驗結果：構建：基于TensorFlow

?

總結

以上是生活随笔為你收集整理的RPNet++：人脸对齐faceAlignment和基于CNN的三维人脸恢复的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。