?PaperWeekly ·?作者｜周航、劉吉豪

學校｜香港中文大學、商湯科技

前言

這篇論文既異于傳統、擺脫監督、從全新角度看待人臉旋轉問題，又方法極簡、模塊原始、效果上還有較大提升空間。終究能幸運地受到 reviewer 和 AC 的青睞，也肯定了文章的貢獻。雖然文章簡樸又不完美，但正因此才留下了更多的想象和空間。

論文標題：Rotate-and-Render: Unsupervised Photorealistic Face Rotationfrom Single-View Images

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/2003.08124

代碼鏈接：https://github.com/Hangz-nju-cuhk/Rotate-and-Render

核心思想概括

人臉旋轉問題的本質是恢復被遮擋部分人臉的結構和紋理，而現有的方法多基于同一人臉的多視角數據訓練進行直接的新視角生成，從而導致了各種問題。

本文的核心就是通過單張圖像和 3D 人臉建模，渲染從任意角度旋轉到當前角度的帶遮擋偽影和瑕疵的人臉，從而和原圖構建訓練數據對。其構造過程用到了兩次人臉紋理獲取，三維空間旋轉和渲染。

整個工作值得大家引用的亮點在于：

• 無監督（自監督）的人臉旋轉框架，擺脫多視角數據

• 大數據集 MegaFace 的人臉識別效果提升

• 一鍵可跑的開源代碼

背景介紹

近年來由于 GAN 的出現，人臉旋轉（轉正）任務取得了快速進展，但是現有方法主要依賴對同一人的多視角數據。一個簡單的例子就是如圖基于 GAN 的經典人臉轉正論文 TP-GAN [1] 的訓練框架，將側臉的圖片作為網絡輸入并將正臉圖像當做生成模型的監督。

▲ 傳統人臉轉正pipeline

這一訓練方式的一大障礙是對高質量的多視角配對訓練數據的依賴。因此，它們的生成結果受到數據量以及數據分布的限制，從而會造成對特定數據的過擬合（見下圖中一些以往方法的結果，會生成 Multi-PIE 數據藍色的濾鏡和背景）。

▲ 和 GAN-based 方法對比結果

而本文方法的出發點就是擺脫多視角的監督，從而解決由于多視角監督帶來的 domain?泛化能力問題。在本文中，我們提出一種新穎的無監督框架，利用三維人臉建模，通過反復的旋轉和渲染操作構建自監督，并用一個普通的 Pix2Pix 生成最終圖像。

該框架不依賴于同一人的多視角圖像，就可以生成其他視角的高質量圖像，并且框架適用于各個非限定的場景。我們做了大量的實驗來驗證我們的方法的性能。此外，我們發現將生成的數據用于人臉識別模型的訓練，對于人臉識別的性能也有顯著提升。

方法

文章提出的無監督框架如下圖所示：

整個框架主要包含三個模塊，三維人臉重建模塊，通過旋轉和渲染構建訓練數據的 Rotate-and-Render 模塊，以及將渲染圖像重建到真實圖像分布的 Render-to-Image 模塊。接下來是沒有公式的細節介紹。

3.1 三維人臉重建模塊

三維人臉重建技術在這里只是作為工具使用，任何傳統或者深度的三維人臉重建方案都可適用，就不多加闡述。簡單來說通過三維重建我們可以獲取整個人臉的結構信息，由若干歸一化的三維頂點坐標組成的矩陣 和姿態信息 。

然后用如下圖（a）所示的簡單人臉紋理獲取方案，就可以給各個頂點注冊一個 rgb 值。而我們使用的渲染方案如下圖（b）所示，就是紋理注冊的逆過程。

3.2 Rotate-and-Render訓練策略

整個訓練數據對的構建如下圖所示：

▲ Rotate-and-Render 訓練數據構建策略

給定一張二維人臉圖片 ，我們通過三維人臉重建模塊得到該人臉的三維模型 ，并將輸入的紋理注冊 到三維模型上。接下來，我們將該模型 ? 在三維空間旋轉并重新渲染為二維圖像，得到該人臉在任意角度 的圖像 ，這一過程被稱為 Rotate-and-Render。

然后我們利用 重新對三維模型獲取人臉紋理 ，并讓 再次通過 Rotate-and-Render 模塊，將 旋轉回原角度并渲染到二維平面，得到 。由此 就產生了人臉從姿態 b 旋轉回輸入姿態，由不可見區域所產生的瑕疵，從而和 形成非常強的自監督，用于訓練生成模型。

3.3 Render-to-Image生成模塊

為了消除在 Rotate-and-Render 過程中的偽影，我們用 Render-to-Image 模塊來生成符合真實圖像分布的圖像。整個模塊如下圖所示:

▲ Render-to-Image網絡輸入和loss

因為網絡結構不是我們的 novelty 所在，我們對生成器的選擇比較隨便，直接使用了 CycleGAN 的 ResBlock 生成器來生成圖像。在訓練過程中，我們則直接借用了 Pix2PixHD 的 loss function，采用 multi-layer discriminator 和 perceptual loss 來訓練鑒別器。

我們分別采用 GAN 的 loss、feature matching loss、perceptual loss 來監督 GAN 的訓練，具體的形式可以參見 paper 或者 code。

實驗結果

在實驗中，我們分別驗證了生成圖像的質量以及生成圖像用于人臉識別的性能的好壞。

4.1 生成圖像的質量對比

下圖是和基于三維重建的方法的對比結果，而和基于 GAN 的方法對比在開頭處。可以看到，無論是對比哪種方法，我們提出的方法生成圖像的質量都是更好的，而且身份信息也得到有效保留。

▲ 與3D方法的對比結果

4.2 生成圖像用于人臉識別

這里不同于一般的論文，我們還將生成的圖像用于數據增強，訓練人臉識別模型。我們在測試數據 LFW、IJB-A、Multi-PIE 和 MegaFace 上分別驗證了我們方法的性能。

值得注意的是，以往的方法局限于多視角圖像的獲取，只有在特定場景的小數據集上（與訓練數據相同 domain）才會有比較好的結果，比如 Multi-PIE。而我們提出的方法則沒有這種限制，可以應用在各種場景中。我們也是第一個在?MegaFace?這種大數據集上進行人臉旋轉的方法。

如下四個表格分別是在 LFW、IJB-A、Multi-PIE 和 MegaFace 的性能

可以看到，無論在哪種測試集上，我們的方法都取得了最好的結果。

總結

在本篇論文中，我們利用三維人臉先驗的優勢，結合我們提出的 Rotate-and-Render 的模塊，來進行人臉旋轉。方法的關鍵是，利用 Rotate-and-Render 將人臉旋轉兩次回到原始角度，構建自我監督信號。并通過 GAN 將渲染的圖像轉換為真實圖像。通過全面的實驗，論文方法的以下優勢得到驗證:

不需要多視圖或者成對的數據，就可以進行訓練，這是大部分現有方法無法實現的。

不僅僅可以將人臉旋轉到正面，我們的方法可以旋轉到任意角度。

大量的可視化表明，我們的方法可以生成逼真的旋轉圖像，保留原有的紋理細節以及光照等。

將生成的圖像用于訓練人臉識別模型，可以提高人臉識別的性能。

文末討論

這里作者也無保留地介紹本文的缺陷。首先文章依賴于現有的三維人臉建模工具，所以不準確的建模會影響生成人物的 ID。同時由于 Render-to-Image 的網絡模型選擇隨意，無法處理較高分辨率的圖像，所以生成結果也許未及本次 CVPR 的平均水準（笑）。

但是因為文章的重點是突出無監督的框架，所以希望把這些可能地改進方向作為整個方向后續可能的未來工作。

更多的細節還請大家參見原文和代碼。本文的代碼已經開源。在本次 CVPR 中的展示網址如下：

http://cvpr20.com/event/rotate-and-render-unsupervised-photorealistic-face-rotation-from-single-view-images/

參考文獻

[1] Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis. ICCV 2017.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的CVPR 2020 | 反传统的无监督人脸旋转方案：旋转-渲染的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。