作者｜機器之心編輯部

?來源｜機器之心

人臉復原 (Face Restoration) 是指從低質量的人臉中復原得到高清的人臉。真實世界中的人臉復原是一個很有挑戰的任務，因為降質 (degradation) 過程復雜且不盡相同。來自騰訊 PCG 應用研究中心 (ARC) 的研究者們提出了利用預先訓練好的人臉生成模型提供的先驗，來指導人臉復原的任務。

真實世界的人臉復原是一個盲問題，即我們不清楚降質過程, 在實際應用中，同時也面臨著各種各樣降質過程的挑戰。對于人臉這個特定的任務, 之前的工作往往會探索人臉特定的先驗, 并且取得了較好的效果。常見的人臉先驗有兩類：

• 幾何人臉先驗, 比如人臉關鍵點、人臉分割圖、人臉熱力圖。然而從低質量的圖片中很難取得比較準確的幾何信息。此外, 它們很難提供紋理方面的信息。

• 參考圖，即從數據庫中取得相同或者相似的人臉作為參考 (Reference) 來復原。但是這樣的高質量的參考圖在實際中很難獲取。ECCV20 提出的 DFDNet 工作進一步構建了一個人臉五官的字典來作為參考, 它可以取得更好的效果, 但是會受限于字典的容量, 而且只考慮了五官, 沒有考慮整個臉。

與此同時, 生成對抗網絡 GAN 的蓬勃發展, 特別是 StyleGAN2 能夠生成足夠以假亂真的人臉圖像給來自騰訊 PCG 應用研究中心 (ARC) 的研究者們提供了一個思路: 是否可以利用包含在人臉生成模型里面的「知識」來幫助人臉復原呢?

論文地址:?

https://arxiv.org/abs/2101.04061?

研究核心利用了包含在訓練好的人臉生成模型里的「知識」, 被稱之為生成人臉先驗 (Generative Facial Prior, GFP)。它不僅包含了豐富的五官細節, 還有人臉顏色, 此外它能夠把人臉當作一個整體來對待, 能夠處理頭發、耳朵、面部輪廓。基于預訓練好的生成模型, 研究者們提出了利用生成人臉先驗 GFP 的人臉復原模型 GFP-GAN。先來看看它做到的效果:

?

相比于近幾年其他人臉復原的工作, GFP-GAN 不僅在五官恢復上取得了更好的細節, 整體也更加自然, 同時也能夠對顏色有一定的增強作用。

研究方法

首先來看 StyleGAN2 生成模型，它從一個可學習的常數向量開始, 不斷地提高分辨率。其中的 latent code 向量用來調制 (Modulate) 各個卷積層的權重，最后生成真實且多樣的人臉。

GFPGAN

下圖是該研究的主要框架, 輸入一張低質量的人臉, 首先經過 UNet 結構, 在這里有復原 loss 的 L1 約束 (灰色箭頭)，用以粗略地去除 degradations, 比如噪聲、模糊、JPEG 等。同時更重要的是, 得到提取的 latent 特征向量 (綠色箭頭) 和空間特征 (黃色箭頭)。

?

在人臉復原中, 與其他工作不同, 僅僅通過調制 StyleGAN 的 latent codes, 因為沒有考慮局部的空間信息會極大影響人臉的 identity。因此也要利用空間的特征來調制 StyleGAN 里面的特征。

GFP-GAN 基于現有的高效的空間特征變換 (Spatial Feature Transform，SFT) 層來達到這個目的。它能夠根據輸入的條件(這里是提取的低質量的圖像特征), 生成乘性特征和加性特征，對 StyleGAN 的特征做仿射變換。為了進一步平衡輸入圖像的信息和 StyleGAN 中的信息, GFP-GAN 進一步將通道拆分為兩部分, 一部分用來調制, 一部分直接跳躍過去。這樣的調制會在由小到大的每個空間尺度上進行, 提高調制的效果。

損失函數

除了一般的 L1 和 Perceptual 復原損失函數外, GFP-GAN 的訓練還使用了：

• 全局的 Discriminator, 判斷人臉是否是真實的；

• 人臉五官的 Discriminators, 用來判斷局部的人臉五官是否清晰, GFP-GAN 還考慮了紋理細節多且較難恢復的左右眼睛和牙齒；

• 為了保持人臉 identity 的一致, 使用了人臉 identity 一致損失函數, 即在人臉識別模型的特征空間中去拉近。

訓練數據

和之前大部分工作類似，GFP-GAN 采用了 Synthetic 數據的訓練方式。研究者們發現在合理范圍的 Synthetic 數據上訓練, 能夠涵蓋大部分的實際中的人臉。GFP-GAN 的訓練采用了經典的降質模型, 即先高斯模糊, 再降采樣, 然后加噪聲, 最后使用 JPEG 壓縮。

?

實驗結果

研究者們首先在 CelebA-Test 上做了測試：

在 Synthetic 的量化指標上, 該研究提出的方法在 LPIPS、FID、 NIQE 都能夠取得最好的結果，Deg. 是指人臉識別模型 ArcFace 的 Cosine 距離, 較小的值, 說明 identity 也保持的很好。?

?

研究者們收集了多個不同來源的真實世界的人臉測試集, 都取得了不錯的視覺效果。

?

在實際人臉測試指標上, GFP-GAN 也具有較好的 FID 和 NIQE：

??

研究者們還做了對比實驗, 說明 CS-SFT、GFP、 pyramid loss 以及針對五官的 component loss 帶來的效果提升。

當然, 現實世界的人臉多種多樣, 降質模型也非常復雜, 即使 GFP-GAN 取得了很好的效果, ?但也存在局限性。感興趣的讀者可以閱讀論文原文了解更多實驗細節。

研究團隊

該方法是由騰訊 PCG 應用研究中心（ARC）的研究者提出的。應用研究中心被稱為騰訊 PCG 的「偵察兵」、「特種兵」，站在騰訊探索挑戰智能媒體相關前沿技術的第一線。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的CVPR 2021 | 五官复原效果惊艳，腾讯ARC利用GAN人脸先验来解决的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。