妝容遷移是指將目標圖上的妝容直接遷移到原圖上的技術。相比傳統貼妝技術，妝容遷移具有極高的自由度，它可以讓用戶不再局限于設計師設計好的妝容，而是可以自主、任意地從真實模特圖中獲取妝容，極大地豐富了妝容的多樣性。此外，妝容遷移技術不僅可以遷移五官妝容信息，還可以對膚色、光影等信息進行整體遷移。目前，基于生成對抗網絡的模型BeautyGAN和PSGAN已經在該領域取得了較好的效果。

今天分享?CVPR 2021 兩篇最新的妝容遷移相關的論文

Lipstick ain't enough: Beyond Color-Matching for In-the-Wild Makeup Transfer

論文/paper：https://arxiv.org/abs/2104.01867

代碼/code：https://github.com/VinAIResearch/CPM

視頻：https://www.bilibili.com/video/BV1954y137MQ/

摘要：

妝容轉移是將參考圖像中的妝容樣式應用于源面部的任務。現實生活中的妝容是多樣的、野性的，不僅涵蓋了色彩的變化，也涵蓋了圖案，比如貼紙、腮紅、珠寶等，然而現有的作品忽略了后者的成分，局限了妝容向色彩操控的轉移，只注重淡妝風格。在這項工作中，我們提出了一個整體的化妝轉移框架，可以處理所有提到的化妝組件。它由一個改進的顏色轉移分支和一個新的模式轉移分支組成，用于學習所有化妝屬性，包括顏色、形狀、紋理和位置。為了訓練和評估這樣一個系統，我們還引入了新的化妝數據集，用于真實和合成的極端化妝。實驗結果表明，我們的框架實現了the state of the art的效果，無論是輕和極端的化妝風格

貢獻：

簡言之，我們的貢獻是：

（1）我們提出了一個結合色彩變換和圖案添加的妝容，并制定了一個全面的化妝轉移方法，適用于光和極端風格

（2） 我們設計了一種新的結構，它有兩個分支用于顏色和圖案的傳遞，并且我們建議在訓練兩個網絡分支時使用UV空間中的扭曲面來消除輸入面在形狀、頭部姿勢和表情方面的差異

（3） 我們引入了新的妝容遷移數據集，其中包含了在以前的數據集中沒有考慮到的極端風格

（4） 我們獲得了state-of-the-art的定量和定性性能。

框架圖

總而言之，我們的方法包括以下三個步驟。首先，將輸入圖像分別轉換為UV紋理貼圖。第二，紋理貼圖被傳遞到兩個平行的分支，用于基于顏色和基于圖案的妝容遷移。第三，通過合并這些分支的輸出來形成妝容遷移紋理，并將該UV紋理映射轉換到圖像空間以獲得最終的輸出。

效果圖

Spatially-invariant Style-codes Controlled Makeup Transfer

論文/paper：http://www.shengfenghe.com/?attachment_id=26109&download=1

代碼/code：https://github.com/makeuptransfer/SCGAN

視頻：

摘要：

未對準的參考圖像進行妝容遷移是具有挑戰性的任務。以前的方法通過計算兩幅圖像之間的像素級對應來克服這一障礙，這種方法不精確且計算量大。在本文中，我們從不同的角度將妝容遷移問題分解為兩步提取-分配過程。為此，我們提出了一種基于風格的可控GAN模型，該模型由三個部分組成，每個部分分別對應于目標風格編碼、人臉特征提取和化妝融合。具體地，特定于部件的樣式編碼器將參考圖像的組件式構圖樣式編碼為中間潛在空間W中的樣式代碼。樣式代碼丟棄空間信息，因此對空間錯位保持不變。另一方面，樣式碼嵌入了組件信息，使得能夠從多個參考中靈活地進行部分補碼編輯，該樣式碼與源標識特征一起集成到一個具有多個AdaIN層的補碼融合解碼器中，以生成最終結果。我們提出的方法通過支持卸妝、陰影可控的補妝轉移和部分特定的補妝轉移（即使在空間錯位較大的情況下），在補妝轉移上表現出極大的靈活性。

貢獻：

我們提出了一個與現有方法相比具有最佳靈活性的全自動妝容遷移模型。通過編輯樣式代碼，無需額外的計算工作，就可以輕松地實現全局/局部色調轉移和去除以及陰影控制。

我們將妝容遷移問題分解為兩步提取-分配過程。提出了一種基于樣式的網絡PSEnc，將化妝樣式映射為組件式樣式代碼。這種設計消除了空間錯位問題。

我們提出的模型即使在源圖像和參考圖像之間存在較大的空間錯位的情況下也能達到最先進的性能。

架構圖

解析：提出的方法（SCGAN）的概述。在（a）中，參考圖像y被分解為三部分。part-specific樣式編碼器提取每個部分的特征，并將其映射到一個分離的樣式潛在空間W。人臉身份編碼器提取源圖像x的人臉身份特征。妝容融合解碼器將樣式碼w與人臉身份特征融合，生成最終結果x?. (b） 顯示PSEnc的映射模塊(c） 是MFDec中裝有AdaIN層的熔合塊。

效果圖

好的，今天的分享就到這里，如果喜歡記得關注我，給我一個三連，感謝

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【论文解读】CVPR 2021 妆容迁移 论文+ 代码 汇总，美得很美得很！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。