圖1 本方法單獨地或聯立地支持來自圖像和文本域的條件輸入以完成頭發編輯

本文介紹我們在CVPR 2022關于基于文本和參考圖像完成頭發編輯的工作。該工作將文本和參考圖像條件統一在了一個框架內，在單個模型內支持廣泛的圖像和文本作為輸入條件從而完成相應的頭發編輯任務。代碼正在逐步開源，歡迎大家試用。

論文標題: HairCLIP: Design Your Hair by Text and Reference Image

作者單位: 中國科學技術大學，微軟云AI，香港城市大學

錄用信息: CVPR 2022

代碼:?https://github.com/wty-ustc/HairCLIP

論文:?https://arxiv.org/abs/2112.05142

一、針對問題

1. 當前頭發編輯交互方式不夠友好

頭發作為人臉至關重要的組成部分，一直以來得到了學術界與工業界的廣泛關注。近年來，隨著深度學習的發展，許多基于條件生成對抗網絡（GAN）的頭發編輯方法可以產生不錯的編輯效果。但是，這些方法大多使用精心繪制的草圖或遮罩作為圖像到圖像翻譯網絡的輸入從而得到編輯后的結果。然而這種交互方式并不直接也不夠友好。因此，這樣的交互方式極大地限制了這些方法的大規模自動化使用。

2. StyleCLIP為文本驅動的圖像編輯提供了前車之鑒，但其存在諸多不適于高強度“做頭發”的缺點

得益于跨模態視覺和語言表征的發展，基于文本指導的圖像篡改方法已經開始不斷出現。最近，StyleCLIP通過結合StyleGAN強大的圖像合成能力和CLIP驚人的圖像文本表征能力展現了很好的圖像篡改效果。盡管StyleCLIP內在地支持基于文本描述的頭發編輯，但是它存在如下缺點：

對于每個特定的頭發編輯描述，它都需要分別訓練一個映射器，這種方式在實際應用中是非常不靈活的；

由于缺少定制的網絡結構和訓練損失函數設計使得該方法對于發型、發色和其他無關屬性的解耦性比較差；

在實際應用中，一些發型發色是很難用文本描述的。這時，用戶更傾向于使用參考圖像，但是StyleCLIP不支持基于參考圖像的頭發編輯。

二、方法框架

本文利用在大規模人臉數據集上預訓練的StyleGAN作為我們的生成器，整個頭發編輯框架如圖2所示。給定待編輯的真實圖像，我們首先使用StyleGAN inversion方法得到其隱編碼，然后我們的頭發映射器根據隱編碼和條件輸入（發型條件、發色條件）預測隱編碼相應的變化，最后修改后的隱編碼將被送入StyleGAN產生對應的頭發編輯后的圖像。因此，最核心的問題就是學習一個映射器網絡來將輸入的條件解耦地映射到隱編碼的相應變化。我們從網絡結構、損失函數兩個方面來解決這個問題。

圖2 本文提出的跨模態頭發編輯框架的概述圖

1. 網絡結構

• 共享的條件嵌入。為了將文本和圖像條件統一在同一個域內，本文利用CLIP的文本編碼器和圖像編碼器來分別提取它們各自的嵌入，用以作為本文映射器網絡的條件輸入。因為CLIP是在大規模圖像-文本對上訓練過的，所以不管是文本嵌入還是參考圖像嵌入都在同一個共享的隱空間中，因此它們可以被不加區分地送入映射器網絡并且任意切換。

• 解耦的信息注射。因為StyleGAN存在語義分層現象，即StyleGAN中不同的層對應的語義級別不同。我們注意到了這點，在頭發映射器內細分了三個子頭發映射器，對應預測高、中、低語義級別的隱編碼變化。同時，我們顯式地分離了發型信息和發色信息，并根據它們在StyleGAN中對應的語義級別將它們分別喂入不同的子頭發映射器中，這種做法提升了網絡對于發型、發色編輯的解耦能力。

• 調制模塊。本文設計了一個條件調制模塊來完成輸入條件對隱編碼的直接控制。整個調制模塊結構（見圖2）非常簡單，設計思想借鑒于一些經典的條件圖像翻譯工作，這種做法提高了本文的頭發篡改能力。

2. 損失函數

• 文本篡改損失，用于約束編輯后的結果與給定文本描述之間的相似性。不管是發型還是發色我們都是在CLIP的隱空間中度量文本與編輯后結果的余弦相似度。這也是目前CLIP被使用最多的方式，平平無奇。

• 圖像篡改損失，用于指導從參考圖像到目標圖像的發型或發色轉移。對于發型轉移，我們面臨一個挑戰：如何比較好的度量發型之間的相似度？這兒， 我們再次發揮了CLIP的強大本領，將編輯后的圖像與參考圖像的頭發區域均經過CLIP的圖像編碼器嵌入到CLIP的隱空間中進而度量它們間的余弦相似性。得益于我們提出的該訓練損失，我們的方法對待編輯圖像與參考圖像存在嚴重不對齊的情況，也可產生合理的編輯結果。對于發色轉移，我們度量編輯后的圖像與參考圖像頭發區域的平均顏色差異。
  

• 屬性保持損失，用于保持無關屬性（如：身份、背景等）在編輯前后不變。

三、實驗結果

與相關工作的定性對比見圖3、圖4。我們的方法高質量地完成了相應的頭發編輯任務。

圖3 與StyleCLIP、TediGAN就基于文本描述的頭發篡改的定性對比

圖4 與LOHO、MichiGAN就基于參考圖像的頭發篡改的定性對比

四、應用展示

1. 頭發內插

在獲得兩個完成頭發編輯的隱編碼后，我們可以通過將兩個隱編碼進行線性加權的方式完成細粒度的頭發編輯。

圖5 頭發內插結果展示

2.?泛化能力

得益于我們提出的共享條件嵌入策略，我們的網絡在有限的文本訓練后擁有了一定的外推能力，它可以對訓練過程中未出現過的一些文本產生合理的編輯結果。

圖6 對未見過的文本描述的泛化性

3. 支持跨模態的條件輸入

我們的模型支持來自圖像域和參考圖像域的條件以單獨地或聯合地形式作為網絡的輸入，這是目前其他頭發編輯方法無法做到的。

圖7 跨模態條件輸入結果展示

五、總結

本工作第一次證明了CLIP在頭發編輯領域的巨大潛力：不是單一地利用CLIP衡量圖像文本相似度，本工作利用CLIP的強大的共享隱空間完成了對圖像域和文本域的統一與協作促進，探索了CLIP的圖像編碼器對難以表征的事物提供一種相似性度量的手段。雖然本工作聚焦于頭發編輯，但希望它可以對其他相關領域給予一些啟發與思考。

往期精彩回顧適合初學者入門人工智能的路線及資料下載(圖文+視頻)機器學習入門系列下載中國大學慕課《機器學習》（黃海廣主講）機器學習及深度學習筆記等資料打印《統計學習方法》的代碼復現專輯 AI基礎下載機器學習交流qq群955171419，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【深度学习】CVPR 2022 | 百变发型！中科大/微软/港城大提出HairCLIP：基于文本和参考图像的头发编辑方法...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。