title

Cartoon-Stylegan : Fine-Tuning stylegan2 for cartoon face generation

author

Jihye Back

Link

論文地址：here

Code：here

---

Abstract

最近的研究表明，在無(wú)監(jiān)督圖像到圖像轉(zhuǎn)換方面取得了顯著的成功。然而，由于數(shù)據(jù)的不平衡，學(xué)習(xí)各個(gè)領(lǐng)域的聯(lián)合分布仍然具有很大的挑戰(zhàn)性。盡管現(xiàn)有模型可以生成逼真的目標(biāo)圖像，但很難保持源圖像的結(jié)構(gòu)。另外，在多個(gè)領(lǐng)域的大數(shù)據(jù)上訓(xùn)練生成模型需要大量的時(shí)間和計(jì)算機(jī)資源。為了解決這些限制，我提出了一種新穎的圖像到圖像轉(zhuǎn)換方法，該方法通過微調(diào) stylegan2 預(yù)訓(xùn)練模型來(lái)生成目標(biāo)域的圖像。 stylegan2 模型適用于不平衡數(shù)據(jù)集上的無(wú)監(jiān)督圖像到圖像翻譯；它非常穩(wěn)定，可以生成逼真的圖像，甚至在使用簡(jiǎn)單的微調(diào)技術(shù)時(shí)可以從有限的數(shù)據(jù)中正確學(xué)習(xí)。因此，在這個(gè)項(xiàng)目中，我提出了新的方法來(lái)保留源圖像的結(jié)構(gòu)并在目標(biāo)域中生成逼真的圖像。

背景介紹等

本文通過finetune Stylegan2模型，完成圖像到圖像的翻譯，為了使源圖像和目標(biāo)圖像相似，例如制作成對(duì)圖像，提出了兩種方法：

（1）FreezeSG （凍結(jié)style向量和generator的初始blocks）。這個(gè)很簡(jiǎn)單，并且可以令目標(biāo)圖像遵循源圖像的結(jié)構(gòu)。

（2）Structure Loss（減小源generator和目標(biāo)generator之間初始block的距離）。在這種loss訓(xùn)練下的模型加入層交換，效果也十分顯著。

Method

Baseline : StyleGAN2-ADA + FreezeD

這種結(jié)構(gòu)可以生成逼真的圖像，但是它無(wú)法保持源域的結(jié)構(gòu)。

Ours : FreezeSG (Freeze Style vector and Generator)

FreezeG 可以有效地保持源圖像的結(jié)構(gòu)。（凍結(jié)生成器的參數(shù)）

通過各種實(shí)驗(yàn)的結(jié)果，我發(fā)現(xiàn)除了生成器的初始層，樣式向量的初始層對(duì)于保持結(jié)構(gòu)也很重要。 因此，我凍結(jié)了生成器和樣式向量的低分辨率層。

上圖是通過相加style vector不同層，得到的實(shí)驗(yàn)結(jié)果。在Stylegan2中，style vector為n * 18 * 512，上圖可以發(fā)現(xiàn)保留4層后，源圖的結(jié)構(gòu)也能大致留下。所以這也是作者想要凍結(jié)style vector低分辨率層的原因。

Freeze Style vector and Generator

with Layer Swapping

應(yīng)用 LS 時(shí)，FreezeSG 生成的圖像與源圖像的相似度高于使用 FreezeG 或Baseline（FreezeD + ADA）時(shí)的相似度。 然而，由于固定了生成器的低分辨率層的權(quán)重，因此在低分辨率層上進(jìn)行層交換時(shí)很難獲得有意義的結(jié)果。

關(guān)于層交換，作者描述的不多，但是是借鑒于https://arxiv.org/abs/2010.05334這篇文章。原文中的介紹如下：

可以理解為，交換原generator和新generator低分辨率層的權(quán)重。（但目前存在的疑問在：如果通過其他pretrained模型進(jìn)行fintune，凍結(jié)了低分辨率層，不也是相當(dāng)于作了層交換…此處存疑）

Ours : Structure Loss

由于低分辨率層下優(yōu)先確定圖像結(jié)構(gòu)，我將Structure Loss應(yīng)用于低分辨率層的值，以便生成的圖像與源域中的圖像相似。 Structure Loss使得源生成器的 RGB 輸出在訓(xùn)練期間被微調(diào)到與目標(biāo)生成器的 RGB 輸出具有相似的值。

Results

下面來(lái)看一看CartoonGAN生成的效果。

作者還描述了一些利用CartoonGAN做一些應(yīng)用的表現(xiàn)，比如配合StyleCLIP做人臉編輯，又或者在樣式混合階段的表現(xiàn)，此處就不多描述了。

總結(jié)

該篇文章更像是作者的實(shí)驗(yàn)筆記，在實(shí)驗(yàn)過程中驗(yàn)證了記錄下來(lái)的心得體會(huì)。

• 作者在前人的基礎(chǔ)上，加入了凍結(jié)style vector的想法，試驗(yàn)效果良好
• 加入了structure loss，控制新generator生成的圖像更貼近源generator生成的圖像（更相似）
• 加入了Layer swap（合并其他的項(xiàng)目）

總結(jié)

以上是生活随笔為你收集整理的Cartoon-Stylegan2：快来将你的图片漫画风的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。