cvpr2022 code and paper

背景

現有的stylegan finetuning的人物風格化方法，基本上是將source domain變換到target domain，這要求target domain至少上百張質量較高的樣本，并且只能實現一種風格化。

DualStyleGAN在stylegan-ffhq的基礎上，同樣是finetuning，但是增加了condition，引入dual style path以及有效的監督，使得可以利用風格模板，生成符合模板風格的人臉圖像。

Method

DualStyleGAN整體分成2個大的部分：

• 原始的stylegan，其中mapping network成為intrinsic style path，指的是真實人臉的風格
• Extrinsic style path：控制風格

除此之外，還有一個Encoder，用于提取指定的真實或者風格圖像的code $\in R^{18\times 512}$，
extrinsic style path還有ModRes，Ts, Tc這3類模塊，每個模塊的作用后面再說。
原始的stylegan在整個訓練過程中都是fixed，存在參數更新優化的只有橘色的部分。

intrinsic style path接受3種輸入：

• 正太分布隨機采樣的z
• 風格圖用E提取出來的latent code $z_i^{+}$
• 真實圖用E提取出來的latent code $z^{+}$

Extrinsic style path有兩種輸入：

• 風格圖用E提取出來的latent code $z_e^{+}$，捕捉語義信息，比如風格圖的頭發顏色，臉型等
• 從高斯噪聲中采樣的z，通過N映射得到的code

生成圖像的過程如下：
$$\begin{gathered} G(E(I),E(S),w) \\ G(z1,N(z2),w) \end{gathered}$$
$w\in R^{18}$是控制兩路style的混合權重，默認為1，當w為0是，模型就退化為原始的stylegan ffhq。

dualstylegan的Extrinsic style path得到code有兩個：

• structure code
• color code

color作用于8-18層，用于控制細粒度的風格
structure code組用于前7層，控制shape等粗粒度的風格。

color transfer

mapping network得到的color code，經過一個$T_c$模塊（參與訓練的FC層），得到的均值方差會和stylegan原始的intrinsic style code按照比例混合。

structure control

在粗分辨率層（1-7），使用modulative residual blocks去調整stylegan的卷積特征，本質上是一個帶有adain的ResBlock。這里的設計思想是從無監督finetuning式風格化方法中總結得到。

toonify的成功，是在target domain上的finetuning。但在finetuning前后，兩種模型共享隱空間。繼而可以推測FT前的特征和FT后的特征其實是相關。而且FT之后，模型權重也改變了。因此作者認為，可以通過讓特征變化來模擬在FT過程中的權重變化。

因此作者使用了ResBlock，模擬FT之前的特征變化，這樣既可以在訓練初期，不改變特征空間，使得預訓練模型有效；還能在訓練過程中讓domain遷移。

訓練方式

作者使用了3階段訓練法，使用課程學習逐漸加大訓練的難度，讓pretrain模型更加穩定完成domain遷移。

stage 1： color transfer on source domain

先將modelRes的權重設置為0，這樣殘差為0，其實不改變原來的特征，不影響預訓練模型的FT穩定性。$T_c$ 的權重初始化為單位陣，所以不改變原來的FFHQ的latent code。這樣，第一階段的訓練，其實和帶有style mixing的標準訓練沒有區別。
從上圖可以看出，第一階段的FT結果，仍保留了原圖的shape，但是顏色等細節和風格圖一致。

stage 2：structure transfer on source domain

這個stage目的是讓dualstylegan學習到風格圖的中級風格。
隨機采樣$z1$和$z2$，其中${\tilde{z}}_2$是從$\{z_2,E(g(z_2)\}$采樣，小$g$是stylegan-ffhq（w=0）；$z_l^{+}$是$z1,z2$的stylemixing，$l$是stylemixing的起始層數。$l$會逐漸從7變成5。

$$\underset{G}{\min }\underset{D}{\max }{\lambda }_{\mathrm{a}\mathrm{d}\mathrm{v}}{\mathcal{L}}_{\mathrm{a}\mathrm{d}\mathrm{v}}+{\lambda }_{\text{perc?}}{\mathcal{L}}_{\text{perc?}}\left(G\left({\mathbf{z}}_1,{\tilde{\mathbf{z}}}_2,1\right),g\left({\mathbf{z}}_l^{+}\right)\right)$$
pS:如果沒有這個perception loss，又會如何呢？這個監督有點雞肋的感覺，強行加個監督。
PS：而且為啥要用$g\left({\mathbf{z}}_l^{+}\right)$作為vgg loss的gt。因為g是原始ffhq的生成器，這是要讓模型再次生成真實人臉嗎？

stage3：style transfer on target domain

前兩個stage都算是在source domain的遷移，他們的效果仍然保留了真實的特征，只是顏色等微觀屬性傾向于是風格圖。stage3就要將模型想domain遷移了。
首先，用風格圖S的兩路style code重構S：
$${\mathcal{L}}_{\text{perc?}}\left(G\left({\mathbf{z}}_i^{+},{\mathbf{z}}_e^{+},1\right),S\right)$$
然后，使用style loss，包含content loss和feature matching loss，其中content loss就是ID loss和modelRes正則的和
$${\mathcal{L}}_{\text{sty?}}={\lambda }_{\mathrm{C}\mathrm{X}}{\mathcal{L}}_{\mathrm{C}\mathrm{X}}\left(G\left(\mathbf{z},{\mathbf{z}}_e^{+},1\right),S\right)+{\lambda }_{\mathrm{F}\mathrm{M}}{\mathcal{L}}_{\mathrm{F}\mathrm{M}}\left(G\left(\mathbf{z},{\mathbf{z}}_e^{+},1\right),S\right)$$
$${\mathcal{L}}_{\mathrm{c}\mathrm{o}\mathrm{n}}={\lambda }_{\mathrm{I}\mathrm{D}}{\mathcal{L}}_{\mathrm{I}\mathrm{D}}\left(G\left(\mathbf{z},{\mathbf{z}}_e^{+},1\right),g(\mathbf{z})\right)+{\lambda }_{\mathrm{r}\mathrm{e}\mathrm{g}}\Vert W{\Vert }_2$$

這篇論文還有細節需要深究，文中提到的Destylization的作用、多個z的定義，以及反復使用原始的ffhq的g，為什么這么設計，其實筆者也沒有搞清楚。

其他

總結

以上是生活随笔為你收集整理的Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。