1 論文簡(jiǎn)介

論文題目： U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation
論文代碼：https://github.com/taki0112/UGATIT
論文數(shù)據(jù)集：https://github.com/znxlwm/UGATIT-pytorch
本文以倒序的方式來(lái)介紹這篇論文，首先看效果，然后分析其原理。

2 效果

Figure 2: Visualization of the attention maps and their effects shown in the ablation experiments: (a) Source images, (b) Attention map of the generator, (c-d) Local and global attention maps of the discriminator, respectively. (e) Our results with CAM, (f) Results without CAM.

Figure 3: Comparison of the results using each normalization function: (a) Source images, (b) Our results, ? Results only using IN in decoder with CAM, (d) Results only using LN in decoder with CAM, (e) Results only using AdaIN in decoder with CAM, (f) Results only using GN in decoder with CAM.

3 基本框架

本文提出了一種新的無(wú)監(jiān)督圖像到圖像轉(zhuǎn)換方法，以端到端的方式結(jié)合新的注意力模塊和新的可學(xué)習(xí)歸一化函數(shù)。

• 注意力模塊根據(jù)輔助分類器獲得的注意力圖，引導(dǎo)模型專注于區(qū)分源域和目標(biāo)域的更重要的區(qū)域（幫助模型知道在哪里進(jìn)行密集轉(zhuǎn)換）。 與之前無(wú)法處理域之間幾何變化的基于注意力的方法不同，本文的模型可以轉(zhuǎn)換需要整體變化的圖像和需要大形狀變化的圖像。
• AdaLIN 函數(shù)幫助注意力模型靈活控制形狀和紋理的變化量，而無(wú)需修改模型架構(gòu)或超參數(shù)。
• 實(shí)驗(yàn)結(jié)果表明，與具有固定網(wǎng)絡(luò)架構(gòu)和超參數(shù)的現(xiàn)有最先進(jìn)模型相比，所提出的方法具有優(yōu)越性。

模型分為生成器和判別器兩部分，結(jié)構(gòu)幾乎一致。生成器比判別器多了AdaLIN算法實(shí)現(xiàn)的Decoder模塊。
圖1描述了網(wǎng)絡(luò)結(jié)構(gòu)，以生成器為例，輸入圖像通過(guò)Encoder編碼階段（下采樣+殘差模塊）得到特征圖，然后添加一個(gè)輔助分類引入Attention機(jī)制通過(guò)特征圖的最大池化，經(jīng)過(guò)全連接層輸出一個(gè)節(jié)點(diǎn)的預(yù)測(cè)，然后將這個(gè)全連接層的參數(shù)和特征圖相乘從而得到Attention的特征圖。最后經(jīng)過(guò)Decoder模塊得到輸出圖像。

Figure 1: The model architecture of U-GAT-IT. The detailed notations are described in Section Model

本文的目標(biāo)是訓(xùn)練一個(gè)函數(shù) $G_{s\to t}$，該函數(shù)使用從每個(gè)域中抽取未配對(duì)的樣本將圖像從源域$X_s$ 映射到目標(biāo)域 $X_t$：

• 該框架由兩個(gè)生成器 $G_{s\to t}$和 $G_{t\to s}$ 以及兩個(gè)鑒別器 $D_s$ 和$D_t$ 組成；
• 將注意力模塊集成到生成器和鑒別器中；
• 判別器中的注意力模塊引導(dǎo)生成器關(guān)注對(duì)生成逼真圖像至關(guān)重要的區(qū)域；
• 生成器中的注意力模塊關(guān)注與其他域不同的區(qū)域（判別器注意力模塊已經(jīng)引導(dǎo)生成器聚焦了一個(gè)域，那么生成器的注意力模塊則聚焦其它的域）。

3.1 生成器

在這里，我們只解釋$G_{s\to t}$和 $D_t$（見(jiàn)圖 1），反之亦然。
符號(hào)說(shuō)明：
$x\in \left\{X_s,X_t\right\}$：來(lái)自源域和目標(biāo)域的樣本；
$G_{s\to t}$：包括一個(gè)編碼器$E_s$，一個(gè)解碼器$G_t$，和一個(gè)輔助分類器${\eta }_s$；
${\eta }_s(x)$：表示$x$來(lái)自$X_s$的概率；
$E_s^k(x)$：編碼器的第 $k$ 個(gè)激活映射(map)；
$E_s^{k_{ij}}(x)$：在$(i,j)$上的值；
$w_s^k$：通過(guò)使用全局平均池化和全局最大池化訓(xùn)練輔助分類器以學(xué)習(xí)源域的第$k$ 個(gè)特征圖的權(quán)重，例如：${\eta }_s(x)=\sigma \left({\Sigma }_k{w}_s^k{\Sigma }_{ij}{E}_s^{k_{ij}}(x)\right)$；
利用 $w_s^k$，可以計(jì)算一組特定領(lǐng)域的注意力特征圖：
$a_s(x)=w_s?E_s(x)=\left\{w_s^k?E_s^k(x)\mid 1\le k\le n\right\}$。
$n$：編碼特征圖的數(shù)量。

$$\begin{array}{c}\mathrm{AdaLIN}(a,\gamma ,\beta )=\gamma ?\left(\rho ?\widehat{a_I}+(1?\rho )?\widehat{a_L}\right)+\beta ,\\ \widehat{a_I}=\frac{a?{\mu }_I}{\sqrt{{\sigma }_I^2+?}},\widehat{a_L}=\frac{a?{\mu }_L}{\sqrt{{\sigma }_L^2+?}}\\ \rho \leftarrow {\mathrm{clip}}_{[0,1]}(\rho ?\tau \Delta \rho )\end{array}\text{\hspace{1em}(1)}$$
公式(1)的符號(hào)說(shuō)明：

• $\gamma$和$\beta$由注意力圖的全連接層動(dòng)態(tài)計(jì)算;
• ${\mu }_I$ , ${\mu }_L$ 和${\sigma }_I$, ${\sigma }_L$ 分別是通道方式、層方式均值和標(biāo)準(zhǔn)差;
• $\tau$為學(xué)習(xí)速率;
• $\Delta \rho$ 表示優(yōu)化器確定的參數(shù)更新向量(如梯度);
• $\rho$的值被限制在$[0，1]$的范圍內(nèi)，只需在參數(shù)更新步驟中設(shè)置界限即可；生成器調(diào)整該值，以便在實(shí)例規(guī)范化很重要的任務(wù)中$\rho$的值接近1，而在層歸一化（LN）很重要的任務(wù)中$\rho$的值接近0。在解碼器的殘差塊中，$\rho$的值初始化為1，在解碼器的上采樣塊中，$\rho$的值初始化為0。

公式(1)中最核心的部分是：
$$\begin{array}{c}\rho ?IN+(1?\rho )?LN\\ \widehat{a_I}=\frac{a?{\mu }_I}{\sqrt{{\sigma }_I^2+?}}\\ \widehat{a_L}=\frac{a?{\mu }_L}{\sqrt{{\sigma }_L^2+?}}\end{array}\text{\hspace{1em}(2)}$$

• 層歸一化（Layer Norm，LN）：通道（channel）方向做歸一化，算CHW（通道、高、寬）的均值，主要對(duì)RNN作用明顯；更多的考慮輸入特征通道之間的相關(guān)性，LN比IN風(fēng)格轉(zhuǎn)換更徹底，但是語(yǔ)義信息保存不足；
• 實(shí)例歸一化（Instance Norm，IN）：一個(gè)通道（channel）內(nèi)做歸一化，算H*W的均值，用在風(fēng)格化遷移；因?yàn)樵趫D像風(fēng)格化中，生成結(jié)果主要依賴于某個(gè)圖像實(shí)例，所以對(duì)整個(gè)batch歸一化不適合圖像風(fēng)格化中，因而對(duì)HW做歸一化。可以加速模型收斂，并且保持每個(gè)圖像實(shí)例之間的獨(dú)立；更多考慮單個(gè)特征通道的內(nèi)容，IN比LN更好的保存原圖像的語(yǔ)義信息，但是風(fēng)格轉(zhuǎn)換不徹底。

3.2 判別器

3.3 損失函數(shù)

模型包括四個(gè)損失函數(shù)：

• 對(duì)抗損失：$L_{lsgan}^{s\to t}=\left({\mathbb{E}}_{x～X_t}\left[{\left(D_t(x)\right)}^2\right]+{\mathbb{E}}_{x～X_s}\left[{\left(1?D_t\left(G_{s\to t}(x)\right)\right)}^2\right]\right)$，保證風(fēng)格遷移圖像的分布與目標(biāo)圖像分布相匹配；
• 循環(huán)損失：$L_{\text{cycle?}}^{s\to t}={\mathrm{E}}_{x～X_s}\left[\Vert x?G_{t\to s}\left(G_{s\to t}(x)\right)\right){\Vert }_1]$，保證一個(gè)圖像$x\in X_s$，在從$X_s$到$X_t$，$X_t$到$X_s$一系列轉(zhuǎn)化后，該圖像能成功的轉(zhuǎn)化回原始域；
• 一致性損失：$L_{\text{identity?}}^{s\to t}={\mathrm{E}}_{x～Xt}\left[{\Vert x?G_{s\to t}(x)\Vert }_1\right]$，保證輸入圖像與輸出圖像的顏色分布相似，給定一個(gè)圖像$x\in X_t$，在使用$G_{s\to t}$翻譯之后，圖像不應(yīng)該改變；
• 分類激活映射損失：$\begin{array}{l}{L}_{cam}^{s\to t}=?({\mathrm{E}}_{x～X_s}\left[\log \left({\eta }_s(x)\right)\right]+{\mathrm{E}}_{x～X_t}\left[\log \left(1?{\eta }_s(x)\right)\right]\\ L_{cam}^{Dt}={\mathrm{E}}_{x～X_t}\left[{\left({\eta }_{Dt}(x)\right)}^2\right]+{\mathrm{E}}_{x～X_s}[\left(1?{\eta }_{Dt}{\left(G_{s\to t}(x)\right)}^2\right]\end{array}$，輔助分類器${\eta }_s$和${\eta }_{D_t}$帶來(lái)的損失。

最后，聯(lián)合訓(xùn)練編碼器、解碼器、判別器和輔助分類器以優(yōu)化最終目標(biāo)函數(shù)：
$$\underset{G_{s\to t},G_{t\to s},{\eta }_s,{\eta }_t}{\min }\underset{D_s,D_t,{\eta }_{D_s},{\eta }_{D_t}}{\max }{\lambda }_1{L}_{\text{lsgan?}}+{\lambda }_2{L}_{\text{cycle?}}+{\lambda }_3{L}_{\text{identity?}}+{\lambda }_4{L}_{\text{cam?}}$$
其中${\lambda }_1=1,{\lambda }_2=10,{\lambda }_3=10,{\lambda }_4=1000$， $L_{\text{lsgan?}}=L_{\text{lsgan?}}^{s\to t}+L_{\text{lsgan?}}^{t\to s},L_{\text{cycle?}}=L_{\text{cycle?}}^{s\to t}+L_{\text{cycle?}}^{t\to s},L_{\text{identity?}}=L_{\text{dentity?}}^{s\to t}+L_{\text{identity?}}^{t\to s},L_{\text{cam?}}=L_{\text{cam?}}^{s\to t}+L_{\text{cam?}}^{t\to s}$。

總結(jié)

以上是生活随笔為你收集整理的风格迁移--U-GAT-IT模型(ICLR 2020)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。