CycleGAN

1、四個問題

要解決什么問題？

• 圖像翻譯任務(wù)（image-to-image translation problems），域轉(zhuǎn)換任務(wù)。

用了什么方法解決？

• 提出了CycleGAN的網(wǎng)絡(luò)結(jié)構(gòu)。
• 目的是：通過使用一組對抗損失，學(xué)習(xí)到一個映射$G:X\to Y$，使得生成的樣本$G(X)$的分布難以跟真實(shí)樣本$Y$的分布區(qū)分開來。
• 同樣也要保證，通過另一組對抗損失，學(xué)習(xí)到一個與$G$相反的映射$F:Y\to X$，并能夠保證cycle consistency，即$F(G(X))\approx X$，反之同理。

效果如何？

• 在圖像翻譯、風(fēng)格轉(zhuǎn)換、季節(jié)轉(zhuǎn)換等任務(wù)上超過之前的模型。
• 能夠使用不成對的數(shù)據(jù)進(jìn)行訓(xùn)練，cycleGAN會自動學(xué)習(xí)不同域之間的風(fēng)格特征。

還存在什么問題？

• CycleGAN的訓(xùn)練重度依賴于數(shù)據(jù)，如果數(shù)據(jù)質(zhì)量不好，或是混入較多錯誤樣本，可能會導(dǎo)致災(zāi)難性的后果。
• CycleGAN相對難以收斂，直接對映射進(jìn)行約束訓(xùn)練的難度較大。

2、論文概述

2.1、基本思路

• 條件對抗生成網(wǎng)絡(luò)（CGAN）是圖像翻譯問題的一種通用方案。對于這類網(wǎng)絡(luò)來說，不僅僅會學(xué)習(xí)圖像到圖像的映射關(guān)系，還會自適應(yīng)地學(xué)習(xí)一個損失函數(shù)來訓(xùn)練這層映射關(guān)系。
• CycleGAN思路參考自機(jī)器翻譯的研究工作：
  • 在機(jī)器翻譯中，語言與語言之間幾乎不存在一一對應(yīng)關(guān)系，可能是多對一也可能是一對多，難以建立標(biāo)簽。因此就有研究者提出，在語言轉(zhuǎn)換過程中引入一致性假設(shè)，即：英語翻譯為法語，再將其翻譯為英語，要保證兩次翻譯前后的語句盡可能近似。
• 因此，作者提出在圖像翻譯中引入cycle consistency。即假設(shè)有從域$X$到域$Y$的映射$G$，又有從域$Y$到域$X$的映射$F$，這兩個映射要滿足前面提到的cycle consistency：
  • 使用映射$G$從域$X$轉(zhuǎn)到域$Y$，再使用映射$F$從域$Y$映射回域$X$，得到$\hat{X}$，前后要保證L2損失：$\Vert X?\hat{X}{\Vert }_2$盡可能小。
  • 使用映射$F$從域$Y$轉(zhuǎn)到域$X$，再使用映射$G$從域$X$映射回域$Y$，得到$\hat{Y}$，前后要保證L2損失：$\Vert Y?\hat{Y}{\Vert }_2$盡可能小。
• 在cycle consistency之外加入兩個對抗損失（adversarial loss），構(gòu)成兩個GAN，最后組合起來就是一個CycleGAN模型。

2.2、方法

• 如圖所示，是一個CycleGAN的基本結(jié)構(gòu)：
• 對抗損失（Adversarial Loss）：
  • CycleGAN實(shí)際上可以看做是由兩個單向的GAN組成的。
  • 第一組GAN是：映射$G:X\to Y$和判別器$D_Y$。 損失函數(shù)如下：
    • 生成器$G$試著去生成圖像$G(x)$，并使其盡可能類似于$Y$域內(nèi)的樣本，同時$D_Y$嘗試去區(qū)分生成的樣本$G(x)$和真實(shí)樣本$y$。$G$試圖去最小化目標(biāo)函數(shù)，而判別器$D$則盡可能地最大化它，如：
  • 第二組GAN與第一組近似，映射關(guān)系相反：$F:Y\to X$，以及判別器$D_X$。
    • 與第一組GAN同理，可以構(gòu)造對抗損失，不做贅述。
    • 優(yōu)化關(guān)系也類似：
• Cycle Consistency Loss：
  • 僅從理論上來說，使用對抗損失來學(xué)習(xí)映射$G$和$F$，可以分別學(xué)習(xí)到域$X$和$Y$間的轉(zhuǎn)換關(guān)系。
  • 在學(xué)習(xí)映射$G$和映射$F$的過程中，其實(shí)更近似與在隨機(jī)的高維映射函數(shù)空間中搜索一組合適的函數(shù)。而僅僅依靠對抗損失，往往很難保證學(xué)習(xí)到有效的映射函數(shù)。為了減少在搜索空間中可能的函數(shù)選擇，還需要加入額外的映射約束。
  • 由此，作者提出了cycle consistency函數(shù)的概念：
    • 作者認(rèn)為，除了使用原始的對抗損失對映射$G$和映射$F$進(jìn)行約束之外，這兩個映射函數(shù)還需要具有cycle consistency的性質(zhì)。
    • 對于圖像域$X$的圖像$x$，在轉(zhuǎn)換到域$Y$后，還要保證能夠轉(zhuǎn)換回$X$域后能得到原始圖像$x$。$x\to G(x)\to F(G(x))\approx x$，文中稱其為forward cycle consistency。
    • 類似地，對于圖像域$Y$的圖像$y$，在轉(zhuǎn)換到域$X$后，還要保證能夠轉(zhuǎn)換回$Y$域后能得到原始圖像$y$。$y\to F(y)\to G(F(y))\approx y$，文中稱其為backward cycle consistency。
    • 公式如下：
• 完整目標(biāo)函數(shù)：
  • $\lambda$控制兩個損失的相對關(guān)系。
  • 最終希望得到的最優(yōu)生成器是：

2.3、效果

• 總體來說，CycleGAN的效果還是很不錯的，論文給出了很多實(shí)驗(yàn)結(jié)果，不做贅述了。

3、參考資料

• Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks

總結(jié)

以上是生活随笔為你收集整理的论文笔记：CycleGAN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。