CycleGAN

1、四個問題

要解決什么問題？

• 圖像翻譯任務（image-to-image translation problems），域轉換任務。

用了什么方法解決？

• 提出了CycleGAN的網絡結構。
• 目的是：通過使用一組對抗損失，學習到一個映射$G:X\to Y$，使得生成的樣本$G(X)$的分布難以跟真實樣本$Y$的分布區分開來。
• 同樣也要保證，通過另一組對抗損失，學習到一個與$G$相反的映射$F:Y\to X$，并能夠保證cycle consistency，即$F(G(X))\approx X$，反之同理。

效果如何？

• 在圖像翻譯、風格轉換、季節轉換等任務上超過之前的模型。
• 能夠使用不成對的數據進行訓練，cycleGAN會自動學習不同域之間的風格特征。

還存在什么問題？

• CycleGAN的訓練重度依賴于數據，如果數據質量不好，或是混入較多錯誤樣本，可能會導致災難性的后果。
• CycleGAN相對難以收斂，直接對映射進行約束訓練的難度較大。

2、論文概述

2.1、基本思路

• 條件對抗生成網絡（CGAN）是圖像翻譯問題的一種通用方案。對于這類網絡來說，不僅僅會學習圖像到圖像的映射關系，還會自適應地學習一個損失函數來訓練這層映射關系。
• CycleGAN思路參考自機器翻譯的研究工作：
  • 在機器翻譯中，語言與語言之間幾乎不存在一一對應關系，可能是多對一也可能是一對多，難以建立標簽。因此就有研究者提出，在語言轉換過程中引入一致性假設，即：英語翻譯為法語，再將其翻譯為英語，要保證兩次翻譯前后的語句盡可能近似。
• 因此，作者提出在圖像翻譯中引入cycle consistency。即假設有從域$X$到域$Y$的映射$G$，又有從域$Y$到域$X$的映射$F$，這兩個映射要滿足前面提到的cycle consistency：
  • 使用映射$G$從域$X$轉到域$Y$，再使用映射$F$從域$Y$映射回域$X$，得到$\hat{X}$，前后要保證L2損失：$\Vert X?\hat{X}{\Vert }_2$盡可能小。
  • 使用映射$F$從域$Y$轉到域$X$，再使用映射$G$從域$X$映射回域$Y$，得到$\hat{Y}$，前后要保證L2損失：$\Vert Y?\hat{Y}{\Vert }_2$盡可能小。
• 在cycle consistency之外加入兩個對抗損失（adversarial loss），構成兩個GAN，最后組合起來就是一個CycleGAN模型。

2.2、方法

• 如圖所示，是一個CycleGAN的基本結構：
• 對抗損失（Adversarial Loss）：
  • CycleGAN實際上可以看做是由兩個單向的GAN組成的。
  • 第一組GAN是：映射$G:X\to Y$和判別器$D_Y$。 損失函數如下：
    • 生成器$G$試著去生成圖像$G(x)$，并使其盡可能類似于$Y$域內的樣本，同時$D_Y$嘗試去區分生成的樣本$G(x)$和真實樣本$y$。$G$試圖去最小化目標函數，而判別器$D$則盡可能地最大化它，如：
  • 第二組GAN與第一組近似，映射關系相反：$F:Y\to X$，以及判別器$D_X$。
    • 與第一組GAN同理，可以構造對抗損失，不做贅述。
    • 優化關系也類似：
• Cycle Consistency Loss：
  • 僅從理論上來說，使用對抗損失來學習映射$G$和$F$，可以分別學習到域$X$和$Y$間的轉換關系。
  • 在學習映射$G$和映射$F$的過程中，其實更近似與在隨機的高維映射函數空間中搜索一組合適的函數。而僅僅依靠對抗損失，往往很難保證學習到有效的映射函數。為了減少在搜索空間中可能的函數選擇，還需要加入額外的映射約束。
  • 由此，作者提出了cycle consistency函數的概念：
    • 作者認為，除了使用原始的對抗損失對映射$G$和映射$F$進行約束之外，這兩個映射函數還需要具有cycle consistency的性質。
    • 對于圖像域$X$的圖像$x$，在轉換到域$Y$后，還要保證能夠轉換回$X$域后能得到原始圖像$x$。$x\to G(x)\to F(G(x))\approx x$，文中稱其為forward cycle consistency。
    • 類似地，對于圖像域$Y$的圖像$y$，在轉換到域$X$后，還要保證能夠轉換回$Y$域后能得到原始圖像$y$。$y\to F(y)\to G(F(y))\approx y$，文中稱其為backward cycle consistency。
    • 公式如下：
• 完整目標函數：
  • $\lambda$控制兩個損失的相對關系。
  • 最終希望得到的最優生成器是：

2.3、效果

• 總體來說，CycleGAN的效果還是很不錯的，論文給出了很多實驗結果，不做贅述了。

3、參考資料

• Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks

總結

以上是生活随笔為你收集整理的论文笔记：CycleGAN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。