Conditional image synthesis with auxiliary classifier GANs

本文介紹了一種新的圖像合成生成對抗網絡(gan)改進訓練方法。我們使用標簽條件作用構建了GANs的一個變體，結果在128 × 128分辨率的圖像樣本中顯示出全局一致性。我們擴展了以往的圖像質量評估工作，提供了兩種新的分析方法來評估分類條件圖像合成模型中的樣本的可辨別性和多樣性。

這些分析表明，高分辨率樣本提供了低分辨率樣本中不存在的類信息。在1000個ImageNet類中，128 × 128個樣本的識別率是人工調整大小的32 × 32樣本的兩倍多。此外，84.7%的班級樣本顯示出可與真實相媲美的多樣性ImageNet數據

1. Introduction

圖1所示。在ImageNet數據集上訓練AC-GAN，得到5類128 × 128分辨率的樣本。請注意，所顯示的類是為了突出模型的成功而選擇的，它們并不具有代表性。文本后面將鏈接所有ImageNet類的示例。

在這項工作中，我們證明了在GAN潛伏空間中加入更多的結構以及專門的成本函數會產生更高質量的樣本。我們展示了來自ImageNet數據集（Russakovsky等人，2015）所有類別的128×128像素的樣本，并增加了global coherence（圖1）。重要的是，我們從數量上證明了我們的高分辨率樣本不只是低分辨率樣本的天真調整。特別是，將我們的128×128的樣本縮小到32×32，導致視覺辨別力下降50%。我們還引入了一個新的度量來評估圖像樣本之間的可變性，并使用這個度量來證明我們合成的圖像與ImageNet中很大一部分(84.7%)類的訓練數據相比具有多樣性。更詳細地說，這項工作首先是:

• 在128x128的空間分辨率下（或任何空間分辨率–見第3節），為所有1000個ImageNet類別展示一個圖像合成模型。

• 衡量一個圖像合成模型實際使用其輸出分辨率的程度（4.1節）。

• 用一個快速、易于計算的指標來衡量GAN中的感知變異性和 "塌陷 "行為（第4.2節）。

• 強調大量的類是導致ImageNet合成對GANs困難的原因，并提供一個明確的解決方案（4.6節）。

• 通過實驗證明，在知覺上表現良好的GAN不是那些記憶少量例子的GAN（第4.3節）。

• 在不使用（Salimans等人，2016）的任何技術的情況下，在CIFAR-10上進行訓練時，實現了SOTA Inception score的技術狀態（第4.4節）。

3. AC-GANs

我們提出一個GAN架構的變種，我們稱之為輔助分類器GAN（或AC-GAN）。在ACGAN中，每一個生成的樣本都有一個相應的類標簽，$c～p_c$，此外還有噪聲z。鑒別器給出了來源的概率分布和類標簽的概率分布，$P(S|X),P(C|X)=D(X)$。目標函數有兩部分：正確來源的對數可能性，$L_S$，和正確類別的對數可能性，$L_C$。

D被訓練為最大化$L_S+L_C$，而G被訓練為最大化$L_C?L_S$。AC-GANs學習一個獨立于類標簽的z的表示（例如（Kingma等人，2014））。

從結構上看，這個模型與現有的模型沒有巨大的區別。然而，對標準GAN公式的這種修改產生了很好的結果，并且似乎穩定了訓練。此外，我們認為ACGAN模型只是這項工作技術貢獻的一部分，還有我們提出的測量模型利用其給定輸出分辨率的程度的方法，測量模型樣本的感知變異性的方法，以及對一個從所有1000個ImageNet類別中創建128×128樣本的圖像生成模型的全面實驗分析。

從結構上看，這個模型與現有的模型沒有巨大的區別。然而，對標準GAN公式的這種修改產生了很好的結果，并且似乎穩定了訓練。此外，我們認為ACGAN模型只是這項工作技術貢獻的一部分，還有我們提出的測量模型利用其給定輸出分辨率的程度的方法，測量模型樣本的perceptual variability的方法，以及對一個從所有1000個ImageNet類別中創建128×128樣本的圖像生成模型的全面實驗分析。

ageNet類別中創建128×128樣本的圖像生成模型的全面實驗分析。

早期的實驗表明，在保持模型不變的情況下增加訓練類的數量會降低模型輸出的質量。AC-GAN模型的結構允許將大數據集按類劃分為子集，并為每個子集訓練一個生成器和判別器。所有ImageNet實驗都是使用100個ac - gan的集合進行的，每個集合都經過10類分割的訓練。

總結

以上是生活随笔為你收集整理的Conditional image synthesis with auxiliary classifier GANs的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。