Tackling the Generative Learning Trilemma with Denoising Diffusion GANs
用Diffusion GANs解決生成學(xué)習(xí)的三難困境
paper：https://arxiv.org/abs/2112.07804
code：https://github.com/NVlabs/denoising-diffusion-gan

Introduction

本文提出了一種結(jié)合Diffusion和GAN的生成模型, 在CIFAR-10數(shù)據(jù)集上能夠比DDPM快2000倍, 同時(shí)與傳統(tǒng)的GAN相比, 又可以生成質(zhì)量相近有具有多樣性的結(jié)果. 作者指出DiffusionGAN是第一個(gè)可以把Diffusion采樣步驟降低到可以被應(yīng)用到實(shí)際當(dāng)中的模型.

本文提出了一種比較貼切的說(shuō)法叫做:生成學(xué)習(xí)的三元悖論(The Generative Learning Trilemma). 現(xiàn)有的各種各樣的生成模型都需要滿足三個(gè)方面的需求:

生成的樣本的質(zhì)量要高 high-quality sampling;

模態(tài)覆蓋率要高/多樣性 mode coverage/diversity;

快速高效的采樣 fast and computational inexpensive
sampling;

如圖所示, 可以直觀的看出, 現(xiàn)有的四大類的生成模型:

GAN可以生成高質(zhì)量的結(jié)果, 同時(shí)可以快速采樣, 但是生成結(jié)果缺乏多樣性, 而且GAN網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定和模式坍塌也是臭名昭著.

VAE和Normalizing Flows可以快速采樣, 而且生成的結(jié)果也有良好的多樣性, 但是生成的質(zhì)量卻比較差.

Diffusion生成的結(jié)果質(zhì)量比較高, 甚至可以超過(guò)GAN, 而且結(jié)果也有良好的多樣性, 但是Diffusion需要幾百甚至幾千步的采樣, 十分緩慢.

Background

Diffusion模型, 包括DDPM模型, 都包含了前向過(guò)程和反向過(guò)程. 而且前向過(guò)程和反向過(guò)程中間數(shù)據(jù)的分布都被建模為了高斯分布.
前向過(guò)程:

反向過(guò)程:

那么, Diffusion模型優(yōu)化的目標(biāo)本質(zhì)上是將前向的真實(shí)的加噪過(guò)程的數(shù)據(jù)分布(true denoising distribution)與反向過(guò)程參數(shù)化之后去噪過(guò)程的數(shù)據(jù)分布(parameterized denoising distribution)對(duì)齊:

注意到這里的形式與之前在介紹DDPM的筆記里邊的兩種形式都不太一樣, 主要區(qū)別在于q的分布的表示形式.
由于 $\mathrm{q}\left({\mathrm{x}}_{\mathrm{t}}\mid {\mathrm{x}}_{\mathrm{t}?1}\right)=\frac{q\left(x_t?1\mid x_t\right)q\left(x_t\right)}{q\left(x_t?1\right)}$ ) , 這兩種形式是等價(jià)的, 而相比之下, 本文這種表示形式更能體現(xiàn)Diffusion模型的本質(zhì). 也就是反向的去噪過(guò)程是在模擬前向過(guò)程所對(duì)應(yīng)的真實(shí)的去噪過(guò)程.

Diffusion模型基于兩個(gè)重要的假設(shè):

去噪過(guò)程的分布(denoising distribution) ${\mathrm{p}}_{\theta }\left({\mathrm{x}}_{\mathrm{t}?1}\mid {\mathrm{x}}_{\mathrm{t}}\right)$ 是高斯分布.

去噪過(guò)程的步數(shù)T是數(shù)百或數(shù)千這個(gè)數(shù)量級(jí)的. 那么自然有如下兩個(gè)問(wèn)題: 1) 去噪過(guò)程的真實(shí)分布是高斯分布嗎?或者在什么條件下是高斯分布? 2) 去噪過(guò)程步數(shù)多是否與這個(gè)高斯分布的假設(shè)有關(guān)?

Denoising Diffusion GANs

3.1 去噪過(guò)程的分布

首先來(lái)看什么時(shí)候真實(shí)的去噪過(guò)程的分布 $\mathrm{q}\left({\mathrm{x}}_{\mathrm{t}?1}\mid {\mathrm{x}}_{\mathrm{t}}\right)$ 是高斯分布. 根據(jù)貝葉斯法則, $q\left(x_{t?1}\mid x_t\right)\propto q\left(x_t\mid x_{t?1}\right)q\left(x_{t?1}\right)$其中前向過(guò)程的分布 $q\left(x_t\mid x_{t?1}\right)$ 服從高斯分布. 那么可以證明在如下兩種情形下, 真實(shí)的去噪過(guò)程的分布服從高斯分布的形式:

當(dāng)步長(zhǎng) ${\beta }_t$ 無(wú)限小的時(shí)候, 這時(shí)候貝葉斯法則中前向過(guò)程的分布 $q\left(x_t\mid x_{t?1}\right)$ 占主導(dǎo)地位, 而不論邊緣分布$q(x_t)$ 是什么形式, 真實(shí)的去噪過(guò)程的分布與前向過(guò)程的形式相同也是高斯分布的形式. 這也就解釋了Diffusion需要大量的采樣步的原因.

當(dāng)數(shù)據(jù)的邊緣分布 $q(x_t)$ 是高斯分布時(shí), 那么真實(shí)的去噪分布自然也是高斯分布的形式. 于是一種直觀的思路就是先將數(shù)據(jù)通過(guò)VAE編碼到高斯分布, 再來(lái)利用Diffusion模型.

但是, 當(dāng)這兩個(gè)條件都不滿足的情況下, 會(huì)是什么樣呢? 作者指出當(dāng)兩個(gè)條件都不滿足時(shí), 真實(shí)的去噪過(guò)程的分布會(huì)更加復(fù)雜和多模態(tài). 并用一維數(shù)據(jù)的分布舉了個(gè)例子:

3.2 Diffusion GANs

為了能在數(shù)據(jù)的邊緣分布不是高斯分布的情況下, 也能減少采樣的步數(shù), 這種情況下既然真實(shí)的去噪過(guò)程的分布 $q(x_{t?1}|x_t)$不再服從高斯分布的形式, 那么將反向過(guò)程的分布 $p_{\theta }(x_{t?1}|x_t)$ 也不再建模為高斯分布的形式, 而是通過(guò)Conditional GAN來(lái)使得兩個(gè)分布對(duì)齊, 而不是顯式地去學(xué)習(xí)高斯分布的均值和方差. 這也就是本文的基本思路.
相應(yīng)的, 優(yōu)化的目標(biāo)也就變成了:

那么GAN包括兩個(gè)部分, 生成器generator G 和判別器 discriminator D . 那么對(duì)于生成器就是 $x_{t?1}=G(x_t,z,t)$ 其中引入的噪聲 z 是為了模型的結(jié)果能有良好的多樣性.

相應(yīng)的, GAN的Discriminator也應(yīng)該與步驟 t 有關(guān), 其輸入除了數(shù)據(jù) $x_t$ 外, 還要包括 t .

但是判別器還需要真實(shí)的去噪分布的數(shù)據(jù), 這個(gè)數(shù)據(jù)怎么得到? 作者在這里進(jìn)行了簡(jiǎn)單的轉(zhuǎn)換.

簡(jiǎn)單的來(lái)表述就是, DDPM為代表的Diffusion模型, 反向過(guò)程是在其去噪的分布是高斯分布的前提下,利用 $x_t$ 來(lái)得到 t ? 1 的均值和方差, 再來(lái)計(jì)算得到 $x_{t?1}$ , 而本文的DiffusionGAN則不再有去噪的分布是高斯分布的假設(shè), 利用 $x_t$ 直接通過(guò)生成器 $G(x_t,z,t)$ 得到 $x_{t?1}$

3.3 一些討論

一個(gè)自然而然的問(wèn)題就是, 為什么不用一步的GAN而要這樣用多步的GAN呢? 這樣做相比一步直接得到結(jié)果的GAN有什么好處呢? 作者給出了如下解釋（歸結(jié)起來(lái)就是一句話, 多步的GAN比一步的GAN訓(xùn)練更穩(wěn)定, 而且模態(tài)覆蓋更充分, 結(jié)果多樣性更好.）:

傳統(tǒng)的一步到位的GAN, 訓(xùn)練不穩(wěn)定而且容易模式坍塌, GAN的判別器也容易過(guò)擬合, 而且直接從高斯分布的噪聲一步得到復(fù)雜的數(shù)據(jù)分布本身就是很困難的.

相比之下, 將生成的過(guò)程拆分成多步的, 每一步對(duì)于模型來(lái)說(shuō)相對(duì)簡(jiǎn)單, 因?yàn)槊恳徊降纳墒窃谏弦徊浇Y(jié)果 $x_t$ 的條件下生成的. 而且diffusion process中, 數(shù)據(jù)的分布更平滑, 因?yàn)槠渲屑尤肓瞬煌潭鹊脑肼? 這樣可以讓判別器不容易過(guò)擬合. 這樣可以讓模型訓(xùn)練起來(lái)更穩(wěn)定, 并且可以得到多樣性的結(jié)果.

---

逆過(guò)程不是Gaussian

當(dāng) ${\beta }_t$ 足夠小的時(shí)候，逆過(guò)程$q\left(x_{t?1}\mid x_t\right)$和已知前向過(guò)程和函數(shù)形式是一樣的，當(dāng)逆過(guò)程表示為貝葉斯規(guī)則$q\left(x_{t?1}\mid x_t\right)=\frac{q\left(x_t\mid x_{t?1}\right)q\left(x_{t?1}\right)}{q\left(x_t\right)}$時(shí)$\frac{q\left(x_{t?1}\right)}{q\left(x_t\right)}\approx 1$，因此$q\left(x_t\mid x_{t?1}\right)$支配了表達(dá)，由于$q\left(x_t\mid x_{t?1}\right)$是高斯過(guò)程，反向也可以被認(rèn)為是高斯過(guò)程。

問(wèn)題是這個(gè)假設(shè)只有${\beta }_t$在很小的時(shí)候成立，擴(kuò)散模型的創(chuàng)建過(guò)程非常緩慢。因?yàn)橹辉?span id="ozvdkddzhkzd" class="katex--inline">${\beta }_t$很小的時(shí)候才成立，并且必須將T設(shè)置得很大才能這樣做。 如果我們?cè)黾?span id="ozvdkddzhkzd" class="katex--inline">${\beta }_t$并減少T，則反向不再是高斯的，那么KLD就變得難以計(jì)算。

(編者注：這個(gè)${\beta }_t$最小假設(shè)在論文https://arxiv.org/abs/2006.11239當(dāng)中有詳細(xì)的討論)

更復(fù)雜的逆過(guò)程

${\mathbb{E}}_q[\underset{L_T}{D_{\mathrm{KL}}\left(q\left({\mathbf{x}}_T\mid {\mathbf{x}}_0\right)\Vert p\left({\mathbf{x}}_T\right)\right)}+{\sum }_{t>1}\underset{L_{t?1}}{D_{\mathrm{KL}}\left(q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0\right)\Vert p_{\theta }\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\right)}\underset{L_0}{?\log p_{\theta }\left({\mathbf{x}}_0\mid {\mathbf{x}}_1\right)}]$

現(xiàn)有 DDPM 的目標(biāo)如上所述。 其實(shí)單看這個(gè)表達(dá)式$q\left(x_{t?1}\mid x_t,x_0\right)$無(wú)${\beta }_t$，因此是無(wú)條件高斯的。$p_{\theta }\left(x_{t?1}\mid x_t\right)$似乎沒(méi)有任何理由使設(shè)計(jì)更加復(fù)雜。 上面的表達(dá)式也可以寫成形式：

$\mathcal{L}=?{\sum }_{t\ge 1}{\mathbb{E}}_{q\left({\mathbf{x}}_t\right)}\left[D_{\mathrm{KL}}\left(q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\Vert p_{\theta }\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\right)\right]+C$

這里$q\left(x_{t?1}\mid x_t\right)$由于難以處理，這種形式并未用于實(shí)際學(xué)習(xí)。看著這個(gè)表達(dá)式$p_{\theta }\left(x_{t?1}\mid x_t\right)和q\left(x_{t?1}\mid x_t\right)$比較復(fù)雜，因此使用這種方式表示：

${\min }_{\theta }{\sum }_{t\ge 1}{\mathbb{E}}_{q(t)}\left[D_{\mathrm{adv}}\left(q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\Vert p_{\theta }\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\right)\right]$

方程 $\mathcal{L}=?{\sum }_{t\ge 1}{\mathbb{E}}_{q\left({\mathbf{x}}_t\right)}\left[D_{\mathrm{KL}}\left(q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\Vert p_{\theta }\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)\right)\right]+C$ 當(dāng)中由于 KLD是比較棘手的，因此必須使用不同的散度。 由于GAN可以理解為散度最小化，所以如上用$D_{adv}$代替KLD，$D_{adv}$可以是JSD、Wasserstein距離等，具體取決于損失函數(shù)。而判別器的損失如下：

${\min }_{?}{\sum }_{t\ge 1}{\mathbb{E}}_{q\left({\mathbf{x}}_t\right)}[{\mathbb{E}}_{q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)}\left[?\log \left(D_{?}\left({\mathbf{x}}_{t?1},{\mathbf{x}}_t,t\right)\right]+{\mathbb{E}}_{p_{\theta }\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)}\left[?\log \left(1?D_{?}\left({\mathbf{x}}_{t?1},{\mathbf{x}}_t,t\right)\right)\right]\right]$

然而$q\left(x_{t?1}\mid x_t\right)$棘手的問(wèn)題仍然存在，因此無(wú)法計(jì)算第一個(gè)期望，因此解決如下：

${\mathbb{E}}_{q\left({\mathbf{x}}_t\right)q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right)}\left[?\log \left(D_{?}\left({\mathbf{x}}_{t?1},{\mathbf{x}}_t,t\right)\right)\right]={\mathbb{E}}_{q\left({\mathbf{x}}_0\right)q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_0\right)q\left({\mathbf{x}}_t\mid {\mathbf{x}}_{t?1}\right)}\left[?\log \left(D_{?}\left({\mathbf{x}}_{t?1},{\mathbf{x}}_t,t\right)\right)\right]$

$q\left(x_0\right)q\left(x_{t?1}\mid x_0\right)q\left(x_t\mid x_{t?1}\right)=q\left(x_0,x_{t?1},x_t\right)$，和$E_{q(x_{t?1},x_t)}[?log(D_{?}(x_{t?1},x_t,t))]=E_{q(x_0,x_{t?1},x_t)}[?log(D_{?}(x_{t?1},x_t,t))]$共同和使用。

參數(shù)化$p_{\theta }$

逆過(guò)程可以預(yù)測(cè)的是$x_0$、${\tilde{\mu }}_t$或者$?$。與之前預(yù)測(cè)$?$的模型不同，生成器預(yù)測(cè)$x_0$，因?yàn)?/p>

對(duì)所有時(shí)間步均等地預(yù)測(cè)$x_0$取決于t，這是因?yàn)樗阮A(yù)測(cè)${\tilde{\mu }}_t$直接。
它在實(shí)驗(yàn)上顯示出更好的性能。
${\tilde{\mathbf{\mu }}}_t\left({\mathbf{x}}_t,{\mathbf{x}}_0\right):=\frac{\sqrt{{\bar{\alpha }}_{t?1}}{\beta }_t}{1?{\bar{\alpha }}_t}{\mathbf{x}}_0+\frac{\sqrt{{\alpha }_t}\left(1?{\bar{\alpha }}_{t?1}\right)}{1?{\bar{\alpha }}_t}{\mathbf{x}}_t\text{?and?}{\tilde{\beta }}_t:=\frac{1?{\bar{\alpha }}_{t?1}}{1?{\bar{\alpha }}_t}{\beta }_t$

預(yù)測(cè)$x_0^{\prime }$后，$x_{t?1}^{\prime }$是從$q(x_{t?1}|x_t,x_0^{\prime })$中采樣得到的，均值和標(biāo)準(zhǔn)與上面相同。 用獲得的$(x_t^{\prime },x_{t?1}^{\prime })$對(duì)構(gòu)造一個(gè)假樣本。 真實(shí)樣本是$(x_t,x_{t?1})$，判別器學(xué)會(huì)區(qū)分兩者。 其實(shí)這樣看，$q(x_{t?1}|x_t,x_0^{\prime })$也是高斯的，所以不知道為什么逆過(guò)程的分布更復(fù)雜，看起來(lái)和以前一樣。

在這里通過(guò)將潛在變量 z添加到預(yù)測(cè)$x_0^{\prime }$的生成器中來(lái)與現(xiàn)有的 DDPM 有所不同，例如$x_0^{\prime }=G(x_t,t,z)$。

$p_{\theta }\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t\right):=\int p_{\theta }\left({\mathbf{x}}_0\mid {\mathbf{x}}_t\right)q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0\right)d{\mathbf{x}}_0=\int p(\mathbf{z})q\left({\mathbf{x}}_{t?1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0=G_{\theta }\left({\mathbf{x}}_t,\mathbf{z},t\right)\right)d\mathbf{z}$

以前，由于$p_{\theta }(x_0|x_t$)是一個(gè) $\delta$ 函數(shù)，所以逆過(guò)程$p_{\theta }(x_{t?1}|x_t)$是高斯函數(shù)，而在本工作中，$p_{\theta }\left(x_0\mid x_t\right)=\int G\left(x_t,t,z\right)p(z)dz$變成了連續(xù)高斯混合。

結(jié)論

起初，我認(rèn)為 FID 比擴(kuò)散模型差，它是一個(gè)比 GAN 慢的模棱兩可的模型，但這似乎是提高擴(kuò)散模型的采樣速度和我認(rèn)為還有很大的發(fā)展空間。 在這些研究中，這篇論文似乎是最杰出的。 然而，有點(diǎn)奇怪的是，該實(shí)驗(yàn)僅在 cifar-10 和 LSUN 上進(jìn)行，而不是在 imageNet 上進(jìn)行，聲稱比 GAN 具有更好的模式覆蓋率作為優(yōu)勢(shì)。

知乎：https://blog.csdn.net/D_Trump/article/details/125533291

總結(jié)

以上是生活随笔為你收集整理的Denoising Diffusion GAN：Tackling the Generative Learning Trilemma with Denoising Diffusion GANs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。