說到生成模型，VAE、GAN可謂是“如雷貫耳”，此外，還有一些比較小眾的選擇，如flow模型、VQ-VAE等，也頗有人氣，尤其是VQ-VAE及其變體VQ-GAN，近期已經(jīng)逐漸發(fā)展到“圖像的Tokenizer”的地位，用來直接調(diào)用NLP的各種預訓練方法。除了這些之外，還有一個本來更小眾的選擇——擴散模型（Diffusion Models）——正在生成模型領域“異軍突起”，當前最先進的兩個文本生成圖像——OpenAI的DALL·E 2和Google的Imagen，都是基于擴散模型來完成的。

本文將逐漸介紹近兩年關于生成擴散模型的一些進展。據(jù)說生成擴散模型以數(shù)學復雜聞名，似乎比VAE、GAN要難理解得多，是否真的如此？擴散模型真的做不到一個“大白話”的理解？讓我們拭目以待。

新的起點

說到擴散模型，一般的文章都會提到能量模型（Energy-based Models）、得分匹配（Score Matching）、朗之萬方程（Langevin Equation）等等，簡單來說，是通過得分匹配等技術來訓練能量模型，然后通過郎之萬方程來執(zhí)行從能量模型的采樣。

從理論上來講，這是一套很成熟的方案，原則上可以實現(xiàn)任何連續(xù)型對象（語音、圖像等）的生成和采樣。但從實踐角度來看，能量函數(shù)的訓練是一件很艱難的事情，尤其是數(shù)據(jù)維度比較大（比如高分辨率圖像）時，很難訓練出完備能量函數(shù)來；另一方面，通過朗之萬方程從能量模型的采樣也有很大的不確定性，得到的往往是帶有噪聲的采樣結果。所以很長時間以來，這種傳統(tǒng)路徑的擴散模型只是在比較低分辨率的圖像上做實驗。?

如今生成擴散模型的大火，則是始于2020年所提出的DDPM（Denoising Diffusion Probabilistic Model），雖然也用了“擴散模型”這個名字，但事實上除了采樣過程的形式有一定的相似之外，DDPM與傳統(tǒng)基于朗之萬方程采樣的擴散模型可以說完全不一樣，這完全是一個新的起點、新的篇章。

準確來說，DDPM叫“漸變模型”更為準確一些，擴散模型這一名字反而容易造成理解上的誤解，傳統(tǒng)擴散模型的能量模型、得分匹配、朗之萬方程等概念，其實跟DDPM及其后續(xù)變體都沒什么關系。有意思的是，DDPM的數(shù)學框架其實在ICML2015的論文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》就已經(jīng)完成了，但DDPM是首次將它在高分辨率圖像生成上調(diào)試出來了，從而引導出了后面的火熱。由此可見，一個模型的誕生和流行，往往還需要時間和機遇。

拆樓建樓

很多文章在介紹DDPM時，上來就引入轉移分布，接著就是變分推斷，一堆數(shù)學記號下來，先嚇跑了一群人（當然，從這種介紹我們可以再次看出，DDPM實際上是VAE而不是擴散模型），再加之人們對傳統(tǒng)擴散模型的固有印象，所以就形成了“需要很高深的數(shù)學知識”的錯覺。事實上，DDPM也可以有一種很“大白話”的理解，它并不比有著“造假-鑒別”通俗類比的GAN更難。

首先，我們想要做一個像GAN那樣的生成模型，它實際上是將一個隨機噪聲z變換成一個數(shù)據(jù)樣本x的過程：????

????

我們可以將這個過程想象為“建設”，其中隨機噪聲zz是磚瓦水泥等原材料，樣本數(shù)據(jù)x是高樓大廈，所以生成模型就是一支用原材料建設高樓大廈的施工隊。

?這個過程肯定很難的，所以才有了那么多關于生成模型的研究。但俗話說“破壞容易建設難”，建樓你不會，拆樓你總會了吧？我們考慮將高樓大廈一步步地拆為磚瓦水泥的過程：設x0為建好的高樓大廈（數(shù)據(jù)樣本），xT為拆好的磚瓦水泥（隨機噪聲），假設“拆樓”需要T步，整個過程可以表示為

建高樓大廈的難度在于，從原材料xT到最終高樓大廈x0的跨度過大，普通人很難理解xT是怎么一下子變成x0的。但是，當我們有了“拆樓”的中間過程x1,x2,?,xT后，我們知道xt?1→xt代表著拆樓的一步，那么反過來xt→xt?1不就是建樓的一步？如果我們能學會兩者之間的變換關系xt?1=μ(xt)，那么從xT出發(fā)，反復地執(zhí)行xT?1=μ(xT)、xT?2=μ(xT?1)...，最終不就能造出高樓大廈x0出來？?

該怎么拆

正所謂“飯要一口一口地吃”，樓也要一步一步地建，DDPM做生成模型的過程，其實跟上述“拆樓-建樓”的類比是完全一致的，它也是先反過來構建一個從數(shù)據(jù)樣本漸變到隨機噪聲的過程，然后再考慮其逆變換，通過反復執(zhí)行逆變換來完成數(shù)據(jù)樣本的生成，所以本文前面才說DDPM這種做法其實應該更準確地稱為“漸變模型”而不是“擴散模型”。

具體來說，DDPM將“拆樓”的過程建模為：

?

?

?又如何建

“拆樓”是xt?1→xt的過程，這個過程我們得到很多的數(shù)據(jù)對(xt?1,xt)，那么“建樓”自然就是從這些數(shù)據(jù)對中學習一個xt→xt?1的模型。設該模型為μ(xt)，那么容易想到學習方案就是最小化兩者的歐氏距離：

?對公式（8）的推導：

對公式（9）的推導：

?對公式（10）的推導

可能讀者想問為什么要回退一步來給出xt，直接根據(jù)式(6)來給出xt可以嗎？答案是不行，因為我們已經(jīng)事先采樣了εt，而εt跟εˉt不是相互獨立的，所以給定εt的情況下，我們不能完全獨立地采樣εˉt。

?降低方差

原則上來說，損失函數(shù)(11)就可以完成DDPM的訓練，但它在實踐中可能有方差過大的風險，從而導致收斂過慢等問題。要理解這一點并不困難，只需要觀察到式(11)實際上包含了4個需要采樣的隨機變量：

1、從所有訓練樣本中采樣一個x0；

2、從正態(tài)分布N(0,I)中采樣εˉt?1,εt（兩個不同的采樣結果）；

3、從1～T中采樣一個t。

?要采樣的隨機變量越多，就越難對損失函數(shù)做準確的估計，反過來說就是每次對損失函數(shù)進行估計的波動（方差）過大了。很幸運的是，我們可以通過一個積分技巧來將εˉt?1,εt合并成單個正態(tài)隨機變量，從而緩解一下方差大的問題。

?

遞歸生成

至此，我們算是把DDPM的整個訓練流程捋清楚了。內(nèi)容寫了不少，你要說它很容易，那肯定說不上，但真要說非常困難的地方也幾乎沒有——沒有用到傳統(tǒng)的能量函數(shù)、得分匹配等工具，甚至連變分推斷的知識都沒有用到，只是借助“拆樓-建樓”的類比和一些基本的概率論知識，就能得到完全一樣的結果。所以說，以DDPM為代表的新興起的生成擴散模型，實際上沒有很多讀者想象的復雜，它可以說是我們從“拆解-重組”的過程中學習新知識的形象建模。

訓練完之后，我們就可以從一個隨機噪聲xT～N(0,I)出發(fā)執(zhí)行T步式(8)來進行生成：

這對應于自回歸解碼中的Greedy Search。如果要進行Random Sample，那么需要補上噪聲項：

?

一般來說，我們可以讓σt=βt，即正向和反向的方差保持同步。這個采樣過程跟傳統(tǒng)擴散模型的朗之萬采樣不一樣的地方在于：DDPM的采樣每次都從一個隨機噪聲出發(fā)，需要重復迭代TT步來得到一個樣本輸出；朗之萬采樣則是從任意一個點出發(fā)，反復迭代無限步，理論上這個迭代無限步的過程中，就把所有數(shù)據(jù)樣本都被生成過了。所以兩者除了形式相似外，實質上是兩個截然不同的模型。

從這個生成過程中，我們也可以感覺到它其實跟Seq2Seq的解碼過程是一樣的，都是串聯(lián)式的自回歸生成，所以生成速度是一個瓶頸，DDPM設了T=1000T=1000，意味著每生成一個圖片，需要將?θ(xt,t)?θ(xt,t)反復執(zhí)行1000次，因此DDPM的一大缺點就是采樣速度慢，后面有很多工作都致力于提升DDPM的采樣速度。而說到“圖片生成 + 自回歸模型 + 很慢”，有些讀者可能會聯(lián)想到早期的PixelRNN、PixelCNN等模型，它們將圖片生成轉換成語言模型任務，所以同樣也是遞歸地進行采樣生成以及同樣地慢。那么DDPM的這種自回歸生成，跟PixelRNN/PixelCNN的自回歸生成，又有什么實質區(qū)別呢？為什么PixelRNN/PixelCNN沒大火起來，反而輪到了DDPM？

了解PixelRNN/PixelCNN的讀者都知道，這類生成模型是逐個像素逐個像素地生成圖片的，而自回歸生成是有序的，這就意味著我們要提前給圖片的每個像素排好順序，最終的生成效果跟這個順序緊密相關。然而，目前這個順序只能是人為地憑著經(jīng)驗來設計（這類經(jīng)驗的設計都統(tǒng)稱為“Inductive Bias”），暫時找不到理論最優(yōu)解。換句話說，PixelRNN/PixelCNN的生成效果很受Inductive Bias的影響。但DDPM不一樣，它通過“拆樓”的方式重新定義了一個自回歸方向，而對于所有的像素來說則都是平權的、無偏的，所以減少了Inductive Bias的影響，從而提升了效果。此外，DDPM生成的迭代步數(shù)是固定的TT，而PixelRNN/PixelCNN則是等于圖像分辨率（寬×高×通道數(shù)寬×高×通道數(shù)），所以DDPM生成高分辨率圖像的速度要比PixelRNN/PixelCNN快得多。

超參設置

這一節(jié)我們討論一下超參的設置問題。

在DDPM中，T=1000，可能比很多讀者的想象數(shù)值要大，那為什么要設置這么大的T呢？另一邊，對于αtαt的選擇，將原論文的設置翻譯到本博客的記號上，大致上是

這是一個單調(diào)遞減的函數(shù)，那為什么要選擇單調(diào)遞減的αt呢？

其實這兩個問題有著相近的答案，跟具體的數(shù)據(jù)背景有關。簡單起見，在重構的時候我們用了歐氏距離(7)作為損失函數(shù)，而一般我們用DDPM做圖片生成，以往做過圖片生成的讀者都知道，歐氏距離并不是圖片真實程度的一個好的度量，VAE用歐氏距離來重構時，往往會得到模糊的結果，除非是輸入輸出的兩張圖片非常接近，用歐氏距離才能得到比較清晰的結果，所以選擇盡可能大的T，正是為了使得輸入輸出盡可能相近，減少歐氏距離帶來的模糊問題。

選擇單調(diào)遞減的αt也有類似考慮。當tt比較小時，xt還比較接近真實圖片，所以我們要縮小xt?1與xt的差距，以便更適用歐氏距離(7)，因此要用較大的αt；當t比較大時，xt已經(jīng)比較接近純噪聲了，噪聲用歐式距離無妨，所以可以稍微增大xt?1與xt的差距，即可以用較小的αt。那么可不可以一直用較大的αt呢？可以是可以，但是要增大TT。注意在推導(6)時，我們說過應該有αˉT≈0，而我們可以直接估算:

文章小結

本文從“拆樓-建樓”的通俗類比中介紹了最新的生成擴散模型DDPM，在這個視角中，我們可以通過較為“大白話”的描述以及比較少的數(shù)學推導，來得到跟原始論文一模一樣的結果。總的來說，本文說明了DDPM也可以像GAN一樣找到一個形象類比，它既可以不用到VAE中的“變分”，也可以不用到GAN中的“概率散度”、“最優(yōu)傳輸”，從這個意義上來看，DDPM甚至算得上比VAE、GAN還要簡單。?

?原文地址：生成擴散模型漫談（一）：DDPM = 拆樓 + 建樓 - 科學空間|Scientific Spaces

總結

以上是生活随笔為你收集整理的通俗理解DDPM：生成扩散模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。