論文：An empirical study on evaluation metrics of generative adversarial networks

論文鏈接：https://arxiv.org/abs/1806.07755

摘要：評估生成對抗網(wǎng)絡(luò)(GAN)本質(zhì)上非常有挑戰(zhàn)性。本論文重新討論了多個代表性的基于樣本的 GAN 評估指標(biāo)，并解決了如何評估這些評估指標(biāo)的問題。我們首先從一些使指標(biāo)生成有意義得分的必要條件開始，比如區(qū)分真實對象和生成樣本，識別模式丟棄(mode dropping)和模式崩塌(mode collapsing)，檢測過擬合。經(jīng)過一系列精心設(shè)計的實驗，我們對現(xiàn)有的基于樣本的指標(biāo)進行了綜合研究，并找出它們在實踐中的優(yōu)缺點?；谶@些結(jié)果，我們觀察到，核最大均值差異(Kernel MMD)和 1-最近鄰(1-NN)雙樣本檢驗似乎能夠滿足大部分所需特性，其中樣本之間的距離可以在合適的特征空間中計算。實驗結(jié)果還揭示了多個常用 GAN 模型行為的有趣特性，如它們是否記住訓(xùn)練樣本、它們離學(xué)到目標(biāo)分布還有多遠。

1 引言

生成對抗網(wǎng)絡(luò)(GAN)(Goodfellow et al., 2014)近年來得到了廣泛研究。除了生成驚人相似的圖像(Radford et al., 2015; Larsen et al., 2015; Karras et al., 2017; Arjovsky et al., 2017; Gulrajani et al., 2017)，GAN 還創(chuàng)新性地應(yīng)用于半監(jiān)督學(xué)習(xí)(Odena, 2016; Makhzani et al., 2015)、圖像到圖像轉(zhuǎn)換(Isola et al., 2016; Zhu et al., 2017)和模擬圖像細化(Shrivastava et al., 2016)等領(lǐng)域中。然而，盡管可用的 GAN 模型非常多(Arjovsky et al., 2017; Qi, 2017; Zhao et al., 2016)，但對它們的評估仍然主要是定性評估，通常需要借助人工檢驗生成圖像的視覺保真度來進行。此類評估非常耗時，且主觀性較強、具備一定誤導(dǎo)性。鑒于定性評估的內(nèi)在缺陷，恰當(dāng)?shù)亩吭u估指標(biāo)對于 GAN 的發(fā)展和更好模型的設(shè)計至關(guān)重要。

或許最流行的指標(biāo)是 Inception Score(Salimans et al., 2016)，它使用外部模型即谷歌 Inception 網(wǎng)絡(luò)(Szegedy et al., 2014)評估生成圖像的質(zhì)量和多樣性，該模型在大規(guī)模 ImageNet 數(shù)據(jù)集上訓(xùn)練。一些其他指標(biāo)雖然應(yīng)用沒有那么廣泛，但仍然非常有價值。Wu et al. (2016) 提出一種采樣方法來評估 GAN 模型的對數(shù)似然，該方法假設(shè)高斯觀測模型具備固定的方差。Bounliphone et al. (2015) 提出使用最大均值差異(MMD)進行 GAN 模型選擇。Lopez-Paz & Oquab (2016) 使用分類器雙樣本檢驗方法(一種統(tǒng)計學(xué)中得到充分研究的工具)，來評估生成分布和目標(biāo)分布之間的差異。

盡管這些評估指標(biāo)在不同任務(wù)上有效，但目前尚不清楚它們的分數(shù)在哪些場景中是有意義的，在哪些場景中可能造成誤判。鑒于評估 GAN 非常有難度，評估評估指標(biāo)則更加困難。大部分已有研究嘗試通過展示這些評估指標(biāo)和人類評估之間的關(guān)聯(lián)性來證明它們的正當(dāng)性。但是，人類評估有可能偏向生成樣本的視覺質(zhì)量，忽視整體分布特征，而后者對于無監(jiān)督學(xué)習(xí)來說非常重要。

這篇論文綜合回顧了有關(guān)基于樣本的 GAN 定量評估方法的文獻。我們通過精心設(shè)計的一系列實驗解決了評估評估指標(biāo)的難題，我們希望借此回答以下問題：(1)目前基于樣本的 GAN 評估指標(biāo)的行為合理特征是什么？(2)這些指標(biāo)的優(yōu)缺點有哪些，以及基于此我們應(yīng)該優(yōu)先選擇哪些指標(biāo)？實驗觀察表明 MMD 和 1-NN 雙樣本檢驗是最合適的評估指標(biāo)，它們能夠區(qū)分真實圖像和生成圖像，對模式丟棄和崩塌較為敏感，且節(jié)約算力。

最后，我們希望這篇論文能夠?qū)υ趯嵺`環(huán)境中選擇、解釋和設(shè)計 GAN 評估指標(biāo)構(gòu)建合適的原則。所有實驗和已檢驗指標(biāo)的源代碼均已公開，向社區(qū)提供現(xiàn)成工具來 debug 和改進他們的 GAN 算法。

源代碼地址：https://github.com/xuqiantong/GAN-Metrics

圖 1：基于樣本的典型 GAN 評估方法。

2.2 基于樣本的距離度量

我們主要關(guān)注于基于樣本的評估度量，這些度量方法都遵循圖 1 所示的一般設(shè)定。度量計算子是 GAN 中的關(guān)鍵因素，本論文簡要介紹了 5 種表征方法：Inception 分數(shù)(Salimans et al., 2016)、Mode 分數(shù)(Che et al., 2016)、Kernel MMD(Gretton et al., 2007)、Wasserstein 距離、Fréchet Inception 距離(FID，Heusel et al., 2017)與基于 1-最近鄰(1-NN)的雙樣本測試(Lopez-Paz & Oquab, 2016)。所有這些度量方法都不需要知道特定的模型，它只要求從生成器中獲取有限的樣本就能逼近真實距離。

Inception 分數(shù)可以說是文獻中采用最多的度量方法。它使用一個圖像分類模型 M 和在 ImageNet(Deng et al., 2009)上預(yù)訓(xùn)練的 Inception 網(wǎng)絡(luò)(Szegedy et al., 2016)，因而計算：

其中 p_M(y|x) 表示由模型 M 在給定樣本 x 下預(yù)測的標(biāo)簽分布，

即邊緣分布 p_M(y|x) 在概率度量 P_g 上的積分。p_M(y|x) 上的期望和積分都可以通過從 P_g 中采樣的獨立同分布(i.i.d.)逼近。更高的 IS 表示 p_M(y|x) 接近于點密度，這只有在當(dāng) Inception 網(wǎng)絡(luò)非常確信圖像屬于某個特定的 ImageNet 類別時才會出現(xiàn)，且 p_M(y) 接近于均勻分布，即所有類別都能等價地表征。這表明生成模型既能生成高質(zhì)量也能生成多樣性的圖像。Salimans et al. (2016) 表示 Inception 分數(shù)與人類對圖像質(zhì)量的判斷有相關(guān)性。作者強調(diào)了 Inception 分數(shù)兩個具體的屬性：1)KL 散度兩邊的分布都依賴于 M；2)真實數(shù)據(jù)分布 P_r 甚至是其樣本的分布并不需要使用。

Mode 分數(shù)是 Inception 分數(shù)的改進版。正式地，它可以通過下式求出：

其中

為在給定真實樣本下邊緣標(biāo)注分布在真實數(shù)據(jù)分布上的積分。與 Inception 分數(shù)不同，它能通過 KL(p_M(y) || p_M(y*))散度度量真實分布 P_r 與生成分布 P_g 之間的差異。

Kernel MMD(核最大均值差異)可以定義為：

在給定一些固定的和函數(shù) k 下，它度量了真實分布 P_r 與生成分布 P_g 之間的差異。給定分別從 P_r 與 P_g 中采樣的兩組樣本，兩個分布間的經(jīng)驗性 MMD 可以通過有限樣本的期望逼近計算。較低的 MMD 表示 P_g 更接近與 P_r。Parzen window estimate (Gretton et al., 2007) 可以被視為 Kernel MMD 的特例。

P_r 與 P_g 分布之間的 Wasserstein 距離(推土機距離)可以定義為：

其中 Γ(Pr, Pg) 表示邊緣分布分別為 Pr 與 Pg 的所有聯(lián)合分布(即概率耦合)集合，且 d(x^r, x^g) 表示兩個樣本之間的基礎(chǔ)距離。對于密度為 pr 與 pg 的離散分布，Wasserstein 距離通常也被稱為推土機距離(EMD)，它等價于解最優(yōu)傳輸問題：

該式表示實踐中 WD(P_r, P_g) 的有限樣本逼近。與 MMD 相似，Wasserstein 距離越小，兩個分布就越相似。

Fréchet Inception 距離(FID)是最近由 Heusel et al. (2017) 引入并用來評估 GAN 的度量方法。對于適當(dāng)?shù)奶卣骱瘮?shù)φ(默認為 Inception 網(wǎng)絡(luò)的卷積特征)，FID 將 φ(P_r) 和 φ(P_g) 建模為高斯隨機變量，且其樣本均值為 μ_r 與 μ_g、樣本協(xié)方差為 C_r 與 C_g。兩個高斯分布的 Fréchet 距離(或等價于 Wasserstein-2 距離)可通過下式計算：

1-最近鄰分類器用于成對樣本檢驗以評估兩個分布是否相同。給定兩組樣本

，我們可以計算在 S_r 和 S_g 上進行訓(xùn)練的 1-NN 分類器的留一(LOO)準(zhǔn)確率，其中 S_r 全部標(biāo)注為正樣本、S_g 全部標(biāo)注為負樣本。與常用的準(zhǔn)確率不同，但|S_r|=|S_g|都非常大時，1-NN 分類器應(yīng)該服從約為 50% 的 LOO 準(zhǔn)確率，這在兩個分布相匹配時能夠達到。當(dāng) GAN 的生成分布過擬合真實采樣分布 Sr 時，LOO 準(zhǔn)確度將低于 50%。在理論上的極端案例中，如果 GAN 記憶住 Sr 中的每一個樣本，并精確地重新生成它，即在 S_g=S_r 時，準(zhǔn)確率將為零。因為 Sr 中的每一個樣本都將有一個來自 S_g 的最近鄰樣本，它們之間的距離為零。1-NN 分類器成對樣本檢驗族，理論上任意二元分類器都能采用這種方法。我們只考慮 1-NN 分類器，因為它不需要特殊的訓(xùn)練并只需要少量超參數(shù)調(diào)整。

Lopez-Paz & Oquab (2016) 認為 1-NN 準(zhǔn)確率主要作為成對樣本檢驗的統(tǒng)計量。實際上，將其分為兩個類別來獨立地分析能獲得更多的信息。例如典型的 GAN 生成結(jié)果，由于 mode collapse 現(xiàn)象，真實和生成圖像的主要最近鄰都是生成圖像。在這種情況下，真實圖像 LOO 1-NN 準(zhǔn)確率可能會相對較低(期望)：真實分布的模式通常可由生成模型捕捉，所以 Sr 中的大多數(shù)真實樣本周圍都充滿著由 Sg 生成的樣本，這就導(dǎo)致了較低的 LOO 準(zhǔn)確率；而生成圖像的 LOO 準(zhǔn)確度非常高(不期望的)：生成樣本傾向于聚集到少量的模式中心，而這些模式由相同類別的生成樣本包圍，因此會產(chǎn)生較高的 LOO 準(zhǔn)確率。

3 GAN 評估指標(biāo)實驗

圖 2：從真實圖像和 GAN 生成圖像的混合集合中區(qū)分出真實圖像。對于有判別力的指標(biāo)，其分數(shù)應(yīng)該隨著混合集合中 GAN 生成樣本數(shù)量增加而增加。RIS 和 RMS 失敗了，因為在 LSUN 上它們的分數(shù)隨著 S_g 中的 GAN 生成樣本數(shù)量增加而減少。在像素空間中 Wasserstein 和 1-NN accuracy (real) 也失敗了，因為它們的分數(shù)沒有增加反而下降了。

圖 3：模擬模式崩塌實驗。指標(biāo)分數(shù)應(yīng)該增加，以反映隨著更多模式向聚類中心崩塌真實分布和生成分布之間的不匹配。所有指標(biāo)在卷積空間中都作出了正確的響應(yīng)。而在像素空間中，Wasserstein distance 和 1-NN accuracy (real) 失敗了，因為它們的分數(shù)沒有增加反而下降了。

圖 4：模擬模式丟棄實驗。指標(biāo)分數(shù)應(yīng)該增加，以反映隨著更多模式丟棄真實分布和生成分布之間的不匹配。所有指標(biāo)(除了 RIS 和 RMS)都作出了正確的響應(yīng)，因為在幾乎所有模式都丟棄時它們?nèi)匀挥休p微的上升。

圖 5：關(guān)于每個指標(biāo)對小量變換(旋轉(zhuǎn)和平移)的魯棒性的實驗。所有指標(biāo)應(yīng)該對真實圖像和變換后的真實樣本保持不變，因為變換不會改變圖像語義。所有指標(biāo)都在卷積空間中作出了正確的響應(yīng)，但不是像素空間。該實驗證明像素空間中距離的不適應(yīng)性。

圖 6：不同指標(biāo)在樣本數(shù)作為 x 軸的函數(shù)上的分數(shù)。完美指標(biāo)應(yīng)該帶來 real-real

和 real-fake

曲線之間的巨大差距，以利用盡可能少的樣本區(qū)分真實分布和偽分布。與 Wasserstein 距離相比，MMD 和 1-NN accuracy 判別真實圖像和生成圖像所需的樣本量更少，而 RIS 在 LSUN 上完全失敗，因為其在生成圖像上的分數(shù)甚至優(yōu)于(低于)真實圖像。

圖 8：檢測生成樣本過擬合的實驗。隨著更多的生成樣本與訓(xùn)練集中的真實樣本重疊，驗證得分和訓(xùn)練得分之間的差距應(yīng)該增加至信號過擬合(signal overfitting)。所有指標(biāo)的行為都是正確的，除了 RIS 和 RMS，因為這兩個的分數(shù)不會隨著重疊樣本數(shù)量的增加而增加。

4 討論和結(jié)論

基于以上分析，我們可以總結(jié)這六個評估指標(biāo)的優(yōu)勢和本質(zhì)缺陷，以及它們在什么條件下可以生成有意義的結(jié)果。使用部分指標(biāo)，我們能夠研究過擬合問題(詳見 Appendix C)、在 GAN 模型上執(zhí)行模型選擇，并基于精心挑選的樣本對比不同模型(詳見 Appendix D)，無需使用人類評估。

Inception Score 展示出生成圖像的質(zhì)量和多樣性之間的合理關(guān)聯(lián)，這解釋了其在實踐中廣泛應(yīng)用的原因。但是，它在大部分情況下并不合適，因為它僅評估 P_g(作為圖像生成模型)，而不是評估其與 P_r 的相似度。一些簡單的擾動(如混入來自完全不同分布的自然圖像)能夠徹底欺騙 Inception Score。因此，它可能會鼓勵模型只學(xué)習(xí)清晰和多樣化圖像(甚至一些對抗噪聲)，而不是 P_r。這也適用于 Mode Score。此外，Inception Score 無法檢測過擬合，因為它無法使用留出驗證集。

Kernel MMD 在預(yù)訓(xùn)練 ResNet 的特征空間中運行時，性能驚人地好。它總是能夠識別生成／噪聲圖像和真實圖像，且它的樣本復(fù)雜度和計算復(fù)雜度都比較低。鑒于這些優(yōu)勢，即使 MMD 是有偏的，但我們?nèi)酝扑]大家在實踐中使用它。

當(dāng)距離在合適的特征空間中進行計算時，Wasserstein 距離的性能很好。但是，它的樣本復(fù)雜度很高，Arora 等人 2017 年也發(fā)現(xiàn)了這一事實。另一個主要缺陷是計算 Wasserstein 距離所需的實踐復(fù)雜度為 O(n^3)，且隨著樣本數(shù)量的增加而更高。與其他方法相比，Wasserstein 距離在實踐中作為評估指標(biāo)的吸引力較差。

Fréchet Inception Distance 在判別力、魯棒性和效率方面都表現(xiàn)良好。它是 GAN 的優(yōu)秀評估指標(biāo)，盡管它只能建模特征空間中分布的前兩個 moment。

1-NN 分類器幾乎是評估 GAN 的完美指標(biāo)。它不僅具備其他指標(biāo)的所有優(yōu)勢，其輸出分數(shù)還在 [0, 1] 區(qū)間中，類似于分類問題中的準(zhǔn)確率／誤差。當(dāng)生成分布與真實分布完美匹配時，該指標(biāo)可獲取完美分數(shù)(即 50% 的準(zhǔn)確率)。從圖 2 中可以看到典型 GAN 模型對真實樣本(1-NN accuracy (real))的 LOO 準(zhǔn)確率較低，而對生成樣本(1-NN accuracy (fake))的 LOO 準(zhǔn)確率較高。這表明 GAN 能夠從訓(xùn)練分布中捕捉模型，這樣分布在模式中心周圍的大部分訓(xùn)練樣本的最近鄰來自于生成圖像集合，而大部分生成圖像的周圍仍然是生成圖像，因為它們一起崩塌。該觀測結(jié)果表明模式崩塌問題在典型 GAN 模型中很普遍。但是，我們還注意到這個問題無法通過人類評估或廣泛使用的 Inception Score 評估指標(biāo)來有效檢測到。

總之，我們的實證研究表明選擇計算不同指標(biāo)的特征空間至關(guān)重要。在 ImageNet 上預(yù)訓(xùn)練 ResNet 的卷積空間中，MMD 和 1-NN accuracy 在判別力、魯棒性和效率方面都是優(yōu)秀的指標(biāo)。Wasserstein 距離的樣本效率較差，而 Inception Score 和 Mode Score 不適合與 ImageNet 差異較大的數(shù)據(jù)集。我們將發(fā)布所有這些指標(biāo)的源代碼，向研究者提供現(xiàn)成的工具來對比和改進 GAN 算法。

基于這兩個主要指標(biāo) MMD 和 1-NN accuracy，我們研究了 DCGAN 和 WGAN(詳見 Appendix C)的過擬合問題。盡管人們廣泛認為 GAN 對訓(xùn)練數(shù)據(jù)過擬合，但我們發(fā)現(xiàn)這只在訓(xùn)練樣本很少的情況下才會發(fā)生。這提出了一個關(guān)于 GAN 泛化能力的有趣問題。我們希望未來的研究能夠幫助解釋這一現(xiàn)象。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的r型聚类典型指标_六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。