?PaperWeekly 原創(chuàng) · 作者 |?尹娟

學(xué)校 |?北京理工大學(xué)博士生

研究方向?|?隨機(jī)過程、復(fù)雜網(wǎng)絡(luò)單位

引言

該論文從統(tǒng)計(jì)學(xué)的角度去研究生成性對抗網(wǎng)絡(luò)。GAN 在當(dāng)前是一種非常流行的深度學(xué)習(xí)模型，它分別由一個(gè)生成器和一個(gè)判別器組成，目標(biāo)是去解決一個(gè)特定的極小極大值問題。這個(gè)極小極大問題通常有許多解，該論文的重點(diǎn)是去分析 GAN 的優(yōu)化解在統(tǒng)計(jì)學(xué)上的性質(zhì)。

作者主要解決了生成器和判別器網(wǎng)絡(luò)參數(shù)的兩個(gè)關(guān)鍵性問題：一致性估計(jì)和置信集。對 GAN 理論感興趣的可以找出該論文的講解研讀一番。

論文標(biāo)題：

Statistical inference for generative adversarial networks

論文鏈接：

https://arxiv.org/abs/2104.10601

GAN形式

為了對 GAN 相關(guān)性質(zhì)進(jìn)行嚴(yán)格的理論分析，需要對其相關(guān)的數(shù)學(xué)符號給予定義。考慮一個(gè)樣本數(shù)據(jù)向量 ，其中 是歐式空間中的一個(gè)子集 且分布未知。噪聲向量 服從一個(gè)給定的分布（通常是多維均勻分布或者是多維高斯分布）。生成器 將噪聲向量 合稱為樣本數(shù)據(jù) 。判別器 的作用是對樣本數(shù)據(jù)的真?zhèn)芜M(jìn)行判斷。作者從技術(shù)角度總結(jié)了以下的假設(shè)。

假設(shè)1：GAN

(a) 假設(shè)樣本數(shù)據(jù)向量 和噪聲向量 是分別服從 和 且獨(dú)立同分布；

(b) 參數(shù)集 是一個(gè)非空緊集；

(c) 生成器函數(shù) ，判別器函數(shù) ，對抗損失函數(shù) 可以被定義為：

其中 對所有的參數(shù) 都是可測量和連續(xù)的。

這一假設(shè)包含了對原始 GAN 框架的一些最低要求，假設(shè) (a) 中的獨(dú)立同分布是 GAN 設(shè)置中的標(biāo)準(zhǔn)。假設(shè) (b) 中允許參數(shù)空間是緊湊的。假設(shè) (c) 是最小連續(xù)性假設(shè)，需要注意的是 將具有與 X 相同的分布。

假設(shè)2：Smooth GAN

如果 GAN 的假設(shè)成立， 在參數(shù) 上對所有的 是連續(xù)可微的，參數(shù)的平方可積導(dǎo)數(shù)有限：

則有：

作者重新整理了關(guān)于 GAN 的極小極大值問題的數(shù)學(xué)公式：

其中 對所有固定的 是凸函數(shù)， 對所有固定的 是凹函數(shù)。經(jīng)典的馮·諾依曼極大極小定理意味著：

與此相反 通常是非凸和非凹的。在 GAN 應(yīng)用中，感興趣的對象不是問題的最優(yōu)值而是最優(yōu)的解決方案：

生成器中的參數(shù) 可以將隨機(jī)噪聲合成樣本數(shù)據(jù)。令 為 GAN 極小極大化的最優(yōu)解的集合，則有最大函數(shù)：

當(dāng)點(diǎn) 是 GAN 的最優(yōu)解時(shí)則滿足：

因此 GAN 最優(yōu)解 的集合可以被表示為：

等效的， 當(dāng)且僅當(dāng)：

這啟發(fā)了作者重新定義 GAN 的損失函數(shù)：

已知函數(shù) 對所有的 是非負(fù)的，并且 當(dāng)且僅當(dāng) 。所以，GAN 最優(yōu)解的集合可以被重新寫成為：

樣本 GAN 的問題的公式寫成如下形式：

類似的有如下形式的定義：

則樣本 GAN 的最優(yōu)解的集合為：

要知道找到 的集合是一件非常有挑戰(zhàn)的事情，現(xiàn)有的一些算法只是搜索近似解而不是求解 GAN 的精確解，給定一個(gè)任意小的非負(fù)常數(shù) ，樣本 GAN 的近似解 滿足：

點(diǎn) 近似地解決了內(nèi)部最大化問題和外部最小化問題， 是這個(gè)最大化和最小化問題的松弛度。進(jìn)行更一般的推廣，令 為一系列的任意小的非負(fù)隨機(jī)變量，并且有 （ 表示的是依概率收斂）。

以上的不等式可以表示為：

根據(jù)之前樣本 GAN 標(biāo)準(zhǔn)函數(shù)的定義則有：

當(dāng) 時(shí)，可以得到一個(gè)精確解集的一個(gè)特例 。

一致性估計(jì)

在 GAN 中距離的度量是非常有必要的。常用到的距離是歐幾里得距離的一個(gè)常用推廣豪斯多夫距離，對于某些歐氏空間的任意兩個(gè)非空有界子集 和 ， 和 的豪斯多夫距離表示為：

其中 表示的是點(diǎn) 到集合 的最短距離。豪斯多夫距離是從一個(gè)集合中的任意點(diǎn)到另一個(gè)集合中最近的相鄰點(diǎn)的最大距離。豪斯多夫距離 是一種非空緊集族的度量，并且對于集合 當(dāng)且僅當(dāng) 。

在該論文中作者要證明的一致性結(jié)果本質(zhì)上是豪斯多夫一致性即 。該證明需要證明以下兩個(gè)條件成立：

前一個(gè)條件保證 和 相差不大，后一個(gè)條件保證 可以覆蓋 。

假設(shè)3：豪斯多夫距離依概率收斂

(a) 其中 關(guān)于 連續(xù)；

(b) 當(dāng) 時(shí)，則 成立。

假設(shè)4：收斂速度

(a) 是一系列的非負(fù)隨機(jī)變量并有 ；

(b) 是一系列的正隨機(jī)變量并有 ，。

定理1：一致性條件

(a) 如果假設(shè)3 (a) 和假設(shè)4 (a) ?成立，則有：

(b) 如果假設(shè)3 (b) 和假設(shè)4 (b) 成立，則有：

定理1的 (a) 部分給出了單側(cè)豪斯多夫一致性條件；在 (b) 部分的更強(qiáng)條件下，給出了期望的豪斯多夫一致性結(jié)果。在不知道多個(gè)解的情況下，定理 1 告訴我們 GAN 設(shè)置的結(jié)果是一個(gè)一致性結(jié)果，單側(cè)一致性結(jié)果可以覆蓋精確解，而雙側(cè)的情況下則需要選擇更嚴(yán)格的松弛序列 。

置信集

的置信集是以預(yù)定概率覆蓋整個(gè) 的隨機(jī)集。設(shè) 表示期望的覆蓋概率，其中。作者的目標(biāo)是構(gòu)造置信集 ：

其中這里 指的是固定的 的概率測度。在傳統(tǒng)的點(diǎn)識(shí)別設(shè)置中， 由單個(gè)點(diǎn) 組成，形成置信集的傳統(tǒng)途徑是考慮 附近的某個(gè)函數(shù)的泰勒近似；作者考慮的置信集基于標(biāo)準(zhǔn)函數(shù) 的適當(dāng)?shù)南螺喞Ｈ绻阎? 分布的 分位數(shù) ，可以形成滿足：

置信集。在適當(dāng)?shù)臈l件下，可以證明當(dāng) 時(shí)， 對于 保持隨機(jī)有界，對于 發(fā)散到無窮遠(yuǎn)。

GAN 問題有多個(gè)解，置信集 中子采樣大小 使得當(dāng) 時(shí)， 和 。那么置信集 滿足：

定理 2 表明， 在 處連續(xù)時(shí)，置信集 的漸近覆蓋概率至少為 。一般來說，極限分布 相當(dāng)復(fù)雜，驗(yàn)證 的連續(xù)性需要一些更具體的假設(shè)。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時(shí)聯(lián)系方式（微信），以便我們在稿件選用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的生成对抗网络（GAN）的统计推断的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。