我的前言

翻譯結(jié)合我自己想法啊，但是我賊菜的而且時間有限，所以，我都是簡單的大致理解一下，然后翻譯。發(fā)出來的原因，更多是想做個筆記。
翻譯的亂七八糟的。。。這就是我現(xiàn)在的感受了

文章目錄

• 我的前言
• 論文
• • 論文作者
  • Abstract 概要
  • Introduction 介紹
  • Method
  • • 3.1 三個玩家的博弈

論文

論文作者

Chongxuan Li， Kun Xu, Jun Zhum, Bo Zhang
Tsinghua University
三位清華的大神

Abstract 概要

GANs （對抗生成神經(jīng)網(wǎng)絡(luò)）已經(jīng)在圖片生成和半監(jiān)督學(xué)習(xí)上有不錯的保證了。但是，目前的GANs在半監(jiān)督學(xué)習(xí)上有兩個問題。

生成器和判別器（即分類器）可能不是同時最優(yōu)的。

生成器不能控制生成樣本的語義

這個樣本實質(zhì)上是由于兩個玩家的博弈制度。在這種制度下，一個判別式模型來分享一個不相容的角色，在識別一個假的樣本并且預(yù)測標(biāo)簽，而且它只評估沒有考慮標(biāo)簽的數(shù)據(jù)。

為了解決這個問題，我們提出一個三人對抗的生成網(wǎng)絡(luò)。（Triple-GAN）。在這個模型中，包括有三個博弈參與者，分別是一個生成器，一個判別器，一個分類器。

• 這個生成器和分類器表現(xiàn)這個在圖片和標(biāo)簽之間的條件分布。
• 這個判別器只（solely）專注于分辨假圖片-標(biāo)簽對

我們設(shè)計了兼容的效用去保證這個分布被這兩個收斂到數(shù)據(jù)分布的分類器和生成器表現(xiàn)出來。

我們在不同數(shù)據(jù)上實驗的結(jié)果表明（demonstrate）Triple-GAN 作為一個統(tǒng)一的模型可以同時保證下面兩點

• 達(dá)到了最先進(jìn)的，最高端的，最前沿的分類通過深度生成模型的分類結(jié)果
• 解決了，在數(shù)據(jù)空間，類別和風(fēng)格的平滑地導(dǎo)入和轉(zhuǎn)化，通過在潛在的類別條件空間上的插值（interpolation）

附上這段的論文

Introduction 介紹

深度生成模型（DGMs）可以捕捉到數(shù)據(jù)的底層分布并生成新的樣本。
最近，在生成實際圖片上有了一個有重大意義的進(jìn)展基于生成對抗網(wǎng)絡(luò)（GANs）。生成對抗網(wǎng)絡(luò)是制定了一個兩個玩家的博弈。在這個博弈當(dāng)中，生成器G把隨機噪聲Z作為輸入，然后生成了樣本G(z)在數(shù)據(jù)空間；而，判別器（Discriminator）D 識別一個給定的樣本，來自于實際的數(shù)據(jù)分布P(x)，還是來自于生成器G。

G和D都是被參數(shù)化為深度神經(jīng)網(wǎng)絡(luò)，并且訓(xùn)練過程就是解決下面的這個最小值問題。

這里，$p_z(z)$是一個樣本分布（例如：均勻分布（uniform）或者是正態(tài)分布（norm））。然后$U(?)$表示一個結(jié)果。

給出一個生成器然后定義分布$p_g$，最優(yōu)的判別式就是
$D(x)=p(x)/(p_g(x)+p(x)$ 在一個非參數(shù)化的設(shè)置中，然后這個博弈的均衡（equilibrium of the game）當(dāng)且僅當(dāng) $p(x)=p_g(x)$的時候達(dá)到。就圖像生成來言，這是理想的。

GANs和DGMs在一般情況下，已經(jīng)被證明了在半監(jiān)督學(xué)習(xí)（SSL）上的有效性，當(dāng)保證了生成的能力。在同樣的兩個玩家的博弈模型中，Cat-GANs概括了GANs用一個分類判別的網(wǎng)絡(luò)，并且一個目標(biāo)函數(shù)是去極小化一個預(yù)測基于真實數(shù)據(jù)的條件熵，同時也要最大化，預(yù)測基于生成的樣本的條件熵。

這有兩個問題在GANs應(yīng)用在半監(jiān)督學(xué)習(xí)SSL上

生成器和判別器（即分類器）可能不是同時最優(yōu)的。

生成器不能控制生成樣本的語義

對于第一個問題，Salimans et al 提出兩個可選的訓(xùn)練對象，效果在分類或者圖像生成的半監(jiān)督模型上都是還不錯的，但不是同時都不錯。

這個特征匹配在分類上非常不錯，但是在生成不同的樣本上，當(dāng)另外一個損失函數(shù) minibatch 判別函數(shù)，在實際的圖像生成上表現(xiàn)的很好。

這個現(xiàn)象沒有被深入地分析，并且，在這里，我們認(rèn)為主要源自于 兩個玩家的博弈機制，在這樣的機制下，只有一個判別器去完成兩個不兼容的內(nèi)容–識別假的樣本，并且預(yù)測真的樣本。

特別地，我們?nèi)思僭O(shè)G是最優(yōu)的，即 $p(x)=p_g(x)$ 并且考慮一個樣本x來自于$p_g(x)$。一方面，作為一個判別器，最優(yōu)的D應(yīng)該能識別x是一個假的樣本，有著非0概率。另一方面，作為一個分類器，這個最優(yōu)的D應(yīng)該總是預(yù)測這個正確的x的類別。

這就好像，D有兩個不同的收斂點一樣。表面G和D可能不是同時最優(yōu)的。而且，給一個不是最優(yōu)的G，這樣的情況占大多數(shù)。給一個樣板來自于重疊區(qū)域，那么兩個在D中的角色任然會通過不同的處理這個樣本完成，導(dǎo)致很糟糕的分類。

對于第二個問題，disentangling （解開）有意義的物理因子，像有限監(jiān)督的潛在表征的對象分類。然而根據(jù)目前的知識來看，沒有一個存在的GANs是可以學(xué)習(xí)一個解開的表征在半監(jiān)督模型中，即使一些工作可以學(xué)習(xí)這樣的表述被給出來全部的標(biāo)簽的。又一次的，我們認(rèn)為這是來自兩個玩家的對抗的模型。

為了解決這些問題，提出了Triple-GAN。（后面的翻不動了。。。）
直接跳到Methods部分好了，看看算法實現(xiàn)。

Method

我們考慮在學(xué)習(xí)一個DGMs在半監(jiān)督的設(shè)置下，這里我們又部分標(biāo)簽好的數(shù)據(jù)集。

• x表示輸入的數(shù)據(jù)
• y表示輸出的標(biāo)簽

目標(biāo)是去預(yù)測這個標(biāo)簽y給沒有標(biāo)簽好的數(shù)據(jù)，同時也給生成出來的新樣本x在基于y的條件下。
這是很不同于無監(jiān)督設(shè)置的給純粹的生成，在無監(jiān)督的條件下，唯一的目標(biāo)就是去生成一個樣本x然后去欺騙判別器x。

因此兩個人的博弈是可以滿足去描述這個過程在GANs中的。

在我們的設(shè)置中，作為一個標(biāo)簽信息，y是不完整的（也是不確定的）。我們的密度模型應(yīng)該是被表征在x和y的空間上。

因此，有一個聯(lián)合分布 P(x,y)在輸入的標(biāo)簽對上。

雙人博弈的一個比較直接的應(yīng)用，是不可行的，由這個缺失的y數(shù)據(jù)。

不像之前的工作，給兩人博弈有一個限制，然后可以導(dǎo)致一個不相容的目標(biāo)。我們建立了我們的博弈理論的對象，基于在這個聯(lián)合分布上的觀測。

表示出來就是，概率公式的條件公式（可以回去翻翻概率論的書）。

條件概率是針對于分類的過程的，和有分類的生成器。
為了去聯(lián)合得到評價這個條件分布（被表征為一個分類器網(wǎng)絡(luò)的模型和一個有類別條件的生成器網(wǎng)絡(luò)），我們定義了一個單獨的判別器，有一個特定的角色，就是去區(qū)分是否這個人樣本是來自于實際數(shù)據(jù)，還是來自這模型。

因此，我們很自然的擴展GANs到Triple-GANs，這樣的一個三人對抗的模型去表征分類的和有類別條件的生成模型。

3.1 三個玩家的博弈

Triple-GAN 包括有三個部分

一個分類器C，近似地表征條件分布 $P_c(y|x)=p(y|x)$

一個有類別條件的生成器G，禁止的表征為，一個條件分布的另外一個方向。$P_G(x|y)=p(x|y)$

一個判別器D，區(qū)分一個數(shù)據(jù)對(x,y)來自于真實數(shù)據(jù)分布p(x,y)

所有的組成成員都被表示神經(jīng)網(wǎng)絡(luò)的參數(shù)成員。

總結(jié)

以上是生活随笔為你收集整理的【论文阅读】Triple GANs论文阅读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。