我的前言

翻譯結合我自己想法啊，但是我賊菜的而且時間有限，所以，我都是簡單的大致理解一下，然后翻譯。發出來的原因，更多是想做個筆記。
翻譯的亂七八糟的。。。這就是我現在的感受了

文章目錄

• 我的前言
• 論文
• • 論文作者
  • Abstract 概要
  • Introduction 介紹
  • Method
  • • 3.1 三個玩家的博弈

論文

論文作者

Chongxuan Li， Kun Xu, Jun Zhum, Bo Zhang
Tsinghua University
三位清華的大神

Abstract 概要

GANs （對抗生成神經網絡）已經在圖片生成和半監督學習上有不錯的保證了。但是，目前的GANs在半監督學習上有兩個問題。

生成器和判別器（即分類器）可能不是同時最優的。

生成器不能控制生成樣本的語義

這個樣本實質上是由于兩個玩家的博弈制度。在這種制度下，一個判別式模型來分享一個不相容的角色，在識別一個假的樣本并且預測標簽，而且它只評估沒有考慮標簽的數據。

為了解決這個問題，我們提出一個三人對抗的生成網絡。（Triple-GAN）。在這個模型中，包括有三個博弈參與者，分別是一個生成器，一個判別器，一個分類器。

• 這個生成器和分類器表現這個在圖片和標簽之間的條件分布。
• 這個判別器只（solely）專注于分辨假圖片-標簽對

我們設計了兼容的效用去保證這個分布被這兩個收斂到數據分布的分類器和生成器表現出來。

我們在不同數據上實驗的結果表明（demonstrate）Triple-GAN 作為一個統一的模型可以同時保證下面兩點

• 達到了最先進的，最高端的，最前沿的分類通過深度生成模型的分類結果
• 解決了，在數據空間，類別和風格的平滑地導入和轉化，通過在潛在的類別條件空間上的插值（interpolation）

附上這段的論文

Introduction 介紹

深度生成模型（DGMs）可以捕捉到數據的底層分布并生成新的樣本。
最近，在生成實際圖片上有了一個有重大意義的進展基于生成對抗網絡（GANs）。生成對抗網絡是制定了一個兩個玩家的博弈。在這個博弈當中，生成器G把隨機噪聲Z作為輸入，然后生成了樣本G(z)在數據空間；而，判別器（Discriminator）D 識別一個給定的樣本，來自于實際的數據分布P(x)，還是來自于生成器G。

G和D都是被參數化為深度神經網絡，并且訓練過程就是解決下面的這個最小值問題。

這里，$p_z(z)$是一個樣本分布（例如：均勻分布（uniform）或者是正態分布（norm））。然后$U(?)$表示一個結果。

給出一個生成器然后定義分布$p_g$，最優的判別式就是
$D(x)=p(x)/(p_g(x)+p(x)$ 在一個非參數化的設置中，然后這個博弈的均衡（equilibrium of the game）當且僅當 $p(x)=p_g(x)$的時候達到。就圖像生成來言，這是理想的。

GANs和DGMs在一般情況下，已經被證明了在半監督學習（SSL）上的有效性，當保證了生成的能力。在同樣的兩個玩家的博弈模型中，Cat-GANs概括了GANs用一個分類判別的網絡，并且一個目標函數是去極小化一個預測基于真實數據的條件熵，同時也要最大化，預測基于生成的樣本的條件熵。

這有兩個問題在GANs應用在半監督學習SSL上

生成器和判別器（即分類器）可能不是同時最優的。

生成器不能控制生成樣本的語義

對于第一個問題，Salimans et al 提出兩個可選的訓練對象，效果在分類或者圖像生成的半監督模型上都是還不錯的，但不是同時都不錯。

這個特征匹配在分類上非常不錯，但是在生成不同的樣本上，當另外一個損失函數 minibatch 判別函數，在實際的圖像生成上表現的很好。

這個現象沒有被深入地分析，并且，在這里，我們認為主要源自于 兩個玩家的博弈機制，在這樣的機制下，只有一個判別器去完成兩個不兼容的內容–識別假的樣本，并且預測真的樣本。

特別地，我們人假設G是最優的，即 $p(x)=p_g(x)$ 并且考慮一個樣本x來自于$p_g(x)$。一方面，作為一個判別器，最優的D應該能識別x是一個假的樣本，有著非0概率。另一方面，作為一個分類器，這個最優的D應該總是預測這個正確的x的類別。

這就好像，D有兩個不同的收斂點一樣。表面G和D可能不是同時最優的。而且，給一個不是最優的G，這樣的情況占大多數。給一個樣板來自于重疊區域，那么兩個在D中的角色任然會通過不同的處理這個樣本完成，導致很糟糕的分類。

對于第二個問題，disentangling （解開）有意義的物理因子，像有限監督的潛在表征的對象分類。然而根據目前的知識來看，沒有一個存在的GANs是可以學習一個解開的表征在半監督模型中，即使一些工作可以學習這樣的表述被給出來全部的標簽的。又一次的，我們認為這是來自兩個玩家的對抗的模型。

為了解決這些問題，提出了Triple-GAN。（后面的翻不動了。。。）
直接跳到Methods部分好了，看看算法實現。

Method

我們考慮在學習一個DGMs在半監督的設置下，這里我們又部分標簽好的數據集。

• x表示輸入的數據
• y表示輸出的標簽

目標是去預測這個標簽y給沒有標簽好的數據，同時也給生成出來的新樣本x在基于y的條件下。
這是很不同于無監督設置的給純粹的生成，在無監督的條件下，唯一的目標就是去生成一個樣本x然后去欺騙判別器x。

因此兩個人的博弈是可以滿足去描述這個過程在GANs中的。

在我們的設置中，作為一個標簽信息，y是不完整的（也是不確定的）。我們的密度模型應該是被表征在x和y的空間上。

因此，有一個聯合分布 P(x,y)在輸入的標簽對上。

雙人博弈的一個比較直接的應用，是不可行的，由這個缺失的y數據。

不像之前的工作，給兩人博弈有一個限制，然后可以導致一個不相容的目標。我們建立了我們的博弈理論的對象，基于在這個聯合分布上的觀測。

表示出來就是，概率公式的條件公式（可以回去翻翻概率論的書）。

條件概率是針對于分類的過程的，和有分類的生成器。
為了去聯合得到評價這個條件分布（被表征為一個分類器網絡的模型和一個有類別條件的生成器網絡），我們定義了一個單獨的判別器，有一個特定的角色，就是去區分是否這個人樣本是來自于實際數據，還是來自這模型。

因此，我們很自然的擴展GANs到Triple-GANs，這樣的一個三人對抗的模型去表征分類的和有類別條件的生成模型。

3.1 三個玩家的博弈

Triple-GAN 包括有三個部分

一個分類器C，近似地表征條件分布 $P_c(y|x)=p(y|x)$

一個有類別條件的生成器G，禁止的表征為，一個條件分布的另外一個方向。$P_G(x|y)=p(x|y)$

一個判別器D，區分一個數據對(x,y)來自于真實數據分布p(x,y)

所有的組成成員都被表示神經網絡的參數成員。

總結

以上是生活随笔為你收集整理的【论文阅读】Triple GANs论文阅读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。