Abstract：Deep Learning是一個很大的領域，其中GAN是Deep Learning的明星，希望大家可以通過本文來簡單的了解一下GAN這個模型以及這個模型的一些運用。本文介紹關于GAN的一些知識以及GAN的思想如何轉移到ALI中，以及通過Google的Deep Learning框架TensorFlow，通過MNIST數據來實現ALI模型。所涉及到Tensorflow的一些很簡單的一些解說，包括tf.Variable()和tf.placeholder()的一些用法以及區別，同時給出一小段代碼案例。雖然提到了最簡單的兩個Tensorflow，tf.Variable()和tf.placeholder()，但是在本文中，不深入解釋更多的關于TensorFlow的運用以及神經網絡是如何搭建的。最后，我們將結果組合成模型。

使用Tensorflow建立ALI模型

背景
由于這次做項目的時候用到ALI這個Model，朋友希望自己能夠為ALI和GAN來寫一點自己的想法，故作此文。

生成模型已經成為建復雜高維數據集模型的常用的框架，面對復雜性時如同降維二向箔打擊。

什么是ALI模型？
ALI(adversarially learned inference)，中文直譯過來呢，就是對抗學習推理了吧？

在這里簡單的給大家介紹一下ALI模型。既然有一個Adversarial在里面，那想必就和GAN有一點關系了。而GAN(Generative Adversarial Networks)即“生成對抗網絡”就是Deep Learning入門神書的作者Ian Goodfellow的神作。

GAN的idea就是同時訓練兩個模型，一個生成模型，一個Discriminative Model。我們把生成模型簡寫成G，Discriminative Model簡稱為D。而實現的方法，是讓兩個網絡相互競爭。

生成模型是用來獲取數據的分布情況的，而D則是用來估計來自訓練數據的概率的。生成模型的訓練過程就是想辦法把D的錯誤概率給最大化。在任意函數G和D的空間中，存在唯一的解決方案，G恢復訓練數據分布，D等于1/2。在G和D由多層感知器定義的情況下，整個系統可以用BP來進行訓練。

在Training或Generating樣本的期間，不需要任何馬爾科夫鏈或展開的近似推理網絡。，也就是活生生的把推理給繞過去了。當然還有Autoregressive Approaches（自回歸方法）放棄潛在的表征，而是直接對輸入變量之間的關系進行建模。或多或少的砍掉或者放棄掉一些東西。

自回歸模型可以生成相當出色的樣本，但是犧牲掉了速度。同時其要求學習之前數據的抽象表達。而基于GAN的方法代表了一個很好的妥協：他們學習一個生成模型，生成比最佳VAE技術更高質量的樣本，而不犧牲采樣速度，并且還利用潛在代表在生成過程中。然而，GAN缺乏有效的推理機制，使得GANs無法在抽象層面推理數據。因此大牛們在研究如何優雅的將GANs其他的方法進行結合，出雜交種，其實本質意義上就是在兩個短板中互相妥協罷了。

ALI是個通過Generation Network和Inference Network。 兩個Model來對懟。也就是將Inference Machine（或encoder）和深度定向G Model（decoder）投入到類似GAN的對抗框架中學習。

訓練一個鑒別器，以便將來自解碼器的聯合樣本的數據和相應的潛在變量的聯合樣本與編碼器（或近似后驗）區分開，而編碼器和解碼器被一起訓練以愚弄鑒別器。我們不僅要求鑒別器區分合成樣本與實際數據，而且要求它區分數據空間和潛在變量之間的兩個聯合分布。生成網絡將樣本從隨機潛在變量映射到數據空間，而推理網絡將數據空間中的訓練示例映射到潛在變量的空間。

ALI概念圖

我們可以針對GAN得出以下構想：

兩個一個生成器，一個判別器共兩個神經網絡重復博弈。

今天用Tensorflow實現一下，同時解釋一些Tensorflow的Concept

在這里，我們設置好我們的參數。

導入大名鼎鼎的MNIST數據

一個簡單的科普

很多人其實經常就是Tensorflow的第一步就愣住了，臥槽？？？這是什么玩意？？？為了讓大家不至于——“臥槽這是什么玩意？”簡單的給大家說一下tf.placeholder：

其實大家看模型的時候（包括看Keras或者TensorLayer），其實經常可以看到兩個很經典東西：

tf.Variable()tf.placeholder()

這兩個有什么區別呢？

為了訓練我們的example，我們首先要立個placeholder。tf.placeholder是用來feed我們需要訓練的example的，同時tf.placeholder是必須用feed_dict來fed！！！

給大家舉個例子：

在這里呢，sess.run(y_example)是會被弄死的，因為你只能用feed_dict來fed我們的tf.placeholder,但是我們對比一下tf.Variable的話，tf.Variable是通過run()調用來維護狀態的，也就是說，在之前的我們的sess.run(y_example)是可以受用于tf.Variable的。

通過構造tf.Variable來向圖中添加變量。同時tf.Variable()的構造函數需要給定任何類型和形狀的Tensor變量的初始值。初始值定義變量的類型和形狀，其變量的type和shape是固定的。因此，在這里我們主要使用tf.placeholder來feed我們需要訓練的example的。

OK，現在進入正題

先定義幾個簡單的小函數，包括一些必要的log和sample的函數以及后期用到的導出結果的可視化函數。

由于這一環節沒有任何的難點，不做多余闡述：

在這里解釋一下Q、P、D三個函數：? Q函數，將

現在我們通過tf.Session()來跑模型。最后，說一下這個很經常出現Session()。Tensorflow以Graph的計算而得名，而Session()封裝了執行Operation對象的環境。通過Session可以執行圖的計算。與Session相近的有tf.InteractiveSession()? tf.InteractiveSession()將自己安裝為構建中的默認Session。而簡單直接的方法也有這般：

常規會話會在with語句中創建時將其自身作為默認會話。一般我們在代碼中的用法是這樣的，我也比較常用Session()這個方法就是了：

總結一下一般的啟動邏輯：

因此，tensorflow就將底層給配置好之后，我們在tensorflow這個大環境里愉快的奔跑。而難點就在于Variable的各種的設置和run的操作方法。初期，Variable被大量的套路給設定好，我們可以通過別人的輪子，來配適。

但是Deep Learning的從業者的核心價值應該在于能夠自己的將自己想做的數據導入自己的模型，而不是簡單的調參或者利用別人的輪子滾來滾去。各種算法和一些主流的實現就像加減乘除一般了然于胸，并且有自己做輪子的能力。

將模型訓練十萬次（如果有想法的，請換一臺支持GPU的電腦，要不然可能會等很久。），我們將1000Iteration為一個單位，print一次：

由于導出大量的圖片，我在這里就給大家看一下對比圖,? 最早的圖：

不久之后：

本文由ALI Paper, arxiv依照Tensorflow重現。ALI的概念非本人提出，本人根據自己對ALI的理解通過Tensorflow進行實現，并且運行于Jupyter中。所有代碼在Windows10,Python3.5,TensorflowGPU版(1.1.0rc2)完美運行。限于本人水平，可能有出現一定的錯誤，如有失誤，歡迎交流。同時，由于本人學習Deep Learning的時候直接接觸英文材料，故一些專有名詞的翻譯可能存在一些偏差。故一些專有名詞直接保留為原單詞，不做翻譯。ALI的翻譯沒有參考過任何相關中文信息，由本人直接查閱在Arxiv上ALI的原文所得。如果有想來交流的小伙伴，歡迎私信。? Reference

1、ALI Paper, arxiv
2、GAN - Paper, NIPS
3、GAN - Goodfellow
4、生成模型與判別模型 zouxy09,csdn
5、Adversarial machine learning - ACM Digital Library
Running Graph

原文發布時間為：2017-05-15? 本文作者：那只貓 本文來自云棲社區合作伙伴“Python中文社區”，了解相關信息可以關注“Python中文社區”微信公眾號

總結

以上是生活随笔為你收集整理的ALI的Tensorflow炼成与GAN科普的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。