https://www.zhihu.com/question/57668112/answer/155367561 Lyken 愿以有涯隨無涯 收錄于?編輯推薦知乎圓桌?·?296 人贊同了該回答

資歷不深，入坑一年的我僅從個人角度談談理解，希望能拋磚引玉。

GAN對于人工智能的意義，可以從它名字的三部分說起：Generative Adversarial Networks。為了方便講述，也緬懷過去兩周在某論壇上水掉的時間，我先從Networks講起。

Networks：（深度）神經網絡

自從12年AlexNet橫空出世后，神經網絡儼然已成為現在learning的主流。比起貝葉斯學派的強先驗假設（priori），SVM在核函數（kernel）上的反復鉆研，神經網絡不需要科研者過多關注細節，只需要提供好海量的數據和設置好超參數，便能達到不錯的效果。用武俠小說的方式來說，便是各大門派高手潛心十余載修煉一陽指／九陰真經／麒麟臂等神功，比試時卻發現有一無名小卒內力浩瀚如海，出手雖毫無章法可言，但在內功的加持下，輕松打得眾人抬不起頭。

Deep系列的算法不僅在眾多benchmark上霸據榜首，其衍生應用也給人工智能帶來了一股新的浪潮，例如創作藝術品（Gatys 的 Neural Alorightm for Artistic Style），AlphaGo（CNN估值 + 蒙特卡洛剪枝），高質量的機器翻譯（Attention + seq2seq）等等。這些衍生應用在部分任務上，已經能媲美人類中的專家，讓人不禁浮想強人工智能（strong AI）的到來。然而，縱使深度網絡（Deep Neural Networks）再強大，它也有自己的局限，生成模型上的不盡人意便是其中之一。

Generative（Model）：生成模型

機器學習的模型可大體分為兩類，生成模型（Generative Model）和判別模型（Discriminative Model）。判別模型需要輸入變量 ，通過某種模型來預測 。生成模型是給定某種隱含信息，來隨機產生觀測數據。舉個簡單的例子，

• 判別模型：給定一張圖，判斷這張圖里的動物是貓還是狗
• 生成模型：給一系列貓的圖片，生成一張新的貓咪（不在數據集里）

眾所周知的imagenet-1000圖像分類，自動駕駛的圖片語義分割，人體骨架點的預測都屬于判別模型，即給定輸入預測某種特征。實際上12～14年的大部分工作都屬于判別模型，為什么呢，原因之一便是判別模型的損失函數（loss）方便定義。

回到根源，什么是機器學習？一句話來概括就是，在訓練過程中給予回饋，使得結果接近我們的期望。對于分類問題（classification），我們希望loss在接近bound以后，就不要再有變化，所以我們選擇交叉熵（Cross Entropy）作為回饋；在回歸問題（regression）中，我們則希望loss只有在兩者一摸一樣時才保持不變，所以選擇點之間的歐式距離（MSE）作為回饋。損失函數（回饋）的選擇，會明顯影響到訓練結果的質量，是設計模型的重中之重。這五年來，神經網絡的變種已有不下幾百種，但損失函數卻寥寥無幾。例如caffe的官方文檔中，只提供了八種標準損失函數 Caffe | Layer Catalogue。

對于判別模型，損失函數是容易定義的，因為輸出的目標相對簡單。但對于生成模型，損失函數的定義就不是那么容易。例如對于NLP方面的生成語句，雖然有BLEU這一優秀的衡量指標，但由于難以求導，以至于無法放進模型訓練；對于生成貓咪圖片的任務，如果簡單地將損失函數定義為“和已有圖片的歐式距離”，那么結果將是數據庫里圖片的詭異混合，效果慘不忍睹。當我們希望神經網絡畫一只貓的時候，顯然是希望這張圖有一個動物的輪廓、帶質感的毛發、和一個霸氣的眼神，而不是冷冰冰的歐式距離最優解。如何將我們對于貓的期望放到模型中訓練呢？這就是GAN的Adversarial部分解決的問題。

Adversarial：對抗（互懟 ）

在generative部分提到了，我們對于貓（生成結果）的期望，往往是一個曖昧不清，難以數學公理化定義的范式。但等一下，說到處理曖昧不清、難以公理化的問題，之前提到的判別任務不也是嗎？比如圖像分類，一堆RGB像素點和最后N類別的概率分布模型，顯然是無法從傳統數學角度定義的。那為何，不把生成模型的回饋部分，交給判別模型呢？這就是Goodfellow天才般的創意--他將機器學習中的兩大類模型，Generative和Discrimitive給緊密地聯合在了一起。

模型一覽

對抗生成網絡主要由生成部分G，和判別部分D組成。訓練過程描述如下

輸入噪聲（隱藏變量）

通過生成部分 得到

從真實數據集中取一部分真實數據

將兩者混合

將數據喂入判別部分 ，給定標簽, （簡單的二類分類器）

按照分類結果，回傳loss

在整個過程中， 要盡可能的使， （火眼晶晶，不錯殺也不漏殺）。而 則要使得 ，即讓生成的圖片盡可能以假亂真。整個訓練過程就像是兩個玩家在相互對抗，也正是這個名字Adversarial的來源。在論文中[1406.2661] Generative Adversarial Networks ，Goodfellow從理論上證明了該算法的收斂性，以及在模型收斂時，生成數據具有和真實數據相同的分布（保證了模型效果）。

從研究角度，GAN給眾多生成模型提供了一種新的訓練思路，催生了許多后續作品。例如根據自己喜好定制二次元妹子（逃），根據文字生成對應描述圖片（Newmu/dcgan_code, hanzhanggit/StackGAN)，甚至利用標簽生成3D宜家家居模型（zck119/3dgan-release），這些作品的效果無一不令人驚嘆。同時，難人可貴的是這篇論文有很強的數學論證，不同于前幾年的套模型的結果說話，而是從理論上保證了模型的可靠性。雖然目前訓練還時常碰到困難，后續已有更新工作改善該問題（WGAN, Loss Sensetive GAN, Least Square GAN)，相信終有一日能克服。

從通用人工智能高層次來看，這個模型率先使用神經網絡來指導神經網絡，頗有一種奇妙的美感：仿佛是在辯日的兩小兒一樣，一開始兩者都是懵懂的幼兒，但通過觀察周圍，相互討論，逐漸進化出了對外界的認知。 這不正是吾等所期望的終極智能么 -- 機器的知識來源不再局限于人類，而是可以彼此之間相互交流相互學習。也難怪Yann Lecun贊嘆GAN是機器學習近十年來最有意思的想法 https://medium.com/@devnag/generative-adversarial-networks-gans-in-50-lines-of-code-pytorch-e81b79659e3f 。

?

轉載于:https://www.cnblogs.com/DjangoBlog/p/8000767.html

總結

以上是生活随笔為你收集整理的知乎：GAN 的发展对于研究通用人工智能有什么意义？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。