這里寫目錄標題

• 1、GANs
• • 1.1數學基礎
  • 1.2 GANs算法原理

1、GANs

1、GAN的原理入門
2、李宏毅2017深度學習 GAN生成對抗神經網絡相關學習視頻合集

1.1數學基礎

1、概率與統計

概率與統計是兩個不同的概念。

概率是指:模型參數已知，$X$未知，$p(x_1)...p(x_n)$ 都是對應的$x_i$的概率

統計是指:模型參數未知，$X$已知，根據觀測的現象，求模型的參數

2、似然函數與概率函數

似然跟概率是同義詞，所以似然也是表示概率，但這個概率有些不一樣。

• 似然是指：模型在不同參數下， $p(x_1)...p(x_n)$ 發生的概率

• 似然估計是指：模型的參數未知，$X$已知，根據觀測現象（$X$），估計模型參數的過程.“模型已定，參數未知”

如果 $\theta$ 是已知確定的， $x$是變量，這個函數叫做概率函數($probabilityfunction$)，它描述對于不同的樣本點$x$ ，其出現概率是多少。

如果$x$ 是已知確定的，$\theta$ 是變量，這個函數叫做似然函數($likelihoodfunction$), 它描述對于不同的模型參數，出現$x$ 這個樣本點的概率是多少。

最大似然估計（為什么要最大）：
對于觀測數據集$x_1,x_2...x_n$, 在$\theta$下發生的概率分別是$p(x_1|\theta ),p(x_2|\theta )...p(x_n|\theta )$, 所以出現該觀測數據集的概率為 $P(X|\theta )=p(x_1|\theta )p(x_2|\theta )...p(x_n|\theta )$, 那想一想為什么我一下就會抽出$x_1,x_2...x_n$這$n$個數據呢？一種直觀的解釋就是 它們發生的概率大，所以 就是求讓 $P(X)$最大下的$\theta$，這就是最大似然估計。

3、最大后驗概率

最大似然是求參數，讓$P(X|\theta )$最大，最大后驗概率是讓$P(X|\theta )P(\theta )$最大，相當于給似然函數加了一個關于$\theta$的權重。這有點像正則化里加懲罰項的思想，不過正則化里是利用加法，而$MAP$里是利用乘法）

為什么要讓 $P(X|\theta )P(\theta )$ 最大？

我們是根據一群觀測數據$X=（x_1,x_2...x_n)$估計模型的參數，即求 $P({\theta }_0|X)$, 用貝葉斯改一下就是

$P({\theta }_0|X)=P(X|{\theta }_0)P({\theta }_0)/P(X)$ , 對于給定的觀測序列X來說$P（X）$是固定的，所以我們求后驗概率$P({\theta }_0|X)$最大就是求$P(X|{\theta }_0)P({\theta }_0)$最大

對于貝葉斯公式來說， 其實就是 【后驗概率$P({\theta }_0|X)$】 等于 【似然函數 $P(X|{\theta }_0)$】 乘以 【先驗概率$P({\theta }_0$)】

4、期望
（1）離散型

（2）連續型

5、最大似然估計與KL散度

6、GAN目標函數與JS散度


所以說，$minmax$游戲本質上是最小化$JS$散度，即$\min (?2log2+2\times JSD(P_{data}||P_G))$

參考：https://www.cnblogs.com/bonelee/p/9166084.html

1.2 GANs算法原理

前向傳播階段

• 模型輸入
  1、我們隨機產生一個隨機向量作為生成模型的數據，然后經過生成模型后產生一個新 的向量，作為 $FakeImage$，記作$D(z)$。
  2、從數據集中隨機選擇一張圖片，將圖片轉化成向量，作為 $RealImage$,記作 $x$
• 模型輸出
  將由 $1$ 或者 $2$ 產生的輸出，作為判別網絡的輸入，經過判別網絡后輸出值為一個 $0$ 到 $1$ 之間的數，用于表示輸入圖片為 $RealImage$ 的概率，$real$ 為 $1$，$fake$ 為 $0$。 使用得到的概率值計算損失函數，解釋損失函數之前，我們先解釋下判別模型的輸入。 根據輸入的圖片類型是 $FakeImage$ 或 $RealImage$ 將判別模型的輸入數據的 $label$ 標記為 $0$ 或者 $1$。即判別模型的輸入類型為$(x_{fake},0)$或者$(x_{real},1)$。

反向傳播階段

• 優化目標
  
  （$z$表示輸入$G$的隨機噪聲）判別模型$D$要最大概率地分對真實樣本（最大化 $\log (D(x)$)，而生成模型$G$要最小化$D(G(z)）$，即最大化 $\log (1?D(G(z)))$。$G$和$D$同時訓練，但是訓練中要固定一方，更新另一方的參數，交替迭代，使對方的錯誤最大化。最終，$G$能估計出真實樣本的分布。
  第一步：優化 $D$
  
  優化 $D$，即優化判別網絡時，沒有生成網絡什么事，后面的 $G(z)$就相當于已經得到的假 樣本。優化 $D$ 的公式的第一項，使得真樣本 $x$ 輸入的時候，得到的結果越大越好，因為真樣 本的預測結果越接近1越好；對于假樣本$G(z)$，需要優化的是其結果越小越好，也就是$D(G(z))$ 越小越好，因為它的標簽為 $0$。但是第一項越大，第二項越小，就矛盾了，所以把第二項改 為 $1?D(G(z))$，這樣就是越大越好。
  第二步：優化 $G$
  
  在優化 $G$ 的時候，這個時候沒有真樣本什么事，所以把第一項直接去掉，這時候只有假 樣本，但是這個時候希望假樣本的標簽是 $1$ ，所以是 $D(G(z))$ 越大越好，但是為了統一成 $1?D(G(z))$ 的形式，那么只能是最小化 $1?D(G(z))$，本質上沒有區別，只是為了形式的統一。之 后這兩個優化模型可以合并起來寫，就變成最開始的最大最小目標函數了。

• 判別模型的損失函數
  

• 生成模型的損失函數
  

• 論文 ：https://arxiv.org/abs/1812.04948

• 代碼 ：https://github.com/NVlabs/stylegan

• 完整GANs筆記：http://www.gwylab.com/note-gans.html

• StyleGAN詳細解讀：http://www.gwylab.com/pdf/Note_StyleGAN.pdf

• 基于StyleGAN的一個好玩的網站：http://www.seeprettyface.com/

• ppt地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

總結

以上是生活随笔為你收集整理的GANs的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。