今天將和大家一起學習具有很高知名度的SNGAN。之前提出的WGAN雖然性能優(yōu)越，但是留下一個難以解決的1-Lipschitz問題，SNGAN便是解決該問題的一個優(yōu)秀方案。我們將先花大量精力介紹矩陣的最大特征值、奇異值，然后給出一個簡單例子來說明如何施加1-Lipschitz限制，最后一部分講述SNGAN。

作者&編輯 | 小米粥

在GAN中，Wasserstein距離比f散度擁有更好的數學性質，它處處連續(xù)，幾乎處處可導且導數不為0，所以我們更多的使用Wasserstein距離。在上一期的結尾，我們得到critic（判別器）的目標函數為：

本篇所講的SNGAN便是一種“嚴格”地解決了判別器1-Lipshcitz約束的方法。

1 最大特征值（奇異值）

我們從矩陣的特征值、奇異值開始說起。在線性代數中，Ax=b表示對向量x做矩陣A對應的線性變換，可以得到變換后的向量b。如果x為矩陣A對應的特征向量，則有：

即對特征向量x做矩陣A對應的線性變換的效果是：向量方向不變，僅長度伸縮λ?倍！比如，對

兩個特征值、特征向量分別為：

線性變換作用在特征向量的效果如下：

對于一般向量x，對其線性變換的中間運算過程可以分解為三步。例如對于計算Ax，其中x=[0,1]，先將x分解到兩個特征向量上：

然后在兩個特征向量方向上分別進行伸縮變換，有：

最后再進行簡單的向量合成，可有：

一般的，對于非奇異n階方陣，有n個特征向量和與之對應的特征值，故n階方陣A對應的線性變換操作其實可以分解成三步：將向量x先分解到n個特征向量對應的方向上（本質是求解x在以特征向量組成的基上的表示），分別進行伸縮變換（在特征向量組成的基上進行伸縮變換），最后進行向量合成（本質是求解得到的新向量在標準基上的表示）。這其實就是在描述熟悉的矩陣特征值分解：

特征值是對應于方陣的情況，將其推廣至一般矩陣，便可引出奇異值。奇異值分解形式為：

簡單說，特征值分解其實是對線性變換中旋轉、縮放兩種效應的歸并，奇異值分解正是對線性變換的旋轉、縮放和投影三種效應的一個析構（當V的維度大于U的維度時存在投影效應）。

說了這么多，其實是為了直觀地解釋一個問題，對于任意單位向量x，Ax的最大值(這里使用向量的2范數度量值的大小)是多少？顯然，x為特征向量v2時其值最大，因為這時的x全部“投影”到伸縮系數最大的特征向量上，而其他單位向量多多少少會在v1方向上分解出一部分，在v1方向上只有2倍的伸縮，不如在v2方向上4倍伸縮的值來的更大。這樣，我們可以得到一個非常重要的式子：

其中σ (A)表示A的最大特征值（奇異值），也稱為A的譜范數。

2?Lipshcitz限制

所謂Lipshcitz限制，在最簡單的一元函數中的形式即:

或者也可以寫成：

直觀上看，它要求f(x)任意兩點之間連線的“斜率”絕對值小于Lipshcitz常數k。在WGAN中要求k=1，1-Lipshcitz限制要求保證了輸入的微小變化不會導致輸出產生較大變化。我們常見的函數，比如分段線性函數|x|，連續(xù)函數sin(x)都顯而易見的滿足該限制：

我們以一個最簡單的例子來展示一下，如何使用譜范數施加1-Lipshcitz限制。考慮f(x)=Wx，其中

顯然，f(x)=Wx不滿足1-Lipshcitz限制，利用第一部分的結論，考慮到

那么若將W整體縮小4倍，

即可以得到：

可以看出，雖然線性函數f(x)=Wx不滿足1-Lipshcitz限制，但是可使用譜范數將W的”縮放大小“限定為小于等于1，（有點類似于向量的歸一化操作）這樣處理后的f*(x)可以滿足1-Lipshcitz限制。接下來，我們將對這條思路進行補充、推廣，最后得到SNGAN將是顯而易見的事情了。

3 SNGAN

通常在神經網絡中的每一層，先進行輸入乘權重的線性運算，再將其送入激活函數，由于通常選用ReLU作為激活函數，ReLu激活函數可以用對角方陣D表示，如果Wx的第i維大于0，則D的第i個對角元素為1，否則為0，需要注意D的具體形式與W,x均有關系，但是D的最大奇異值必然是1。

因此，一般而言，即使神經網絡的輸出是非線性的，但是在x的一個足夠小的鄰域內，它一個表現(xiàn)為線性函數Wx，W的具體形式與x有關。真實的判別器f(x)的函數圖像在比較小的尺度上來看應該是類似這種形式的分段函數：

考慮到對于任意給定的x，均有：

整體標記判別器各層的權值、偏置項：

那么可以得到：

根據：

可得到：

不必像第二部分所描述辦法整體求解W的譜范數，充分利用上述不等式，我們只需要計算每層的權值矩陣的最大奇異值，即可完成1-Lipshcitz限制。

綜上，有結論：對于任意x

為了嚴格起見，需要說明，f(x)在x的任意鄰域內都滿足1-Lipshcitz限制，則f(x)在定義域上滿足1-Lipshcitz限制。

其實這里有一個遺留的小問題，如何快速求解超大矩陣A的最大奇異值。在原論文中使用了一種冪方法(power method)，隨機給兩個初始變量，然后令：

則經過數次迭代，便有

我們用求最大特征值的例子來輔助理解一下，A對向量x的線性變換的實質是對x在不同的特征向量方向進行伸縮，由于在不同的特征向量方向進行伸縮的幅度不同，造成的結果是：不斷對x做A對應的線性變換，則x的方向不斷靠近伸縮幅度最大的特征向量的方向，如下圖

則經過足夠次數的迭代，得到的新的向量方向與伸縮幅度最大的特征向量的方向重合，故每次迭代結果只差一個常數，即最大特征值。

[1]?Yoshida, Yuichi , and T. Miyato . "Spectral Norm Regularization for Improving the Generalizability of Deep Learning." (2017).

[2]?Miyato, Takeru , et al. "Spectral Normalization for Generative Adversarial Networks." (2018).

[3]Wasserstein GAN and the Kantorovich-Rubinstein Duality.? https://vincentherrmann.github.io/blog/wasserstein/

總結

這篇文章帶領大家一起學習了SNGAN，學習了特征值和奇異值相關問題，學習如何使用譜范數解決1-Lipschitz限制，并推導了SNGAN，最后給出了一個快速求解矩陣最大奇異值的方法。下一期的內容將比較“數學”一點，介紹一個個人非常喜歡的統(tǒng)一理論，它將WGAN和諸多GAN納入一個框架。

下期預告：IPM與xGAN

GAN群

有三AI建立了一個GAN群，便于有志者相互交流。感興趣的同學也可以微信搜索xiaozhouguo94，備注"加入有三-GAN群"。

知識星球推薦

有三AI知識星球由言有三維護，內設AI知識匯總，AI書籍，網絡結構，看圖猜技術，數據集，項目開發(fā)，Github推薦，AI1000問八大學習板塊。

有三AI知識星球官宣，BAT等大咖等你來撩

【知識星球】千奇百怪的網絡結構板塊更新到哪里了？

轉載文章請后臺聯(lián)系

侵權必究

往期精選

• 【GAN優(yōu)化】GAN優(yōu)化專欄上線，首談生成模型與GAN基礎

• 【GAN的優(yōu)化】從KL和JS散度到fGAN

• 【GAN優(yōu)化】詳解對偶與WGAN

• 【技術綜述】有三說GANs（上）

• 【模型解讀】歷數GAN的5大基本結構

• 【完結】深度學習CV算法工程師從入門到初級面試有多遠，大概是25篇文章的距離

• 【完結】優(yōu)秀的深度學習從業(yè)者都有哪些優(yōu)秀的習慣

• 【完結】給新手的12大深度學習開源框架快速入門項目

• 【完結】總結12大CNN主流模型架構設計思想

• 【AI不惑境】數據壓榨有多狠，人工智能就有多成功

• 【AI不惑境】網絡深度對深度學習模型性能有什么影響？

• 【AI不惑境】網絡的寬度如何影響深度學習模型的性能？

• 【AI不惑境】學習率和batchsize如何影響模型的性能？

• 【AI不惑境】殘差網絡的前世今生與原理

• 【AI不惑境】移動端高效網絡，卷積拆分和分組的精髓

總結

以上是生活随笔為你收集整理的【GAN优化】详解SNGAN(频谱归一化GAN)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。