好久不見~甚是想念

由于年底了要處理的事情變得特別多，突然間醒悟好久沒更新啦

于是深夜給大家帶來一篇生成對抗網絡在圖片美學增強上的應用。

首先來個小問題，你能猜出下圖的（b）（c）那一個是手動PS，哪一個是自動PS么？？

不知道大家有沒有猜對，反正我是一臉懵逼，因為覺得都不錯 [攤手]

如何獲得堪比手動PS的自動PS效果呢？下面就具體講講GAN網絡實現圖片風格自動增強的方法。

傳統的圖片自動增強方法需要全監督的分別訓練圖片尺寸修改模型（cropping）與顏色增強（color enhancement）模型。而作者提出的EnhanceGAN只需要弱監督（一個表示美學質量的二進制標簽即可），并且可以對尺寸修改與色彩增強的模型參數實現自適應調整。

相關概念

Aesthetic Quality Assessment:

? ? ? ? 基于人的審美感知區分美學上高質量與低質量的圖片。一般基于data-driven的CNN網絡模型。

Automatic Image Enhancement:

? ? ? ? 主要分為以下兩點

Cropping and Re-targeting: 旨在尋找最能表現美學價值的區域，將照片進行裁剪等修改使之更具有美學觀賞性。

Color Enhancement and Style Transfer: 通過調整畫面整體顏調使美學效果更加突出。使用regression models 和 ranking models 將輸入圖片映射到相應的groundtruth。

網絡模型結構

Preliminary

傳統的GAN網絡由一個生成器G和一個判別器D構成

假設pg為z~pz時G(z)的分布，當pg收斂于實際數據分布pdata時，式(1)將達到全局最優值。

文章中作者參考了[1]里面的損失函數的定義

式中fw是K-Lipschitz連續，可通過判別網絡D進行逼近。

Generator Network (NetG)

與普通GAN不同的是，文中設計的EnhanceGAN可自學習圖片風格增強的參數{o}。對應不同的變換系數{To}，給定輸入圖片I，可得到輸出

其中oL和oAB分別對應光照與顏色的調整系數，ocrop對應裁剪參數。

Generator network的結構采用ResNet-101（不含最后一層全連接層），并將最后一層池化層用來保存特征映射后的空間信息。如下圖a所示。

圖片裁剪的目的則是獲得系數ocrop=[x,y,w,h]。基于attention models [2]，cropping模型采用了一個卷積層（2048 --1），kernel size 1*1。如下圖b所示。

而Top-K average pooling則是根據概率將元素聚類。如下圖c所示。

Generator網絡效果如下所示

而顏色增強模型在CIELab color space上，對于每一個像素點m，都有如下定義

其中系數oL=[a,b,p,q]和oAB=[oA,oB]=[a,b]均可有the?convolution layer (2048--7)卷積層獲得。

L,A,B的輸入輸出關系如下圖所示

Generator 的損失函數LG則可有如下幾種形式

Adversarial Loss:

Perceptual Loss:

Regularization Loss:

Discriminator Network (NetD)

文章所設計的判別網絡用于評估圖片美學質量。將ResNet-101網絡中最后一層分類器轉變為一個2個全連接神經元的輸出層。

根據式(2)可以獲得LD的損失函數為

實驗

作者將所設計的網絡應用于CUHK-PhotoQuality Dataset (CUHK-PQ)和AVA Dataset。

1. Quantitative Evaluation

1）圖片美學質量評估

2）圖片自動裁剪

作者定義了一個overlap ratio與Displacement Error來對裁剪效果進行評估

評估結果如下兩表所示

2. User Study

我們讓一個專業的修圖師幫我們用PS處理下100幅圖片與文中所設計的EnhanceGAN處理的100幅圖片進行對比，將圖片發給26個評委進行打分，具體分數分布如下所示

下列是具體圖片的得分分布

據統計，作者提出的 EnhanceGAN 美學評價均分為5.327，專業的人工修圖得分為 5.419 ，原圖得分4.254 。

可以說，設計的網絡在圖片風格自動增強方面還是很不錯的~

[1] M. Arjovsky, S. Chintala, and L. Bottou. Wasserstein gan.?arXiv:1701.07875, 2017. 2, 3, 4, 5, 7

[2]?K. Xu, J. Ba, R. Kiros, K. Cho, A. C. Courville, R. Salakhutdinov,?R. S. Zemel, and Y. Bengio. Show, attend and tell:?Neural image caption generation with visual attention. In?ICML, volume 14, 2015. 4

論文來源：

Deng Y, Loy C C, Tang X. Aesthetic-Driven Image Enhancement by Adversarial Learning[J]. arXiv preprint arXiv:1707.05251, 2017.

---

隨著攝影平臺積累的數據和用戶的手動標注信息越來越多，相關的公司和團隊在這個研究上將具有絕對壓倒性的優勢。

? ? ? ? 這里還是給自己的攝影分享公眾號《言有三工作室》和攝影平臺500px，圖蟲做個宣傳。

????????知乎專欄已經開通，歡迎來吐槽，投稿

https://zhuanlan.zhihu.com/c_146817036?group_id=923257138554384384

總結

以上是生活随笔為你收集整理的【GAN的应用】基于对抗学习的图像美学增强方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。