針對SRGAN提出的幾點改進，獲得了PIRM2018視覺質(zhì)量的第一名。

首先是使用去掉BN層的Residual in Residual Dense Block作為網(wǎng)絡的basic unit。并且使用residual scling 和 smaller initialization幫助訓練更深的網(wǎng)絡。

第二點改進是使用了Relativistic Discriminator來預測真實圖像$x_r$比生成圖像$x_f$更真實的可能性，而不是簡單判斷某個圖片是否是真實圖像。$D_{R_a}(x_r, x_f)=\sigma(C(x_r)-E_{x_f}[C(x_f)])$, $\sigma$為sigmoid函數(shù)，$E_{x_f}[\cdot]$是取mini-batch中所有fake data的平均， $C(x)$為non-transformed discriminator的輸出。那么GAN的loss就對應為：

$L_D^{Ra}=-E_{x_r}[log(D_{Ra}(x_r, x_f))]-E_{x_f}[log(1-D_{Ra}(x_f, x_r)], L_G^{Ra}=-E_{x_r}[log(1-D_{Ra}(x_r, x_f))]-E_{x_f}[log(D_{Ra}(x_f, x_r))]$這樣的loss使得generator可以同時從生成數(shù)據(jù)和真實數(shù)據(jù)的梯度中受益。

第三點改進是在loss中使用activation之前的特征，而不是使用activation后的特征。特征經(jīng)過activation后非常的稀疏，特別是對于網(wǎng)絡深度深的情況。實驗發(fā)現(xiàn)使用activation后的特征會造成亮度上的不一致。

訓練時先訓練一個PSNR-oriented 網(wǎng)絡$G_{PSNR}$再用fine-tuning的方法獲得一個GAN-based 網(wǎng)絡$G_{GAN}$。這樣的方式可以避免generator落入local optima，使discriminator最開始就得到相對好的圖像幫助他更關(guān)注于區(qū)分紋理從何得到視覺上更好的效果。為了平衡$G_{PSNR}$和$G_{GAN}$的效果，使用了network interpolation。作者也嘗試使用其他兩種方法：直接interpolate輸出圖像，這種方法無法達到a good trade-off between noise and blur；調(diào)整content loss和adversarial loss之間的權(quán)重，這種方式需要對網(wǎng)絡進行微調(diào)，過于costly。

總結(jié)

以上是生活随笔為你收集整理的esrgan_ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks【阅读笔记】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。