作者 | Alan

授權(quán)轉(zhuǎn)載自 |?https://zhuanlan.zhihu.com/p/121721537

CVPR2020：Structure-Preserving Super Resolution with Gradient Guidance

• 論文：https://arxiv.org/pdf/2003.13081.pdf

• 代碼：https://github.com/Maclory/SPSR

我們知道，結(jié)構(gòu)信息在超分辨率問題中相當重要。目前已經(jīng)有很多感知驅(qū)動的方法(SRGAN、ESRGAN、EnhanceNet)使用 GAN Loss 和 Perceptual Loss 生成較為逼真，且細節(jié)豐富的超分圖像。然而，在這些恢復的圖像中總是存在一些我們并不希望它出現(xiàn)的結(jié)構(gòu)變形，如下圖1所示。

僅僅使用 L1 Loss 的RCAN生成圖像的輪廓邊緣雖然相對規(guī)則，但是整體較為模糊。SRGAN、ESRGAN、NatSR等生成的圖像則存在明顯的結(jié)構(gòu)變形。

圖 1. 局部圖像細節(jié)對比

因此，論文提出了結(jié)構(gòu)保留超分辨率方法 SPSR，以緩解結(jié)構(gòu)變形的同時，保留 GAN 方法生成豐富紋理細節(jié)的優(yōu)點。特別的是，論文使用了圖像的梯度信息去指導圖像復原。

如何通過梯度信息指導圖像復原？

主要有兩點：

1.SPSR 采用了一個額外的梯度分支網(wǎng)絡，生成高分辨率梯度圖，作為額外的結(jié)構(gòu)先驗。

2.SPSR 引入了新的梯度損失，對超分辨率圖像施加了二次約束。

因此，梯度信息以及梯度 Loss 能夠進一步幫助生成網(wǎng)絡更多的關(guān)注圖像的幾何結(jié)構(gòu)。除此之外，SPSR 這個方法同樣適用于其它 SR 模型方法。

從圖 1 可以看到， SPSR 不僅能夠生成比 RCAN 更清晰的結(jié)果，同時保留更加精細的幾何結(jié)構(gòu)。

圖 2. Overall framework of SPSR

網(wǎng)絡結(jié)構(gòu)

1.梯度圖 Gradient Map

首先SPSR 從 LR 圖像中提取 LR 梯度圖，通過計算相鄰像素之間的差異獲得：

基于公式自己實現(xiàn)的代碼如下(具體實現(xiàn)請參考源碼)：

import torch import torch.nn as nnclass Gradient_Map(nn.Module):def __init__(self):super(Gradient_Map,self).__init__()self.pad = nn.ReplicationPad2d((1,0,1,0))def get_gray(self,x):''' Convert image to its gray one.'''gray_coeffs = [65.738, 129.057, 25.064]convert = x.new_tensor(gray_coeffs).view(1, 3, 1, 1) / 256x_gray = x.mul(convert).sum(dim=1)return x_gray.unsqueeze(1)def forward(self,x):x = self.pad(x)x = self.get_gray(x)h = x.size()[2]w = x.size()[3]I_x = torch.pow((x[:,:,1:,1:]-x[:,:,:h-1,1:]),2)I_y = torch.pow((x[:,:,1:,1:]-x[:,:,1:,:w-1]),2)M_I = torch.pow(I_x+I_y,0.5)return M_I

2.梯度分支網(wǎng)絡Gradient branch

從圖2中可以看到，梯度分支網(wǎng)絡中的模塊首先會合并來自SR分支網(wǎng)絡的幾個中間層輸出特征，這是由于SR分支網(wǎng)絡中間層包含豐富的結(jié)構(gòu)信息，這對于梯度圖的恢復有著關(guān)鍵的作用。其次，在梯度分支網(wǎng)絡末端，梯度圖的特征信息又會合并到 SR 分支網(wǎng)絡，用于指導SR 重建過程。

3.SR分支網(wǎng)絡 SR branch

對于SR分支網(wǎng)絡一共有兩個部分：

第一部分：采用了與 ESRGAN 相同的網(wǎng)絡結(jié)構(gòu)，一共有23個 RRDB 模塊。并且第5，10，15，20個RRDB 模塊的輸出用于合并到梯度分支網(wǎng)絡。

第二部分：連接從梯度分支網(wǎng)絡獲得的SR梯度特征圖，再使用一個 RRDB 模塊+一個卷積層生成最后的SR 特征。

PS：關(guān)于網(wǎng)絡模型的實現(xiàn)細節(jié)論文中并沒有做過多的介紹，因此具體的實現(xiàn)還需要等待作者公開源碼。

目標函數(shù)和損失

1.傳統(tǒng) Loss：

首先使用了 L1 Loss 和 Perceptual Loss：

同時還引入 GAN Loss：

2.梯度 Loss：

為了說明梯度 Loss 的作用，論文作者給出了一個1-D 情況下的示例。可以看到，如果僅通過L1損失在圖像空間中對模型進行優(yōu)化，當給定輸入測試序列后，通常得到的SR序列，如圖3（b）所示，而其GT序列 如圖3（a）所示。

該模型無法恢復鋒利的邊緣，原因在于該模型傾向于從訓練數(shù)據(jù)中給出所有的HR序列統(tǒng)計的中位數(shù)值。于是再這種情況下，如果計算并顯示兩個序列的梯度值，則可以觀察到SR梯度是平坦且峰值較低，而HR的梯度是一個尖峰。兩者梯度分布相差明顯。

因此，引入梯度 Loss ，模型則能夠更好地從梯度空間中學習圖像特征。它有助于模型將注意力集中在圖像鄰域，以便可以更適當?shù)赝茢喑鰣D像銳度的局部強度。于是，當圖像梯度信息，如圖3(f)的所示，被模型捕捉到，那么 SR 方法則能夠更好地在這些梯度信息引導中，避免過度模糊或者過度銳化的復原，從而生成更加逼真的超分辨率圖像。

圖3. 梯度信息的1-D示例。

梯度 Loss 的具體形式如下：

?用于衡量SPSR 網(wǎng)絡中生成的SR梯度特征圖與真實梯度特征圖之間的絕對誤差。

SPSR 設計了額外的一個梯度判別網(wǎng)絡用于優(yōu)化以下?lián)p失函數(shù)，梯度特征圖為 SR 圖像的梯度特征圖：

梯度判別網(wǎng)絡通過對抗學習也能夠監(jiān)督SR 圖像的生成網(wǎng)絡：

值得注意的是：梯度提取操作符??是可微的，因此模型可以直接端到端進行訓練。

整體優(yōu)化目標函數(shù)為：

其中，??是不同 Loss的權(quán)重參數(shù)，論文中分別設置為??。

實驗結(jié)果和分析

為了說明 SPSR 的有效性，論文從定量和定性的比較進行了說明。

首先從定量的角度，論文選取了 SFTGAN，SRGAN，ESRGAN，NatSR 等基于 GAN 網(wǎng)絡的SR 模型與 SPSR 進行對比。評價指標使用了PI 、PSNR、SSIM、LPIPS 4個指標。可以看到 SPSR 在 LPIPS指標和 PI 指標上取得了最佳的性能表現(xiàn)。

表1.Benchmark 上的性能評價

然后通過生成圖像的可視化對比，可以看到其它方法生成的圖像局部區(qū)域幾何結(jié)構(gòu)上都存在較為明顯的形變，SPSR 生成的結(jié)果則更加自然而且真實。除此之外，SPSR 圖像更加純凈沒有明顯的偽影和形變。以上也充分說明了 SPSR 方法的有效性。

圖4.局部細節(jié)對比

總結(jié)

論文提出了一個基于梯度指導的結(jié)構(gòu)保留超分辨率方法SPSR，緩解了感知驅(qū)動方法生成的SR結(jié)果中普遍存在的幾何變形問題。不僅設計了梯度分支網(wǎng)絡用于生成SR 梯度特征圖，同時引入梯度 Loss 做了進一步的約束。這也給后續(xù)超分辨率方法的研究提供了一個新的思路，利用不同的圖像先驗信息作為約束，指導 SR 模型訓練，以促使SR模型生成更自然和真實的圖像。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統(tǒng)計學習方法》的代碼復現(xiàn)專輯 AI基礎(chǔ)下載機器學習的數(shù)學基礎(chǔ)專輯 獲取本站知識星球優(yōu)惠券，復制鏈接直接打開： https://t.zsxq.com/qFiUFMV 本站qq群704220115。加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【CV】CVPR2020丨SPSR：基于梯度指导的结构保留超分辨率方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。