Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

作者：Xiao-Jiao Mao、Chunhua Shen等

本文提出了一個深度的全卷積編碼-解碼框架來解決去噪和超分辨之類的圖像修復(fù)問題。網(wǎng)絡(luò)由多層的卷積和反卷積組成，學(xué)習(xí)一個從受損圖像到原始圖像的端到端的映射。卷積層負(fù)責(zé)特征提取，捕獲圖像內(nèi)容的抽象信息，同時消除噪聲/損失。相對應(yīng)，反卷積層用來恢復(fù)圖像細(xì)節(jié)。

網(wǎng)絡(luò)結(jié)構(gòu)

在底層圖像修復(fù)領(lǐng)域，由于池化操作會丟失有用的圖像細(xì)節(jié)信息，因此，本網(wǎng)絡(luò)沒有用到池化層，是一個全卷積的網(wǎng)絡(luò)結(jié)構(gòu)。

卷積層的特征圖和與之相應(yīng)成鏡像關(guān)系的反卷積層特征圖進行跳躍連接，對應(yīng)像素直接相加后經(jīng)過非線性激活層然后傳入下一層。

受 VGG 模型的啟發(fā)，卷積核大小都設(shè)置為為 3*3。另外，由于網(wǎng)絡(luò)結(jié)構(gòu)本質(zhì)上是一個像素級的預(yù)測，因此輸入可以是任意大小的圖片，輸出和輸入保持一致。

反卷積解碼器

在全卷積的情況下，噪聲一步步地被消除。經(jīng)過每一個卷積層后，噪聲等級減小，圖像內(nèi)容的細(xì)節(jié)也可能會隨之丟失。在本篇論文提出的結(jié)構(gòu)中，卷積層保留了主要的圖像內(nèi)容，而反卷積層則用來補償細(xì)節(jié)信息，可以達(dá)到良好去噪效果的同時較好地保留圖像內(nèi)容。

另一方面，卷積層逐漸減小特征圖的大小，反卷積層再逐漸增大特征圖的大小，最終確保輸入輸出大小一致，也可以保證在移動端計算能力有限情況下的測試效率。

跳躍連接

正如殘差網(wǎng)絡(luò)的設(shè)計初衷，跳躍連接可以解決網(wǎng)絡(luò)層數(shù)較深的情況下梯度消失的問題，同時有助于梯度的反向傳播，加快訓(xùn)練過程。

通過傳遞卷積層的特征圖到反卷積層，有助于解碼器擁有更多圖像細(xì)節(jié)信息，從而恢復(fù)出更好的干凈圖像。

針對輸入噪聲圖像 X 和輸出干凈圖像 Y，本網(wǎng)絡(luò)致力于學(xué)習(xí)一個殘差即 F(X) = Y - X。

討論

實驗 (a) 對比有無跳躍連接情況下 PSNR 隨迭代次數(shù)的變化，可以看到有跳躍連接的情況下 PSNR 有顯著提高。

實驗 (b) 對比不同網(wǎng)絡(luò)結(jié)構(gòu)下 Loss 值隨迭代次數(shù)的變化，可以看到在同等層數(shù)的網(wǎng)絡(luò)下，有跳躍連接時 Loss 值相對要小很多。

實驗 (c) 對比一般的殘差網(wǎng)絡(luò)(由一系列的殘差塊組成)和本文提出的網(wǎng)絡(luò)情況下 PSNR 隨迭代次數(shù)的變化，可以看到本文中提出的這種跳躍連接方式可以獲得更好的 PSNR。

網(wǎng)絡(luò)的大容量使得本文提出的結(jié)構(gòu)能夠處理不同噪聲等級的圖像去噪問題和不同尺寸參數(shù)的超分辨問題。

實驗

因為本網(wǎng)絡(luò)的卷積核僅僅是為了消除噪聲，因此對圖像內(nèi)容的方向不敏感。所以，在測試的時候，我們可以旋轉(zhuǎn)或者鏡像翻轉(zhuǎn)卷積核進行多次前向傳播，然后對多次的輸出取平均從而得到一個更平滑的結(jié)果。

圖像去噪的實驗結(jié)果對比

圖像超分辨的實驗結(jié)果對比

可以看到，RED-20, 10 層卷積 10 層反卷積的情況下已經(jīng)取得了比傳統(tǒng)方法好的效果，而且加深網(wǎng)絡(luò)之后還可以取得更好的效果。

噪聲等級越大，本文中提出的網(wǎng)絡(luò)比其他網(wǎng)絡(luò)的提高幅度就越大，也就是優(yōu)勢越明顯。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python怎么实现图像去噪_基于深度卷积神经网络和跳跃连接的图像去噪和超分辨...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。