簡(jiǎn)介

（1） 論文（包括期刊和發(fā)表時(shí)間）：
Real Image Denoising with Feature Attention（ICCV 2019）
（2） 論文鏈接：
https://arxiv.org/pdf/1904.07396.pdf
（3）源代碼鏈接：
https://gitee.com/wangmingMY/RIDNet/tree/master/TestCode/code

主要idea

深度卷積神經(jīng)網(wǎng)絡(luò)在含有空間不變?cè)肼?合成噪聲)的圖像上表現(xiàn)更好;然而，它們的性能在真實(shí)的噪聲照片上存在局限，需要多階段的網(wǎng)絡(luò)建模。為了提高去噪算法的實(shí)用性，本文提出了一種采用模塊化結(jié)構(gòu)的一階段盲真圖像去噪網(wǎng)絡(luò)(RIDNet)。作者利用殘差結(jié)構(gòu)上的殘差來(lái)緩解低頻信息的流動(dòng)，并利用特征注意來(lái)挖掘信道的相關(guān)性。

• 提出基于CNN的真實(shí)圖像去噪方法，采用兩階段模型;提出的第一個(gè)模型，提供了最先進(jìn)的結(jié)果，只使用一個(gè)階段；
• 該模型是第一個(gè)在去噪中加入特征注意的模型；
• 目前大多數(shù)模型的是連續(xù)連接的;因此，增加深度并不能幫助提高性能。同樣，這樣的網(wǎng)絡(luò)也會(huì)受到梯度消失的影響。同時(shí)提出了一個(gè)模塊化網(wǎng)絡(luò)，其中增加模塊的數(shù)量有助于提高性能；
• 在三個(gè)合成圖像數(shù)據(jù)集和四個(gè)真實(shí)圖像噪聲數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，表明此模型在合成圖像和真實(shí)圖像的定量和定性上都達(dá)到了最新的水平。

網(wǎng)絡(luò)結(jié)構(gòu)-RIDNet：

網(wǎng)絡(luò)結(jié)構(gòu)主要包含特征提取、4個(gè)EAM組成的殘差模型、重建。
其中EAM的結(jié)構(gòu)：

兩個(gè)空洞卷積分支，用來(lái)增大感受野（receptive field），然后拼接加上一個(gè)卷積融合

兩個(gè)類(lèi)似殘差學(xué)習(xí)結(jié)構(gòu)，用來(lái)進(jìn)行特征提取

通道注意力機(jī)制：

損失函數(shù)-MAE：
$$L(W)=\frac{1}{N}\sum _{i=1}^N||RIDNet(x_i)?y_i|{|}_1,$$
其中：$W$表示一組學(xué)習(xí)的所有網(wǎng)絡(luò)參數(shù)，$N$代表已經(jīng)給出$n$個(gè)訓(xùn)練樣本對(duì)，$RIDNet$是文中作者使用的網(wǎng)絡(luò)，$x$代表噪音輸入，$y$代表真實(shí)輸入。

實(shí)驗(yàn)簡(jiǎn)介

1.數(shù)據(jù)集：四個(gè)嘈雜的現(xiàn)實(shí)世界數(shù)據(jù)集和合成噪聲數(shù)據(jù)集
（1）RNI15：提供15張真實(shí)的嘈雜圖像。 不幸的是，沒(méi)有為此提供干凈的圖像
數(shù)據(jù)集。因此，只有定性比較此數(shù)據(jù)集并呈現(xiàn)。
（2）DND：包含11個(gè)靜態(tài)場(chǎng)景和通過(guò)以下方法獲得的相應(yīng)無(wú)噪聲圖像：同一場(chǎng)景的500張嘈雜圖像。該數(shù)據(jù)集尺寸是巨大的；因此，作者裁剪了圖像512×512色塊，并從中隨機(jī)選擇110張圖片用于測(cè)試。
（3）Nam：其中最初包含50對(duì)真實(shí)世界的噪音和無(wú)噪音的場(chǎng)景。 場(chǎng)景被進(jìn)一步裁剪為提供者提供的512×512大小的補(bǔ)丁產(chǎn)生1000張較小圖像的數(shù)據(jù)集。
（4）SSID：作者已收集了3萬(wàn)張實(shí)時(shí)圖像及其相應(yīng)的清晰圖像。但是，僅發(fā)布了320張圖像進(jìn)行訓(xùn)練和1280張圖像對(duì)用于驗(yàn)證
（5）三個(gè)合成噪聲數(shù)據(jù)集從廣泛使用的12幅經(jīng)典圖像、其中BSD68彩色和灰度68圖像中用于測(cè)試。
2.實(shí)驗(yàn)方案設(shè)計(jì)：
（1）為了生成有噪聲的合成圖像，作者使用BSD500[44]、DIV2K[4]和MIT-Adobe FiveK[15]生成4k圖像，而對(duì)于真正有噪聲的圖像，作者使用來(lái)自SSID、Poly和RENOIR的512×512裁剪補(bǔ)丁。對(duì)訓(xùn)練圖像進(jìn)行數(shù)據(jù)增強(qiáng)，包括90?，180?，270?隨機(jī)旋轉(zhuǎn)和水平翻轉(zhuǎn)。在每個(gè)訓(xùn)練批中，提取32個(gè)patch作為輸入，大小為80 × 80。使用Adam[36]作為具有默認(rèn)參數(shù)的優(yōu)化器。學(xué)習(xí)速率最初設(shè)置為10?4，然后在105次迭代后減半。該網(wǎng)絡(luò)在Pytorch框架中實(shí)現(xiàn)，并使用Nvidia Tesla V100 GPU進(jìn)行訓(xùn)練。此外，使用PSNR作為評(píng)價(jià)指標(biāo)。
（2）進(jìn)行Ablation Studies（去除模型或算法的某些“特征”，并觀察其對(duì)性能的影響。）其中分為兩方面：跳躍連接的影響和功能關(guān)注。
第一方面：跳過(guò)連接在該網(wǎng)絡(luò)中起著至關(guān)重要的作用。文中演示了跳躍連接的有效性。其模型由三種基本類(lèi)型的連接組成，包括長(zhǎng)跳接連接(LSC)、短跳接連接(SSC)和本地連接(LC)。表中顯示了BSD68數(shù)據(jù)集的平均PSNR。當(dāng)所有跳過(guò)連接都可用時(shí)，性能最高，而當(dāng)沒(méi)有任何連接時(shí)，性能較低。同時(shí)還觀察到，在沒(méi)有跳過(guò)連接的情況下增加網(wǎng)絡(luò)深度對(duì)性能沒(méi)有好處。
第二方面：該網(wǎng)絡(luò)的另一個(gè)重要方面是功能關(guān)注。表中比較了有和沒(méi)有特征注意的網(wǎng)絡(luò)的PSNR值。結(jié)果支持了作者關(guān)于使用特征注意的好處的說(shuō)法。自DnCNN成立以來(lái)[63]，CNN模型已經(jīng)成熟，進(jìn)一步的性能改進(jìn)需要仔細(xì)設(shè)計(jì)塊和feature maps的重新調(diào)節(jié)。這兩個(gè)特征在論文中以模型中以特征-注意和跳躍連接的形式出現(xiàn)

（3）作者評(píng)估算法使用峰值Signalto-Noise比率(PSNR)指數(shù)的誤差度量和比較對(duì)許多先進(jìn)的競(jìng)爭(zhēng)算法,包括傳統(tǒng)方法即CBM3D , WNNM , EPLL , CSF和CNN-based denoisers即MLP。TNRD, DnCNN, IrCNN , CNLNet ,FFDNet和CBDNet。為了比較公平，本文作者使用其他相關(guān)作者提供的傳統(tǒng)方法的默認(rèn)設(shè)置。
（4）在三個(gè)合成圖像數(shù)據(jù)集和四個(gè)真實(shí)圖像噪聲數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，表明此模型在合成圖像和真實(shí)圖像的定量和定性上都達(dá)到了最新的水平。其中部分效果如圖：

實(shí)驗(yàn)結(jié)果

輸入1：

輸出1：

輸入2：

輸出2：

輸入3：

輸出3：

輸入4：

輸出4：

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的二维码图像去噪文献调研(1)--Real Image Denoising with Feature Attention的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。