dncnn图像去噪_NeuNet2020:BRDNet(开源)使用深度CNN和批量归一化进行图像去噪
最近哈工大的研究團隊于2020年在國際著名的人工智能雜志《神經(jīng)網(wǎng)絡(luò)》上發(fā)表了《利用深度CNN進行批量重正化的圖像去噪》。
作者信息
在論文中，作者提出了一種新的圖像去噪網(wǎng)絡(luò)，稱為批重歸一化去噪網(wǎng)絡(luò)(BRDNet)，可以解決硬件資源受限條件處理數(shù)據(jù)分步不均勻的問題。
介紹
圖像去噪的目的是從嘈雜的圖像中恢復(fù)出清晰的圖像，這是計算機視覺中的經(jīng)典逆問題。由于圖像去噪技術(shù)可以很好地恢復(fù)原始圖像并恢復(fù)細(xì)節(jié)，因此它們被廣泛應(yīng)用于許多領(lǐng)域，例如遙感圖像和醫(yī)學(xué)圖像。
對于嘈雜的圖像，圖像去噪問題可以表示為 ，在哪些是原始圖像，并且 表示具有標(biāo)準(zhǔn)偏差的加性高斯噪聲(AWGN) 。從貝葉斯規(guī)則來看，基于圖像優(yōu)先級的方法是圖像去噪的不錯選擇。
列舉下相關(guān)去噪算法：
例如塊匹配和三維(3D)過濾(BM3D)利用協(xié)作變更來增強圖像去噪的稀疏性。同時使用基于字典學(xué)習(xí)的稀疏表示和基于自相似性的非局部手段可以消除噪聲圖像中的噪聲。非局部集中式稀疏表示(NCSR)集中了稀疏編碼以抑制稀疏編碼噪聲。加權(quán)核規(guī)范最小化(WNNM)，馬爾可夫隨機場(MRF)，梯度法和總變異(TV)方法等也是非常流行的圖像去噪方法。
盡管上述方法在圖像去噪方面表現(xiàn)出出色的性能，但是這些方法中的大多數(shù)都面臨兩個主要挑戰(zhàn)：
(1)手動調(diào)整懲罰參數(shù)
(2)復(fù)雜的優(yōu)化算法。由于自適應(yīng)能力強的學(xué)習(xí)能力，深度學(xué)習(xí)技術(shù)，尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)已成為解決這些問題的最受青睞的方法。
在本文中，我們提出了一種新的圖像去噪網(wǎng)絡(luò)，稱為批重歸一化去噪網(wǎng)絡(luò)(BRDNet)。
首先，BRDNet結(jié)合了兩個網(wǎng)絡(luò)以增加BRDNet的寬度并獲得更多的圖像去噪功能。
接下來，BRDNet使用批處理重歸一化(BRN)解決小型迷你批處理問題，并使用具有跳過連接的殘差學(xué)習(xí)(RL)獲得清晰的圖像。
最后，為了減少計算成本，使用了擴張卷積(Dilated Conv)來捕獲更多特征。
BRDNet方法具有以下貢獻：
(1)提出了一種新穎的深度CNN用于圖像去噪，它可以直接從噪聲圖像中獲得清晰的圖像。與現(xiàn)有的CNN去噪方法不同，所提出的網(wǎng)絡(luò)增加寬度而不是深度，以增強去噪網(wǎng)絡(luò)的學(xué)習(xí)能力。
(2)批量重新歸一化用于圖像去噪，可以解決小型迷你批量問題。而且，BRN還可以加速網(wǎng)絡(luò)訓(xùn)練的融合，并且對特定的硬件平臺沒有任何要求。因此，BRN和CNN的組合用于圖像降噪是低配置硬件設(shè)備(例如GTX 960和GTX 970)的不錯選擇。
(3)BRDNet使用膨脹卷積來擴大接收域，從而使網(wǎng)絡(luò)能夠提取更多上下文信息并降低計算成本。此外，它還可以防止梯度消失或爆炸。另外，殘差學(xué)習(xí)可以進一步提高圖像降噪性能。
(4)實驗結(jié)果證明BRDNet對合成和真實的噪聲圖像均具有魯棒性。
相關(guān)工作
- 深度CNN用于圖像去噪
我們使用深層的CNN進行圖像降噪比BM3D更好的性能。
- 批量重新規(guī)范化
BN方法使用歸一化運算以及縮放和移位運算來解決內(nèi)部協(xié)變量移位問題，BRN可以有效解決BN困境的事實啟發(fā)，因為BRN使用單個樣本而不是整個小型批次來近似訓(xùn)練數(shù)據(jù)的分布。BRN可以有效地解決小型迷你批處理和非獨立的均勻分布迷你批處理問題
- 殘差學(xué)習(xí)和擴張卷積
在增加深度和解決網(wǎng)絡(luò)性能下降之間的權(quán)衡。它融合了提取的要素和幾個堆棧層的輸入作為當(dāng)前層的輸入，從而可以解決梯度消失或爆炸的問題。為此，提出了殘差神經(jīng)網(wǎng)絡(luò)(ResNet)的許多變體用于低水平視覺任務(wù)。例如，非常深的超分辨率(VDSR)利用全局殘差學(xué)習(xí)(GRL)進行圖像恢復(fù)。GRL和梯度修剪操作可以使VDSR加速收斂。深度遞歸卷積網(wǎng)絡(luò)(DRCN)結(jié)合了遞歸機制和GRL來解決圖像恢復(fù)的過擬合問題。深度遞歸殘差網(wǎng)絡(luò)(DRRN)集成了GRL，局部RL和遞歸學(xué)習(xí)以提高圖像恢復(fù)性能等。
膨脹卷積的接收場大小可以使用膨脹因子f 和膨脹的卷積層數(shù) n，比如(4n+1)*(4n+1),膨脹卷積對圖像去噪也有很好的效果。
基于CNN的去噪方法
- 網(wǎng)絡(luò)架構(gòu)
該網(wǎng)絡(luò)稱為BRDNet，由兩個不同的網(wǎng)絡(luò)組成：上層網(wǎng)絡(luò)和下層網(wǎng)絡(luò)。上層網(wǎng)絡(luò)僅由RL和BRN組成。較低層網(wǎng)絡(luò)包括BRN，RL和膨脹卷積。
眾所周知，接收域更大，所設(shè)計的網(wǎng)絡(luò)將具有更高的計算成本。因此，我們選擇一個網(wǎng)絡(luò)(下層網(wǎng)絡(luò))來使用膨脹卷積。考慮到性能和效率之間的平衡，較低網(wǎng)絡(luò)的2–8和10–15層使用膨脹卷積來捕獲更多上下文信息。第一，第十六層使用BRN對數(shù)據(jù)進行歸一化，這使兩個子網(wǎng)的輸出保持相同的分布。此外，BRN對于小批量任務(wù)非常有用，這對于低配置的硬件平臺(例如GTX960和GTX970)非常有用。下一個，RL技術(shù)被融合到兩個通道的網(wǎng)絡(luò)中以提高性能。
圖1。建議的BRDNet網(wǎng)絡(luò)的體系結(jié)構(gòu)。
- 損失函數(shù)
受GooLeNet和DnCNN的激勵，我們選擇均方誤差(MSE)以獲得網(wǎng)絡(luò)的最佳參數(shù)。
訓(xùn)練數(shù)據(jù)集時 給出，BRDNet使用RL獲取模型并預(yù)測殘差圖像，使用噪聲映射。然后我們通過以下方式將嘈雜的圖像轉(zhuǎn)換為清晰的圖像：換句話說，我們擁有并且訓(xùn)練樣本大致獲得了該等式。具體來說，可以通過使亞當(dāng)(Kingma＆Ba，2014)的以下?lián)p失函數(shù)最小化來獲得最佳參數(shù)：
- BRN，膨脹卷積和RL的集成
BRDNet的優(yōu)勢之一是將兩個不同的互補網(wǎng)絡(luò)相結(jié)合進行圖像降噪。
如圖1所示：
第一網(wǎng)絡(luò)主要包括BRN和殘差學(xué)習(xí)。
第二個網(wǎng)絡(luò)集成了BRN，擴張卷積和RL。
從圖1中我們可以看到，通過預(yù)測具有標(biāo)準(zhǔn)偏差的加性高斯白噪聲，BRDNet可以獲得潛在的清潔圖像。首先，可以使用BRDNet來預(yù)測噪聲。然后，它使用獲得的噪聲 產(chǎn)生清晰的圖像 。
設(shè)計的網(wǎng)絡(luò)遵守以下規(guī)則：
首先，更深的網(wǎng)絡(luò)會導(dǎo)致梯度消失或爆炸。因此作者設(shè)計了一種稱為BRDNet的新型降噪網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用兩個不同的子網(wǎng)來減少網(wǎng)絡(luò)深度并獲得更多功能。深度會減小，并且不會產(chǎn)生消失或爆炸的梯度。
其次，訓(xùn)練數(shù)據(jù)的分布通過卷積核來改變。BN被認(rèn)為是解決該問題的不錯選擇。但是，當(dāng)批量較小時，效果不是很好，這限制了它的應(yīng)用。在實際應(yīng)用中，許多硬件設(shè)備會限制內(nèi)存，并且可以運行具有高計算復(fù)雜性的程序。因此，我們使用BRN代替BN來規(guī)范化數(shù)據(jù)，并提高去噪網(wǎng)絡(luò)的收斂速度。BRN的原理如下：
第三，深度網(wǎng)絡(luò)可以提取出更準(zhǔn)確的特征。但是，深度網(wǎng)絡(luò)將丟失一些上下文信息。結(jié)果，我們在BRDNet中使用膨脹卷積來擴大接收域并捕獲更多上下文信息。具體來說，膨脹卷積可以使用更少的層來扮演與更多層相同的角色。從以前的研究中可以知道，增加寬度可以提取更多特征，而BRDNet具有網(wǎng)絡(luò)體系結(jié)構(gòu)，可以增加網(wǎng)絡(luò)的寬度而不是其深度來提取更可靠的功能(稱為兩通道網(wǎng)絡(luò))。因此，兩通道網(wǎng)絡(luò)和擴張卷積的組合對于提高圖像降噪性能非常有效。而且，減小網(wǎng)絡(luò)深度還可以防止梯度消失或爆炸。這樣，BRDNet可以降低計算成本。但是，較低層的網(wǎng)絡(luò)只有膨脹的卷積，這可以使兩個子網(wǎng)絡(luò)產(chǎn)生互補的特征并提高網(wǎng)絡(luò)的泛化能力。看起來，盡管這兩個子網(wǎng)的深度不深，但與非常深的單個網(wǎng)絡(luò)(例如FFDNet和IRCNN)相比，將它們集成起來可以表現(xiàn)良好。在我們看來，擴大的卷積在增加接收場大小方面具有與深層網(wǎng)絡(luò)相似的功能。
最后，我們在BRDNet中使用RL方法來再次提高性能。
實驗結(jié)果
我們主要從以下方面介紹實驗結(jié)果：數(shù)據(jù)集，實驗設(shè)置，成分分析，用于灰色合成噪點圖像和彩色合成噪點圖像的BRDNet，實際噪點圖像降噪以及運行時間。首先，我們介紹BRDNet的參數(shù)。接下來，我們證明本文詳細(xì)介紹的主要技術(shù)的有效性。然后，報告了BRDNet在BSD68和Set12公共數(shù)據(jù)集上的性能，以進行灰色合成噪聲圖像降噪。幾種先進的灰色合成噪聲圖像降噪方法，例如BM3D，WNNM，MLP，可訓(xùn)練的非線性反應(yīng)擴散(TNRD)，預(yù)期斑塊對數(shù)似然性(EPLL)，級聯(lián)收縮場(CSF)，DnCNN，IRCNN和FFDNet與本文提出的方法進行比較。
- 訓(xùn)練數(shù)據(jù)集
對于高斯圖像去噪，我們使用了滑鐵盧勘探數(shù)據(jù)庫中的3,859張圖像來訓(xùn)練模型。
對于真正的噪點圖像降噪，我們使用了來自Xu，Li，Liang，Zhang和Zhang(2018)的 100張圖像來訓(xùn)練模型
- 測試數(shù)據(jù)集
對于灰度噪聲圖像去噪，我們使用高斯噪聲來訓(xùn)練去噪模型。根據(jù)DnCNN和FFDNet方法，我們選擇伯克利細(xì)分?jǐn)?shù)據(jù)集68(BSD68)和Set12(Roth＆Black，2009)作為測試數(shù)據(jù)集。
對于彩色噪聲圖像降噪，我們使用CBSD68，Kodak24(Franzen，1999)和McMaster測試BRDNet的圖像降噪。
圖2。cc數(shù)據(jù)集中的十二個圖像。
圖3.使用不同方法從BSD68數(shù)據(jù)集中以噪聲級別25去除一幅圖像的結(jié)果：(a)原始圖像，(b)噪聲圖像/20.30 dB，(c)WNNM / 29.75 dB，(d)EPLL / 29.59 dB，( e)TNRD / 29.76 dB，(f)DnCNN / 30.16 dB，(g)BM3D / 29.53 dB，(h)IRCNN / 30.07 dB和(i)BRDNet / 30.27 dB。
在噪聲級別為15、25、35、50和75的CBSD68，Kodak24和McMaster數(shù)據(jù)集上，不同方法的平均PSNR(dB)結(jié)果如下：
在真實噪聲圖像上使用不同方法的PSNR(dB)結(jié)果如下：
圖4。McMaster數(shù)據(jù)集中噪聲級別為35的一張彩色圖像的去噪結(jié)果：(a)原始圖像/ 35，(b)噪聲圖像/18.62 dB，(c)CBM3D / 31.04 dB，(d)FFDNet / 31.94 dB和(e)BRDNet / 32.25 dB
結(jié)論
在本文中，作者提出了一種新穎的基于模型的CNN去噪器，稱為BRDNet，它結(jié)合了兩個不同的網(wǎng)絡(luò)以增強圖像去噪性能。此外，BRDNet使用BRN，RL和膨脹卷積來提高去噪性能，并使模型更易于訓(xùn)練。BRN不僅用于加速BRDNet的收斂，還用于解決小批量問題。RL用于從噪點圖像中分離出噪聲，并在BRDNet中獲得潛在的干凈圖像。擴張的卷積可以擴大接收場以獲得更多的上下文信息。實驗結(jié)果表明，BRDNet與其他最新的圖像去噪方法相比具有很強的競爭力。
論文地址：
https://www.sciencedirect.com/science/article/pii/S0893608019302394
開源地址：
https://github.com/hellloxiaotian/BRDNet
總結(jié)
以上是生活随笔為你收集整理的dncnn图像去噪_NeuNet2020:BRDNet(开源)使用深度CNN和批量归一化进行图像去噪的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： mysql 临时表增加主键_MySQL之
- 下一篇： avogadro_Avogadro