【知识星球】图像降噪模型和数据集内容开启更新，经典问题永垂不朽！
歡迎大家來到《知識星球》專欄，這里是網絡結構1000變小專題，今天介紹的是我們知識星球圖像降噪模型和數據集相關專題上線。
作者&編輯 | 言有三
1 圖像降噪問題
圖像降噪是深度學習中一個看似小眾，但是卻非常經典而且潛力巨大的問題，目前的研究雖然在仿真數據集上取得了不錯的效果，但是在真實數據集上的研究剛剛起步，深度學習還大有可為！
另一方面，以去雨去污垢等為代表的應用也屬于圖像降噪問題，研究離實際應用落地還很遠，我們星球開啟相關的網絡結構和數據集內容更新了，值得大家關注。
有三AI知識星球-網絡結構1000變
DncNN
DncNN是深度學習圖像降噪中一個非常經典的模型，它不是恢復無噪聲圖，而是估計噪聲殘差。
作者/編輯 言有三
圖像降噪任務輸入有噪聲圖像，輸出無噪聲圖像，一般來說基于深度學習進行圖像降噪任務訓練時會使用對稱的編解碼結構，使用仿真的高斯白噪聲和MSE損失，如下圖所示：
而這里的DncNN模型則采用了一種不同的思路，不是直接輸出去噪圖像，而是預測殘差圖像，即噪聲觀察和潛在的干凈圖像之間的差異，網絡結構如上，損失函數如下：
這個方法將圖像去噪視為一種判別學習問題：即通過卷積神經網絡將圖像與噪聲分離，從而可以進行盲高斯去噪。所謂盲高斯去噪，就是說未知的高斯噪聲水平。
在每一層的卷積之前進行0填充，該模型架構中間層的每個特征圖都和輸入圖像大小相同。簡單的零填充策略不會導致任何邊界偽影，這對于圖像降噪問題來說也是非常重要的。
現有的判別式高斯去噪方法，如MLP，CSF和TNRD，都訓練了固定噪聲水平的特定模型。當應用于具有未知噪聲的高斯去噪時，一種常見的方法是首先估計噪聲水平，然后訓練有相應噪聲水平的模型，這使得去噪結果受到噪聲估計精度的影響。
而此方法在訓練階段使用來自各種噪聲水平的噪聲圖像來訓練單個DnCNN模型，不需要估計其噪聲水平。并且結構非常簡單，是一個很有效的模型。
上圖展示了學習到的殘差和去噪案例，下圖展示了一些實際的去噪樣本，效果還是很明顯的。GitHub上開源實現非常多，大家可以自行嘗試。
[1]?Zhang K, Zuo W, Chen Y, et al. Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.
有三AI知識星球-網絡結構1000變
Attentive Generative Adversarial Network?for Raindrop Removal
Attentive Generative Adversarial Network for Raindrop Removal是一個Attention機制與GAN的結合，在判別器和生成器中同時使用Attention機制學習定位雨點信息，利用GAN網絡補全被雨點覆蓋的區域，獲得了很好的結果。
作者/編輯 言有三
首先看生成器，包含attentive-recurrent network(注意力循環網絡)和a contextual autoencoder(多尺度編解碼器)。
注意力循環網絡使用一個循環網絡來提取目標區域，每一個注意力模塊都包含了5個ResNet模塊，一個LSTM單元，一個卷積層。
每一個注意力模塊的輸入是特征圖和Attention Map進行Concat，第一個模塊則是輸入圖和初始化為0.5的Attention Map進行Concat，這一部分的MSE損失如下：
其中At就是Attention Map，而M就是有雨點圖和對應無雨點圖的二值化后的差值Mask。
這樣的LSTM循環網絡重復N個時間步長后，逐漸學習定位到雨滴區域，下圖展示了不同epoch的最后Attention Map的輸出。
下面再看contextual autoencoder，它將輸入圖像和注意力分布圖Concat后作為輸入，應用基于跳層連接的編解碼結構。其損失包含兩部分，多尺度的編解碼損失和感知損失。
多尺度的編解碼損失就是在不同尺度上計算生成圖和對應尺度真值圖的MSE差異，用了原尺寸的1/4、1/2和1三個尺度。
感知損失利用了一個預訓練好的VGG模型來進行計算。
而判別器，也使用了注意力機制，從判別器中間某層提取特征輸入CNN獲得Attention Map，在輸入下一層之前將其與判別網絡的原始特征相乘從而引導判別器將注意力集中在Attention Map所指定的區域上。
具體的損失函數如下：
Lmap就是添加的Attention Map的損失，包含生成圖O和真實無雨滴圖R兩部分的MSE損失。
那么最終的效果如何呢？
上面第一幅圖是和一些主流方法的對比，第二幅圖是采用不同模塊的本方法自身對比，A表示單獨編解碼結構，A+d表示編解碼結構+判別器，A+ad表示編解碼結構+判別器+編解碼結構添加注意力機制，Aa+AD是完整結構。
以上的實驗對比完全驗證了本模型設計思想的有效性與相對于其他方法能夠更好的去除雨點。
[1] Qian R, Tan R T, Yang W, et al. Attentive generative adversarial network for raindrop removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2482-2491.
有三AI知識星球-數據集
RENOIR Dataset
RENOIR是一個真實的圖像降噪數據集，包含了3個子數據集，分別是Xiaomi Mi3，Canon S90，Canon T3i拍攝，擁有低噪和高噪對比圖。
作者/編輯 言有三
數據集地址：http://ani.stat.fsu.edu/~abarbu/Renoir.html，發布于2014年。
RENOIR是一個真實的圖像降噪數據集，用Xiaomi Mi3，Canon S90，Canon T3i拍攝。低噪聲圖像，也就是被當作groundtruth的圖像，是使用低ISO采集的，通常也具有較長的曝光時間，高噪聲圖像則是使用兩檔更高ISO的設備采集的，具體配置如下：
對于低噪聲圖像來說，同樣的配置采集兩次，一幅是最開始，另一幅是采集完高噪聲圖像后再采集，如果PSNR低于34，則該圖就會被丟棄。
[1]?Anaya J, Barbu A. RENOIR–A dataset for real low-light image noise reduction[J]. Journal of Visual Communication and Image Representation, 2018, 51: 144-154.
2 如何掌握網絡設計和數據使用
關于如何系統性學習網絡結構設計和數據使用，可以閱讀我們對星球生態的介紹，有三風格的干貨，相信你不會失望。
如何系統性掌握深度學習中的數據使用
如何系統性掌握深度學習模型設計和優化
有三AI知識星球的內容非常多，大家可以預覽一些內容如下。
以上所有內容
加入有三AI知識星球即可獲取
來日方長
點擊加入
不見不散
更多精彩
每日更新
轉載文章請后臺聯系
侵權必究
往期精選
有三AI知識星球官宣，BAT等大咖等你來撩
揭秘7大AI學習板塊，這個星球推薦你擁有
有三AI 1000問回歸，備戰秋招，更多，更快，更好，等你來戰！
【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言
【知識星球】顏值，自拍，美學三大任務簡介和數據集下載
【知識星球】數據集板塊重磅發布，海量數據集介紹與下載
【知識星球】貓貓狗狗與深度學習那些事兒
【知識星球】超3萬字的網絡結構解讀，學習必備
【知識星球】視頻分類/行為識別網絡和數據集上新
【知識星球】3D網絡結構解讀系列上新
【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的
【知識星球】Attention網絡結構上新，聚焦才能贏
【知識星球】幾個人像分割數據集簡介和下載
【知識星球】總有些骨骼輕奇，姿態妖嬈的模型結構設計，不知道你知不知道，反正我知道一些
【知識星球】從SVM對偶問題，到疲勞駕駛檢測，到實用工業級別的模型壓縮技巧
總結
以上是生活随笔為你收集整理的【知识星球】图像降噪模型和数据集内容开启更新，经典问题永垂不朽！的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【NLP】TransformerXL：因
- 下一篇： 【每周CV论文推荐】 初学者必须精读的5