1. 簡介

1.1 騰訊多媒體實驗室

1.2 噪聲的來源

1.3 硬件降噪方法

2. 傳統(tǒng)降噪方法

2.1 單幀降噪

上面的PPT中包含了雙邊濾波和小波變換的示意圖。通常我們會拿雙邊濾波和高斯濾波進行對比。對于高斯濾波來說，在處理當前像素的過程中會用到當前像素附近的像素做加權平均，權重取決于當前像素和周圍像素的距離，距離越遠則權重越小。雙邊濾波除了考慮距離之外，還會考慮當前像素和周圍像素顏色的差異，對距離近但顏色差異大的像素會分配一個小的權重，這樣做就不會模糊了邊界，實現了保持邊界的濾波。右側是小波變換的示意圖，在小波變換之后信號被分解到不同頻帶，同時每個頻帶還保留了一定的空域信息。通過對這些小波系數做閾值處理、濾波或者基于統(tǒng)計建模的處理，再反變換回空域，可以實現有效的降噪效果。

上圖來自2008年的一篇文章，它結合了小波變換和雙邊濾波兩種方法，對低頻信號做雙邊濾波，對高頻信號做閾值處理，結合之后生成低頻信號再做雙邊濾波，如此反復。這個方法的優(yōu)勢是可以針對不同的頻帶調節(jié)降噪的強度，同時保持了邊界。適用范圍廣，可以針對不同的攝像頭模組調節(jié)降噪參數，所以很多基于硬件的單幀降噪模塊使用的就是小波變換結合雙邊濾波的方法。

上圖給出了一個“效果好”的例子，自相似結合變換域。左邊的圖解釋的是自相似的概念，對每個塊在圖像內進行搜索，找到與之相似的一系列塊。經典的非局部平均（Non-Local Means）降噪算法會將這些相似塊在空間域做加權平均。如果更近一步，將這些相似塊變換到頻域，在頻域做一些濾波和閾值處理之后再轉換回空間域，就是自相似與變換域結合的方法，比如經典的單幀降噪算法BM3D利用的就是這樣的原理。類似的，還有自相似結合稀疏編碼、自相似結合低秩等，都可以實現很好的單幀降噪效果。

2.2 多幀降噪

接下來介紹一下傳統(tǒng)的多幀降噪方法。在光線比較暗的情況下，我們用手機拍照按下快門的時刻，會記錄下多張圖像，算法會將這些圖像做對齊、融合，形成一張圖像。這樣做相當于延長了曝光時間，使得感光元器件接收到了更多的光子，增加了信噪比，同時又不會因為手持相機和曝光時間過長而導致圖像模糊。如果對四張圖像做對齊融合，則相當于每個像素多采集到了四倍數量的光子，換算成信噪比有6分貝的提升，這對于圖像質量來說是一個非常可觀的數字。多幀降噪的主要步驟有兩個：對齊和融合。對齊就是找到多個圖像中像素（塊）的對應關系；融合是將這些對應的像素（塊）在空域或者頻域做加權平均。為了確定加權平均的權重值，我們需要知道像素（塊）之間的差異是由于對齊不準造成的還是因為噪聲造成的，因此需要估計噪聲強度。一個準確的噪聲強度估計算法，對多幀降噪的效果會起到至關重要的作用。

上圖是谷歌在2016年發(fā)表的一篇手機圖像質量增強的文章，介紹的是HDR+算法，用在了谷歌手機上。HDR+有很多圖像處理模塊，其中就包括了剛才介紹的多幀降噪。HDR+的多幀降噪實現在Raw域，由于Raw域的圖像沒有經過后續(xù)非線性圖像處理模塊的影響，所以可以在Raw域中對圖像中的噪聲進行比較精確地建模，有了噪聲建模的結果之后就可以對噪聲強度做估計并運用到多幀降噪算法中去。

2.3 視頻降噪

視頻降噪與上面介紹的多幀降噪類似，為了達到更好的降噪效果也會用到臨近幀的信息，把臨近幀中相似的像素塊做融合處理。在手機端對視頻的每一幀做這樣的操作，又要保持實時性是很困難的。因此需要硬件的支持，使用快速的對齊算法，或者用運動檢測代替運動估計，根據檢測到的運動強度，對時域濾波和空域濾波的結果做加權平均。

3. 深度學習降噪方法

基于深度學習的降噪通常會使用圖像到圖像的卷積網絡。右邊的示例圖給出的是圖像到標簽和圖像到圖像卷積網絡的對比，可以看出圖像到標簽的網絡在處理大分辨率的圖像時，可以先做縮放，把圖像分辨率縮小后再輸入網絡。而對于圖像到圖像的卷積網絡，輸入通常是原始分辨率的圖像，輸出也是同樣分辨率的，對于像超分這樣的應用，輸出的分辨率甚至更大，所以即使卷積層的層數非常少，計算復雜度仍然是很高的，對顯存的需求也高。另外，基于深度學習的降噪方法通常需要使用含有真實噪聲的訓練數據才能達到比較好的處理效果。

3.1 單幀降噪網絡結構

上圖列舉了幾個用于降噪的深度學習算法。參考文獻[5]是最早使用深度模型做降噪的文章之一，帶有噪聲的圖像經過一系列的卷積處理，最后生成一張只包含噪聲的殘差圖。參考文獻[6]使用自編碼結構，編碼端由卷積層構成，解碼端由反卷積層構成，編碼端與解碼端有一系列的跳過連接。參考文獻[7]使用了生成對抗網絡，通過對降噪網絡和判別網絡做聯合優(yōu)化，提升降噪網絡的處理效果。參考文獻[8]研究網絡的“深”與“寬”對降噪效果的影響，它得出的結論是網絡寬一些（更多的通道數、更大的卷積核）會使降噪效果更好。參考文獻[9]使用傳統(tǒng)方法結合深度學習進行圖像處理。這里的傳統(tǒng)圖像處理方法是一個循環(huán)迭代的優(yōu)化過程，其中的每一步迭代都可以用深度模型替代其中的部分處理過程。

3.2 視頻降噪

這里介紹幾個使用深度學習做視頻降噪的例子。參考文獻[10]是DVDNet，它會對當前幀和臨近幀做空域上的卷積降噪，然后通過光流網絡將臨近幀與當前幀對齊，最后在對齊后的圖像上做時域降噪。參考文獻[11]是DVDNet的加速版，為了提高處理速度，它舍棄了光流對齊，直接把臨近幀輸入到一個兩級的深度網絡中做降噪。參考文獻[12]提出了EDVR網絡，它介于上述兩種方法之間，沒有用現成的光流對齊方法，也沒有完全去掉對齊的過程，而是在一個叫做PCD（Pyramid Cascading Deformable convolution）的模塊里將卷積處理后得到的特征圖進行對齊。需要指出的是，EDVR并不是用來做降噪的，而是用來做超分和去模糊的，但這樣的處理方式同樣可以用來做降噪。

3.3 真實噪聲數據庫

使用深度學習做降噪，訓練的過程最好可以使用包含真實噪聲的數據庫。上圖右側的列表給出了一些包含真實噪聲的數據庫，每個數據庫提供的圖像個數并不多。為了訓練深度模型，數據庫需要提供“無噪聲”的圖像作為Ground Truth （GT），獲得GT的方法主要有兩種，一種是使用低ISO長曝光的圖像作為GT，另外一種是融合多張高ISO短曝光的圖像作為GT。不管使用哪種方法，噪聲圖像與GT之間還是會存在對齊不準、顏色不匹配的情況，因此還需要做后處理（左下圖）才能得到更準確的訓練圖像對。

3.4 模擬真實噪聲

很多早期基于深度學習的降噪方法會使用模擬的噪聲圖像進行訓練。
他們會在sRGB空間的“無噪聲”圖片中加入高斯白噪聲或者柏松噪聲。
用這些方式加入的噪聲很不真實，所以訓練出的降噪模型效果不好。
上圖是2019年CVPR發(fā)表的一篇文章，文中使用的噪聲數據也是模擬出來的，但更精確的模擬了噪聲的形態(tài)。
它模擬ISP的處理過程，對“無噪聲“的圖像做了一個ISP”反處理“，將圖像從sRGB空間變換到Raw域，在Raw域加入光子散粒噪聲、讀噪聲。
由于這種方法可以更好的模擬真實拍攝到的噪聲圖像，學習出的深度降噪模型在DND真實噪聲數據集上取得了非常好的效果。

4. 發(fā)展趨勢

最后我想與大家分享我個人對于降噪技術發(fā)展趨勢的判斷。首先手機上的降噪將逐漸硬件化。目前，手機上的圖像降噪效果有很大一部分是軟件實現的，比如，之前多數手機是不支持硬件多幀降噪的。而現在越來越多的高、中端手機平臺芯片都開始支持多幀降噪、基于運動補償的視頻降噪等。另外一個發(fā)展趨勢是智能化，既越來越多的使用深度模型進行圖像處理。如上所述，深度模型做圖像、視頻處理速度慢，資源消耗高。但隨著終端設備計算能力的不斷增強，異構計算平臺的發(fā)展，以及模型壓縮技術的進步，在終端使用深度學習做圖像處理會變的越來越多。最后一個趨勢是多功能，一個深度模型同時處理多個任務，比如同時實現降噪、超分、增強等功能。硬件化、智能化和多功能將是未來降噪技術的三個發(fā)展趨勢。

總結

以上是生活随笔為你收集整理的图像视频降噪的现在与未来——从经典方法到深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。