個人論文閱讀筆記，可能存在許多瑕疵和錯誤，歡迎評論指正，謝謝~~

1. 總括

盲點網(wǎng)絡(luò)BSN假設(shè)噪聲信號是像素獨立且零均值的情況下，從相鄰噪聲像素重建干凈像素而不參考相應(yīng)的輸入像素。然而已知真實噪聲（圖像上存在的真實噪聲，并非合成噪聲）具有空間相關(guān)性，這不符合BSN的基本假設(shè)：噪聲與像素?zé)o關(guān)。

由于像素獨立于噪聲等不太實際的假設(shè)，使用自監(jiān)督盲點去噪網(wǎng)絡(luò)處理空間相關(guān)的真實噪聲具有挑戰(zhàn)性。為了打破真實噪聲的空間相關(guān)性，PD通過使用固定步長因子對噪聲圖像進(jìn)行了下采樣來創(chuàng)建馬賽克 ，從而增加噪聲信號之間的實際距離。然而，當(dāng)以完全自我監(jiān)督的方式處理真實噪聲時，將PD集成BSN并非易事，如果沒有來自額外的噪聲清潔合成對的知識，它就無法獨立存在。造成這種限制的主要原因是像素獨立假設(shè)和重建質(zhì)量之間的權(quán)衡。例如，較大的PD步長因子（＞3）可以確保嚴(yán)格的像素獨立噪聲假設(shè)，并有利于訓(xùn)練期間的BSN。然而，它也會破壞噪聲圖像中的詳細(xì)結(jié)構(gòu)和紋理。相反，較小的PD步長因子（＜3）在訓(xùn)練BSN時，保留了圖像結(jié)構(gòu)，但不能滿足像素獨立假設(shè)。

受這些觀察結(jié)果的啟發(fā)，本文提出了非對稱PD（AP），它使用不同的步幅因子進(jìn)行訓(xùn)練和推理。對于真實噪聲，我們系統(tǒng)地驗證了訓(xùn)練和推理步長的特定組合可以彌補彼此的缺點。然后，將AP集成到BSN（AP-BSN），它可以學(xué)習(xí)以完全自我監(jiān)督的方式去噪真實噪聲輸入，而不需要任何潛在噪聲的先驗知識。所提出的AP可以解決特定PD步長因子引起的固有權(quán)衡，并使用BSN適用于實際場景。此外，提出了隨機(jī)替換細(xì)化（），這是一種新的后處理方法，可以不增加任何額外訓(xùn)練（任何參數(shù)）的的情況下提高AP-BSN的性能。

2. BSN and PD

2.1. Blind-spot network.

BSN是傳統(tǒng)CNN的變體，它沒有看到感受野的中心像素來預(yù)測相應(yīng)的輸出像素。BSN?可以學(xué)習(xí)以自監(jiān)督的方式對噪聲圖像進(jìn)行去噪。為了簡單起見省略了顏色通道,所以圖像的分辨率為H×W。要訓(xùn)練BSN，必須滿足以下兩個假設(shè)：噪聲時空間上的，既像素級的、獨立的和零均值的。在這樣的假設(shè)下，最小化自監(jiān)督損失等價于傳統(tǒng)的監(jiān)督學(xué)習(xí)，如下所示：

其中是噪聲輸入的干凈真實值，是監(jiān)督去噪損失函數(shù)，c是常數(shù)。

圖2表示，在現(xiàn)實世界中，相鄰像素之間的噪聲強度基于其相對距離顯示出不可忽略的相關(guān)性。由于相鄰的噪聲信號可以作為推斷看不見的中心像素的線索，我們已經(jīng)確定BSN在真實的sRGB圖像上作為近似恒等映射。

2.2. Pixel-shuffle downsampling?

PD被用于打破真實噪聲中的空間相關(guān)性。具體來說，被視為步長因子為s像素重組的逆操作。由于真實噪聲信號與少數(shù)相鄰像素有關(guān)，PD過程中的下采樣可能會打破它們之間的依賴關(guān)系。然后傳統(tǒng)的去噪算法可以應(yīng)用于降采樣圖像，其中PD逆運算之后重建全尺寸輸出。為了保留圖像紋理和細(xì)節(jié)，將步長因子設(shè)置為2，即，以獲得最佳性能。

PD原文關(guān)于PD的解釋：Pixel-shuffle Down-sampling被定義為通過以步幅 s 對圖像進(jìn)行采樣來創(chuàng)建馬賽克。與線性插值、雙三次插值和像素面積關(guān)系等其他下采樣方法相比，對噪聲圖像進(jìn)行Pixel-shuffle和最近鄰下采樣不會影響真實的噪聲分布。此外，與其他像素相比，Pixel-shuffle還可以通過保留圖像中的原始像素來促進(jìn)圖像恢復(fù)。這兩個優(yōu)勢產(chǎn)生了 PD 策略的兩個階段：適應(yīng)和細(xì)化?

3. Method

我們的目標(biāo)是以自監(jiān)督的方式在真實的sRGB圖像上推廣BSN，為此，我們采用PD并最小化以下?lián)p失來訓(xùn)練BSN：

其中，是和BSN的管道的輸出，即。我們使用范數(shù)來更好地泛化，而不是損失。首先將給定的噪聲圖像分解為子圖像。是這些子圖像的平鋪，如圖4所示。然后，我們將BSN應(yīng)用于子圖像，并使用PD逆運算重建輸出。

當(dāng)使用等式（2）中的自監(jiān)督損失進(jìn)行訓(xùn)練時，PD-BSN不適用于真實噪聲圖像。圖像3c和3d表明and無法從給定的噪聲輸入中恢復(fù)干凈清晰的圖像，無論PD步長因子是多少。

3.1. PD-BSN中的權(quán)衡

3.1.1. Breaking spatial correlation

最初，PD被提出用于減少真實圖像中相鄰噪聲信號直接的空間相關(guān)性。雖然zhou等人采用步長因子2，但我們在圖像2a中的分析表明，步長因子應(yīng)至少為5，以最小化給定噪聲信號中的相關(guān)性。換句話說，子圖像的噪聲信號仍然是空間上相關(guān)的。其中，BSN的像素獨立噪聲假設(shè)不成立。

3.1.2. Aliasing artifacts(混疊效應(yīng))

隨著步長因子s變得更大，來自的子圖像遭受更強的混疊程度。從信號處理的角度來看，當(dāng)原始信號沒有適當(dāng)?shù)膸捪拗茣r，降采樣會出現(xiàn)混疊。由于PD過程在子采樣之前不利于低通濾波器，我們已經(jīng)確定，當(dāng)應(yīng)用大跨距PD時，混疊作為一種噪聲形式發(fā)生，例如s＝5，如圖4所示。

和之間的比較。每個操作分別將給定圖像分解為 4 和 25 個子圖像。在來自 PD5 的子圖像中，我們用紅色標(biāo)記了混疊偽影，即黑點，這可以解釋為 BSN 的噪聲。且該偽影沒有出現(xiàn)在藍(lán)色子圖像中。?

3.2. Effective training stride factor for PD-BSN

我們建立了一個訓(xùn)練的策略，為此，必須最小化訓(xùn)練輸入圖像中噪聲信號之間的相關(guān)性。然而，如第3.1節(jié)所述，不足以打破真實世界噪聲的空間相關(guān)性。由于不滿足BSN的基本假設(shè)，該模型無法學(xué)習(xí)使用進(jìn)行去噪。通過設(shè)置s＝5來抑制訓(xùn)練樣本中噪聲信號之間的空間相關(guān)性，我們可以在較小的子圖像上訓(xùn)練BSN。

我們注意到，BSN還學(xué)習(xí)了消除由大PD步長因子引起的混疊效應(yīng)。當(dāng)在下采樣之前未移除高頻信號時，就會發(fā)生混疊。由于原始噪聲圖像中的高分辨率分量變化迅速，我們可以忽略子圖像中混疊效應(yīng)的空間相關(guān)性。效應(yīng)也滿足零均值約束，即其統(tǒng)計均值與中噪聲圖像的統(tǒng)計均值大致相同，因為它們是觀察信號的隨機(jī)樣本，由于混疊效應(yīng)滿足BSN的兩個先決條件，PD-BSN也學(xué)會了刪除它們。

3.3. Asymmetric PD for BSN

一些研究已經(jīng)確定，訓(xùn)練樣本和測試樣本之間的匹配數(shù)據(jù)分布在準(zhǔn)確的圖像去噪中起著關(guān)鍵作用。在應(yīng)用PD-BSN時，自然可以使用相同的步長因子進(jìn)行訓(xùn)練和推理。然而，我們發(fā)現(xiàn)學(xué)習(xí)的BSN將來自的混疊偽影識別為噪聲信號，以便在推理過程中去除。由于這些偽影包含重建高頻細(xì)節(jié)的必要信息，在推理過程中破壞圖像結(jié)構(gòu)，同時去除噪聲。?

相反，我們在PD-BSN的推理過程中提出了一個非對稱步長因子，我們稱之為非對稱。a和b分別是訓(xùn)練和推理的步長因子。設(shè)置b＝2，以便子圖像在推理期間包含最小的混疊偽影，同時可以降低相鄰噪聲信號之間的相關(guān)性。我們的BSN和擬議的可以學(xué)習(xí)以自我監(jiān)督的方式去除真實世界的噪聲，同時保留圖像結(jié)構(gòu)。AP-BSN不需要任何干凈的樣本進(jìn)行訓(xùn)練，并且在實際場景中直接適用于sRGB噪聲圖像。圖5說明了我們針對AP-BSN的非對稱訓(xùn)練和推理方案。

?

擬議的 AP-BSN 和 ?后處理概述。我們可視化提出的 。為了將 BSN 應(yīng)用于真實 sRGB 圖像，我們引入了 以最大化使用不同的步幅因子進(jìn)行訓(xùn)練和推理的協(xié)同作用。使用較大的步幅因子，例如 a = 5，以確保訓(xùn)練噪聲信號之間的像素獨立性。在推理過程中，使用最小步幅因子 b = 2 來避免混疊偽影，同時在一定程度上打破噪聲的空間相關(guān)性。我們的隨機(jī)替換細(xì)化 () 進(jìn)一步提高了 AP-BSN 的性能，無需任何額外參數(shù) 。

3.4. Random-replacing refinement

即使步長因子最小，PD和后續(xù)去噪步驟也可能會從輸入中刪除一些信息豐富的高頻成分，從而產(chǎn)生視覺偽影。因此，zhou等人提出來了PD細(xì)化。以抑制PD過程中的偽影，并增強去噪結(jié)果的細(xì)節(jié)。PD細(xì)化，第i個替換圖像公式如下：

其中是個二進(jìn)制掩膜，指示要替換的像素，并且表示元素相乘。在這里，是一個結(jié)構(gòu)化的二進(jìn)制矩陣，其中以2的固定步長放置，并且。替換后，再次對每個圖像進(jìn)行去噪并取平均值，以重建最終結(jié)果，如下所示：

?

其中D是針對像素獨立噪聲的去噪模型，T是原始PD細(xì)化的掩碼數(shù)。

然而，PD細(xì)化中確定性策略在被替換的噪聲信號之間留下了不可忽略的相關(guān)性。具體而言，如圖6a所示，中被替換的噪聲像素始終與其一些鄰居相關(guān)。這種相關(guān)性會對以下去噪方法D的性能產(chǎn)生負(fù)面影響，該方法假設(shè)存在空間不相關(guān)噪聲。因此我們提出一種先進(jìn)的隨機(jī)替換細(xì)化（）策略來緩解PD細(xì)化的局限性。

PD-refinement 和我們的 之間的比較。雖然 PD-refinement 采用步長為 2 的常規(guī)二進(jìn)制掩碼 ，但我們的 使用隨機(jī)掩碼 ?。?在圖(a) 中比較了替換圖像 和中噪聲信號的預(yù)期空間相關(guān)性。 (b) 每個灰色框代表原始噪聲圖像 中的一個像素，它替換了 中的去噪像素

在我們的中，我們采用T隨機(jī)化二進(jìn)制掩膜，其定義如下：?

其中（x，y）表示H×W矩陣中元素的索引。對于等式（3）和等式（4），我們采用隨機(jī)掩膜，而不是固定的來獲得最終輸出。由于噪聲像素隨機(jī)放置在第i個替換圖像中，因此兩個噪聲信號之間的預(yù)期相關(guān)性乘以p，如圖6a所示。因此，與之前的PD細(xì)化相比 ，我們的顯著降低了預(yù)期相關(guān)性。當(dāng)我們將和AP-BSN相結(jié)合時，我們不執(zhí)行PD，而是直接將替換后的圖像饋送給BSN，因為輸入中噪聲的空間相關(guān)性幾乎可以忽略不計。圖6突出了PD細(xì)化和我們之間的主要差異。

?完結(jié)~~

總結(jié)

以上是生活随笔為你收集整理的AP-BSN: Self-Supervised Denoising for Real-World Imagesvia Asymmetric PD and Blind-Spot Network的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。