這是2019CVPR的一篇文章，主要?jiǎng)?chuàng)新點(diǎn)是引入了深度信息完成去雨。

文章指出了目前的去雨的方法忽略了雨痕在圖像中呈現(xiàn)出的物理特性，導(dǎo)致去雨的有效性較低。同時(shí)分析了雨圖成像機(jī)理，指出遠(yuǎn)處的物體更多地是被霧遮擋，近處的則是雨紋，分析了受場(chǎng)景深度影響的雨的視覺(jué)效果。并根據(jù)場(chǎng)景深度制定了一個(gè)帶有雨條紋和霧的雨成像模型。為了訓(xùn)練的像更接近真實(shí)在雨景中拍攝的圖像本文準(zhǔn)備了一個(gè)新的數(shù)據(jù)集。因?yàn)閿?shù)據(jù)集需要申請(qǐng)，還沒(méi)下來(lái)，等申請(qǐng)好了以后會(huì)放上鏈接。然后設(shè)計(jì)了一個(gè)端到端的深度神經(jīng)網(wǎng)絡(luò)，我們訓(xùn)練它通過(guò)深度引導(dǎo)的注意力機(jī)制來(lái)學(xué)習(xí)深度注意力的特征，并回歸剩余映射來(lái)產(chǎn)生無(wú)雨的圖像輸出。

創(chuàng)新之處：

引入了場(chǎng)景的深度信息，大膽的推斷了基于場(chǎng)景深度的雨的成像過(guò)程，實(shí)現(xiàn)了在圖像中雨條紋和霧的結(jié)合。

設(shè)計(jì)了一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)，形成深度指導(dǎo)的注意力機(jī)制學(xué)習(xí)深度注意特征，根據(jù)注意權(quán)值對(duì)殘差圖進(jìn)行回歸，去除輸入雨圖像中的雨條紋和霧。

準(zhǔn)備了一個(gè)新的雨去除數(shù)據(jù)集。

前人工作：

由于現(xiàn)有數(shù)據(jù)集的限制，雨圖數(shù)據(jù)都是通過(guò)清晰圖像加上雨紋合成的，因此這些方法主要關(guān)注雨紋圖像。
傳統(tǒng)方法：

最早期通過(guò)設(shè)計(jì)基于低水平圖像統(tǒng)計(jì)的手工先驗(yàn)來(lái)去除圖像中的雨紋。

Barnum 結(jié)合條紋模型和雨的特征，在頻域內(nèi)檢測(cè)和去除雨紋。

Chen 通過(guò)一個(gè)低秩先驗(yàn)去除雨紋，因?yàn)橛昙y通常具有相似和重復(fù)的模式。

Li 采用基于高斯混合模型的patch先驗(yàn)對(duì)背景和雨層進(jìn)行去除雨紋。

Zhu 估計(jì)主導(dǎo)降雨方向并提出了一種雙層聯(lián)合優(yōu)化方法來(lái)迭代地將雨紋從背景中分離出來(lái)。

基于CNN：

Fu 從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)無(wú)雨層和雨層之間的映射函數(shù)。DerainNet

Yang 創(chuàng)建了一個(gè)多任務(wù)網(wǎng)絡(luò)，共同檢測(cè)和去除降雨。JORDER

Fu 利用先驗(yàn)知識(shí)從輸入圖像中構(gòu)造出基層和細(xì)節(jié)層，然后通過(guò)深度網(wǎng)絡(luò)從細(xì)節(jié)層學(xué)習(xí)殘差。DDN

Li 使用SE-Net建立了一個(gè)上下文擴(kuò)展網(wǎng)絡(luò)，迭代地預(yù)測(cè)階段殘差。RESCAN

Zhang開(kāi)發(fā)了一種殘差感知分類器來(lái)確定雨密度，并將幾個(gè)緊密相連的網(wǎng)絡(luò)堆疊起來(lái)，以此來(lái)估計(jì)殘差。DID-MDN
同時(shí)：Garg和 Nayar 通過(guò)考慮場(chǎng)景深度和光源，開(kāi)發(fā)了一種基于圖像的降雨生成算法。

網(wǎng)絡(luò)結(jié)構(gòu):

其中，
藍(lán)色部分是：用于從輸入中提取多分辨率特征的卷積神經(jīng)網(wǎng)絡(luò)
綠色部分是：用于預(yù)測(cè)深度圖的解碼器分支
橙色部分是：學(xué)習(xí)注意權(quán)重的深度引導(dǎo)注意機(jī)制
黃色部分是：另一個(gè)解碼器分支，用于產(chǎn)生深度注意特征和注意權(quán)重;
最后，我們使用一組組卷積對(duì)深度注意特征(粉紅色部分)進(jìn)行殘差預(yù)測(cè)，并將其加入到輸入中，生成輸出的無(wú)雨圖像。

成像具體工作：

1、雨成像模型

在自然界的成像中，造成視覺(jué)阻擋的不僅有雨紋，還有因?yàn)閳?chǎng)景深度的原因在圖像上、視覺(jué)上呈現(xiàn)出霧的特征。一般情況下，認(rèn)為離相機(jī)近的受雨紋影響比較大，離相機(jī)較遠(yuǎn)的受霧的影響比較大。
如圖所示，是雨紋強(qiáng)度隨深度影響的曲線，其中最大雨紋強(qiáng)度為$t_{r0}$。

相機(jī)附近的場(chǎng)景對(duì)象$(d\le d_1)$，其關(guān)聯(lián)的圖像區(qū)域以雨紋為主，霧較小，即其中$d_1=2fa$, $f$為焦距，$a$為雨滴半徑，雨紋強(qiáng)度為最大雨紋強(qiáng)度$t_{r0}$.

場(chǎng)景對(duì)象遠(yuǎn)離相機(jī)$(d\ge d_2?d_1)$， 其相關(guān)的圖像區(qū)域?qū)⒂伸F和雨紋組成,當(dāng)$d$增加時(shí)，$t_r$趨于0。

隨著$d$從$d_1$增加到$d_2$，雨紋強(qiáng)度將下降，霧強(qiáng)度將上升。

2、雨圖像的公式：

其中，$I(x)$為場(chǎng)景亮度清晰的無(wú)雨圖像;$R(x)\in [0,1]$表示降雨層;$A_0$為大氣光，假設(shè)為一個(gè)全局常數(shù);且$A(x)\in [0,1]$表示霧層;
具體表示如下圖：

雨層：

其中$R_{pattern}(x)\in [0,1]$是圖像空間中均勻分布的雨條紋的強(qiáng)度圖像;$t_r(x)$為依賴場(chǎng)景深度的雨條紋強(qiáng)度圖，*代表著像素乘法。

其中$\alpha$是一個(gè)控制雨紋強(qiáng)度的衰減系數(shù)。此外,$t_{r0}(這是最大的雨條紋強(qiáng)度)=e^{?\alpha d_1}$,而$t_r(x)$始于$t_{r0}$并隨著$d(x)$超越$d_1$后逐漸下降。

霧層：

其中$\beta$是一個(gè)衰減系數(shù),控制霧的厚度,$\beta$越大，霧越厚。

3、新建數(shù)據(jù)集

拍攝一對(duì)真實(shí)的有雨和無(wú)雨的照片進(jìn)行訓(xùn)練幾乎是不可能的，因?yàn)閳?chǎng)景對(duì)象可能會(huì)移動(dòng)，環(huán)境光線和相機(jī)曝光可能會(huì)改變。因此，現(xiàn)有的用于去雨的數(shù)據(jù)集通常是通過(guò)在照片上添加一個(gè)二維的雨紋層來(lái)制備。最近的深層網(wǎng)絡(luò)只是簡(jiǎn)單地對(duì)其進(jìn)行訓(xùn)練以去除雨。顯然，物理雨模型被忽略了，所以現(xiàn)有的方法對(duì)真實(shí)的照片往往是失敗的；因此，本文新建立一個(gè)新的數(shù)據(jù)集 RainCityscapes（還在申請(qǐng)，申請(qǐng)好以后放上來(lái)）數(shù)據(jù)集都是戶外照片，每一張都有一個(gè)深度圖，雨圖像顯示出不同程度的雨和霧。
從上面的公式來(lái)生成雨紋強(qiáng)度$t_r(x)$和霧層$A(x)$。
參數(shù)分別設(shè)為$（\alpha ，\beta ，a）=\{(0.02,0.01,0.005),(0.01,0.005,0.01),(0.03,0.015,0.002)\}$
選用陰天無(wú)陰影的圖片作為深度圖，并使用深度去噪細(xì)化深度圖。
最后得到9432張訓(xùn)練圖片和1188張測(cè)試圖片。

4、模擬成像的局限性

模擬成象過(guò)程假設(shè)雨層和霧層是均勻分布和相互獨(dú)立的。而在現(xiàn)實(shí)世界中，雨、霧的視覺(jué)效果與雨強(qiáng)相關(guān);雨的外觀取決于相機(jī)參數(shù)(如曝光時(shí)間);而降雨強(qiáng)度變化更為復(fù)雜。相機(jī)自身運(yùn)動(dòng)也會(huì)分散雨的分布，造成圖像空間額外的運(yùn)動(dòng)模糊。雖然我們的降雨模型是近似的，缺乏光學(xué)模型，但是合成的圖像確實(shí)有助于改善與之前的工作和數(shù)據(jù)相比的結(jié)果，這些工作和數(shù)據(jù)忽略了我們所探索的降雨特性。

網(wǎng)絡(luò)具體工作：

DAF-Net網(wǎng)絡(luò)工作流程：

網(wǎng)絡(luò)首先利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)從輸入圖像中提取低層細(xì)節(jié)和高層語(yǔ)義，并生成不同分辨率的特征圖。
然后使用兩個(gè)解碼器分支，每個(gè)分支逐步上采樣一個(gè)特征圖，并將其與相同分辨率的CNN 特征圖相結(jié)合，生成一個(gè)新的特征圖。
在頂部的解碼器分支中，我們進(jìn)一步回歸深度圖，并通過(guò)深度引導(dǎo)注意力機(jī)制學(xué)習(xí)一組注意力權(quán)重。
在底部的解碼分支中，我們首先生成最終的(最高分辨率的)特征圖，然后將其與頂部分支的注意力權(quán)重相結(jié)合，生成深度注意特征。
最后，在這些特征上應(yīng)用一組群卷積，預(yù)測(cè)殘差映射，并將其加入到輸入圖像中，得到無(wú)雨輸出圖像。

1、頂部解碼器分支回歸深度圖

當(dāng)上采樣特征圖的寬度達(dá)到輸入的四分之一時(shí)，我們添加一個(gè)監(jiān)控信號(hào)，并對(duì)輸入圖像進(jìn)行深度映射。注意，較低分辨率的深度圖足以作為學(xué)習(xí)注意權(quán)重的指導(dǎo)，因此我們退回四分之一寬度深度圖以減少計(jì)算和內(nèi)存開(kāi)銷。
然后，通過(guò)對(duì)監(jiān)控信號(hào)(訓(xùn)練數(shù)據(jù)集中的輸入深度圖)中的深度值進(jìn)行轉(zhuǎn)換，對(duì)深度值的對(duì)數(shù)進(jìn)行回歸:

$d(x)$ 是像素x上的場(chǎng)景深度。
$D(x)$是網(wǎng)絡(luò)中的監(jiān)控信號(hào)。因此，網(wǎng)絡(luò)中的回歸深度圖實(shí)際上是對(duì)數(shù)深度值的圖。

2、深度注意特征

首先在我們的網(wǎng)絡(luò)中回歸深度圖，并以此為指導(dǎo)來(lái)學(xué)習(xí)一組注意力權(quán)重。然后，我們可以使用這些權(quán)值來(lái)集成來(lái)自我們網(wǎng)絡(luò)底部解碼器分支的特征圖，從而形成雨條紋和霧的殘留圖。在此基礎(chǔ)上，將殘差映射加入到雨圖像中，得到輸出的無(wú)雨圖像。
圖為深度指導(dǎo)注意力機(jī)制：從回歸深度圖D(x)中學(xué)習(xí)權(quán)值。

首先采用3個(gè)卷積塊對(duì)D(x)進(jìn)行ReLU非線性運(yùn)算，在每個(gè)3x3的卷積層之后。
最后一個(gè)卷積塊的輸出是一組未歸一化的注意權(quán)值$\{A1,A2，\dots \}$。一般來(lái)說(shuō)，每一種權(quán)重都對(duì)應(yīng)一種特定類型的雨紋和霧。
然后，應(yīng)用Softmax函數(shù)對(duì)權(quán)重進(jìn)行歸一化，生成注意權(quán)重$\{W1W2,\dots ，\}$每一個(gè)都與一組雨紋和霧有關(guān)。
卷積和Softmax層用公式表達(dá)如下：

從底部解碼器分支產(chǎn)生的最高分辨率的特征映射$F_b$有256個(gè)特征通道。接下來(lái)，
我們把256個(gè)通道分成n個(gè)子映射，每個(gè)子映射有256/n個(gè)通道，分辨率與原始特征圖 $F_b$相同；實(shí)際上，我們?cè)O(shè)n為64。
然后，我們將$W_c$與$c?th$子映射$F_c^b$的每個(gè)特征通道按元素順序相乘，生成深度注意特征。

現(xiàn)在，我們準(zhǔn)備了n個(gè)獨(dú)立部分的深度注意特征。因此，我們可以在深度注意特征的每個(gè)部分分別進(jìn)行n組的組卷積，以增強(qiáng)特征的表達(dá)性。通過(guò)采用組卷積，每個(gè)組中的特征只負(fù)責(zé)刪除具有較小類內(nèi)方差的某種雨條紋和霧。最后，我們使用1×1的卷積將來(lái)自不同組的所有特征進(jìn)行合并，得到殘差圖 Res(x)，并將輸入的雨圖O(x)加入其中，得到輸出的無(wú)雨圖I(x)。

3、訓(xùn)練

損失函數(shù)：

其中，${\omega }_i$和${\omega }_d$權(quán)重；
$X$和$X_4$分別表示輸出圖像和深度圖的圖像域；
$I(x{)}_l$ 和 $\bar{I}(x{)}_l$ 分別表示像素在預(yù)測(cè)圖像和真實(shí)圖像中的值，$l?th$ RGB 中對(duì)應(yīng)的顏色通道。
$D(x)$和$\overline{(}D)(x)$分別表示像素x處的預(yù)測(cè)深度和真實(shí)深度；
$I(x{)}_l$、$\bar{I}(x{)}_l$、$D(x)$和$\overline{(}D)(x)$的值被歸一化為[0,1]。
注意，無(wú)雨圖像I(x)的大小與輸入圖像相同，但深度圖D(x)的大小僅為輸入的1/16。

總結(jié)

以上是生活随笔為你收集整理的Depth-attentional Features for Single-image Rain Removal的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。