該論文發(fā)表于CVPR2017

為了更好地去除各種真實場景下的雨，包括大雨和雨線積累的情況(rain streak accumulation，單個的雨線無法看清，形成霧效)，作者提出了新的雨圖模型和去雨架構(gòu)。

模型&架構(gòu)

新：雨圖模型

• 加入binary map。在現(xiàn)有模型的基礎(chǔ)上標出雨水的位置
• 加入兩個組件，表征雨線積累和各種形狀、方向的雨水

原來公認的模型

$O$：帶雨的輸入圖像
$B$：干凈的背景層
$S$：雨水層
在原來的模型中，去雨被看做是兩個信號分離的問題，基于背景層和雨水層各自的獨特特征對其進行分離。

但這樣做存在問題：$S$在該公式中較為復(fù)雜，需要同時包含雨水位置和該位置上的密度信息。圖像中不同區(qū)域的雨的疏密程度不同，很難給很多基于稀疏度的模型用統(tǒng)一的稀疏度對$S$進行建模；而不區(qū)分雨區(qū)和非雨區(qū)，也將造成非雨區(qū)過于平滑。

泛化的雨圖模型
為了解決上述問題，作者在原有模型中加入了一個region-dependent的變量$R$，表征單個雨線的位置。R即為binary map，1表示該像素點位于雨區(qū)內(nèi)，0則反之。

這樣做不但給網(wǎng)絡(luò)學(xué)習(xí)雨區(qū)提供了額外的信息，而且有助于構(gòu)建一個新的流水線：先檢測雨區(qū)，再對雨區(qū)和非雨區(qū)進行不同操作。

針對大雨和雨累積的模型
上述模型描述了局部的單個雨線，但在大雨和雨累積這種雨水密集的情況下，單個雨線是無法看清的，特別是圖中遠處的場景會異常模糊。

為適應(yīng)這樣的場景，作者又提出了新模型，包含多層雨線：

$S_t$：表示一層擁有相同方向的雨線，對不同方向雨線求和，則得到貼近真實場景的效果
$\alpha$：傳輸率，在大氣散射中的成像模型中表示該點的光強被衰減之后，進入成像設(shè)備的比例
$A$：環(huán)境光
加入傳輸率和環(huán)境光后，該模型可以表示圖像中因雨累積造成的霧效。此外，這種霧效是在不同方向的雨線模型的基礎(chǔ)上建模的，因此可以分階段解決雨累積和雨線去除。

新：架構(gòu)

論文提出的去雨架構(gòu)大致可看成是四個環(huán)環(huán)相扣的部分：

• region-dependent model產(chǎn)生對雨水的描述，包括位置(binary map)、形狀、方向等
• contextualized dilated network提取特征，挖掘區(qū)域性情境信息，為檢測雨水提供更好的表征
• jointly detection and removal根據(jù)提取到的特征，先檢測雨水位置，再估計雨線，最后提取出背景層，完成去雨
• recurrent rain detection and removal network，將去雨視作多階段任務(wù)進行循環(huán)操作，每個recurrence執(zhí)行上述部分的操作
  

情境空洞卷積網(wǎng)絡(luò)Contextualized dilated network
實驗證明，情境信息對自動識別和去除雨水十分有效。論文提出的該網(wǎng)絡(luò)通過循環(huán)結(jié)構(gòu)以及每個循環(huán)聚合三種不同空洞率下的卷積操作的方式，不斷擴大感知野。

從模型圖中可知，該網(wǎng)絡(luò)首先將輸入圖像/上一個recurrence傳來的特征轉(zhuǎn)換到特征空間，再兵分三路，經(jīng)過三個不同的卷積路徑最后與輸入進行合并，得到最終提取的特征。

感知野：CNN輸出的特征映射上的像素點在原始圖上映射的區(qū)域大小。計算公式為$(out?1)xS+(k?1)x(d?1)+k$。其中out，S，k，d分別為上一層的感知野，stride，該層卷積核的大小和空洞率。論文中三種路徑的感知野分別為5x5, 9x9, 13x13。

Multi-task networks for jointly rain detection&removal
從模型圖中可以看到， 給定輸入雨圖O，去雨的目標是根據(jù)泛化的雨圖模型，對B,S,R進行參數(shù)估計。這里采用的是最大后驗估計，B,S,R的后驗知識通過網(wǎng)絡(luò)習(xí)得并嵌入模型。

這三者的估計是相關(guān)的。從模型圖中可以看到，基于情境空洞卷積網(wǎng)絡(luò)提取到的特征$F_t$，R,S,B將會按照識別、估計、去雨的順序被估計出來，并在每一步都利用之前產(chǎn)生的預(yù)測信息。實驗證明這樣的順序和按順序而非并行估計的方式效果最好。

Recurrent rain detection&removal
模型最后通過學(xué)習(xí)到表示O和B之間差異的殘差T來進行去雨。

${?}_t$：預(yù)測的殘差
在每次迭代中，預(yù)測的殘差通過更新O和B不斷地積累并傳遞到最終預(yù)測步驟中。最終的去雨預(yù)測圖可用以下公式表示：

實驗

作者利用新提出的雨圖模型自行合成了一些數(shù)據(jù)，命名為Rain100L，Rain100H，并對提出的模型的四個變體進行實驗。

JORDER-
在每個recurrence只有一個卷積路徑，且沒有進行空洞卷積

JORDER
多任務(wù)網(wǎng)絡(luò)，解決泛化雨圖模型描述的雨圖的去雨問題。

JORDER-R
循環(huán)地去除針對大雨和雨累積的雨圖模型描述的雨水。

JORDER-R-DEVEIL
去除雨累積效應(yīng)。
根據(jù)針對大雨和雨累積的雨圖模型，為了得到“包裹”在公式最內(nèi)部的背景層B，按照順序應(yīng)該先去除最外端的雨累積效應(yīng)，再去除其他雨線

但作者發(fā)現(xiàn)，如果將其作為第一步，會使得已經(jīng)非常顯眼的雨線變得更為突出，造成在下一步去除雨線時，這些雨線與其他雨線看上去很不一樣

因此，作者提出三步走策略，streak removal-> rain accumulation removal-> streak removal，即先去一遍雨線，再進行雨累積效應(yīng)的去除，最后再去一遍雨線。這是合理的，因為去除雨累積效應(yīng)的步驟可以使得在第一階段可能不夠明顯的雨線變得明顯，然后在第三階段將它們?nèi)コ?/p>

雨累積效應(yīng)的去除與其他兩個步驟網(wǎng)絡(luò)不同，與去霧類似，只基于情境空洞卷積網(wǎng)絡(luò)進行一個recurrence

可以看到，專為去除雨累積效應(yīng)設(shè)計的模型效果很好。

總結(jié)

以上是生活随笔為你收集整理的【论文阅读】Deep Joint Rain Detection and Removal from a Single Image的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。