1. 前言

其實(shí)之前對(duì)圖像去霧也沒有什么深入的理解，只是了解，實(shí)現(xiàn)過一些傳統(tǒng)的圖像去霧方法而已。個(gè)人感覺，在CNN模型大流行的今天，已經(jīng)有很多人忽略了傳統(tǒng)算法的發(fā)展，以至于你今天去搜索10年前的傳統(tǒng)去霧算法或許根本找不到相關(guān)資料了，或許這就是網(wǎng)絡(luò)中的圍城吧。今天周六有空來(lái)整理一下我所了解到的圖像去霧技術(shù)的發(fā)展，并嘗試做一個(gè)詳細(xì)點(diǎn)的綜述。

2. 概述

圖像去霧在計(jì)算機(jī)視覺中雖然不像目標(biāo)檢測(cè)，語(yǔ)義分割這種任務(wù)整天會(huì)放在臺(tái)面上說，但實(shí)際上也有大量的研究人員在不斷的研究新方法攻克這一充滿挑戰(zhàn)性的問題。具體來(lái)說，圖像去霧算法大致可以分為下面這幾類。基于圖像增強(qiáng)的去霧算法。基于圖像增強(qiáng)的去霧算法出發(fā)點(diǎn)是盡量去除圖像噪聲，提高圖像對(duì)比度，從而恢復(fù)出無(wú)霧清晰圖像。代表性方法有：直方圖均衡化(HLE)、自適應(yīng)直方圖均衡化(AHE)、限制對(duì)比度自適應(yīng)直方圖均衡化(CLAHE) 、Retinex算法、小波變換、同態(tài)濾波 等等。

基于圖像復(fù)原的去霧算法。這一系列方法基本是基于大氣退化模型，進(jìn)行響應(yīng)的去霧處理。代表性算法有：來(lái)自何凱明博士的暗通道去霧算法(CVPR 2009最佳論文)、基于導(dǎo)向?yàn)V波的暗通道去霧算法、Fattal的單幅圖像去霧算法(Single image dehazing) 、Tan的單一圖像去霧算法(Visibility in bad weather from a single image) 、Tarel的快速圖像恢復(fù)算法(Fast visibility restoration from a single color or gray level image) 、貝葉斯去霧算法(Single image defogging by multiscale depth fusion) ，基于大氣退化模型的去霧效果普遍好于基于圖像增強(qiáng)的去霧算法，后面挑選的傳統(tǒng)去霧算法例子也大多是基于圖像復(fù)原的去霧算法。

基于深度學(xué)習(xí)的去霧算法。由于CNN近年在一些任務(wù)上取得了較大的進(jìn)展，去霧算法自然也有大量基于CNN的相關(guān)工作。這類方法是主要可以分為兩類，第一類仍然是于大氣退化模型，利用神經(jīng)網(wǎng)絡(luò)對(duì)模型中的參數(shù)進(jìn)行估計(jì)，早期的方法大多數(shù)是基于這種思想。第二類則是利用輸入的有霧圖像，直接輸出得到去霧后的圖像，也即是深度學(xué)習(xí)中常說的end2end。

3. 霧天退化模型

我們后面介紹的一些經(jīng)典算法例子大多基于霧天退化模型，因此有必要在這里將它講清楚。

在計(jì)算機(jī)視覺領(lǐng)域，通常使用霧天圖像退化模型來(lái)描述霧霾等惡劣天氣條件對(duì)圖像造成的影響，該模型是McCartney首先提出。該模型包括衰減模型和環(huán)境光模型兩部分。模型表達(dá)式為：

其中，

是圖像像素的空間坐標(biāo)，

是觀察到的有霧圖像，

是待恢復(fù)的無(wú)霧圖像，

表示大氣散射系數(shù)，

代表景物深度，

是全局大氣光，通常情況下假設(shè)為全局常量，與空間坐標(biāo)

無(wú)關(guān)。

公式(1)中的

表示坐標(biāo)空間

處的透射率，我們使用

來(lái)表示透射率，于是得到公式(2)：

由此可見，圖像去霧過程就是根據(jù)

求解

的過程。要求解出

，還需要根據(jù)

求解出透射率

和全局大氣光

。

實(shí)際上，所有基于霧天退化模型的去霧算法就是是根據(jù)已知的有霧圖像

求解出透射率

和全局大氣光

。

3.1 如何估計(jì)全局大氣光值A(chǔ)？一，將圖像的亮度最大的點(diǎn)的灰度值作為全局大氣光值

。

二，利用暗通道估計(jì)全局大氣光值

。在暗通道去霧算法中，從暗原色通道中選取最亮的

比例的像素值，然后選取原輸入圖像中這些像素具有的最大灰度值作為全局大氣光值

。

三通道中每一個(gè)通道都有一個(gè)大氣光值。

三，分塊遞歸思想估計(jì)全局大氣光值

。具體思想就是先將圖像平均分為四個(gè)部分，然后分別求取四個(gè)部分中的平均亮度值，選取亮度值最大的塊，將這個(gè)塊平均分為四個(gè)塊，選取最亮的塊，當(dāng)分解到塊的大小達(dá)到一定閾值時(shí)，在這個(gè)塊中選取亮度最大的點(diǎn)作為全局大氣光A。 可以看到這有一個(gè)遞歸的過程。

四，分段思量估計(jì)全局大氣光值

。我記得這是一個(gè)韓國(guó)小哥提出的方法，對(duì)天空具有天然的免疫性。我們觀察一般的圖像，天空部分一般被分配在圖像的上

部分，因此將圖像水平分為

個(gè)部分，然后在最上的

部分使用暗通道估計(jì)算法估計(jì)全局大氣光

。

五，快速估計(jì)全局大氣光值

。首先求取輸入圖像RGB三通道中的最小值，即求取暗原色通道圖像，然后對(duì)暗原色通道圖像進(jìn)行均值濾波，然后求取其中灰度值最大的點(diǎn)，接著求取輸入圖像RGB三通道中值最大的通道圖像，然后求取出灰度值最大的點(diǎn)，然后將兩個(gè)點(diǎn)的灰度值的平均值作為全局大氣光A。

3.2 如何估計(jì)透射率？

3.2.1 暗通道去霧算法估計(jì)透射率

在3.1節(jié)估計(jì)出全局大氣光值

之后，

根據(jù)公式(2)可以得出：

首先可以確定的是

的范圍是

，

的范圍是

，

的范圍是

。

和

是已知的，可以根據(jù)

的范圍從而確定

的范圍。已知的條件有：

根據(jù)(4)和(5)推出：

因此初略估計(jì)透射率的計(jì)算公式：

最后為了保證圖片的自然性，增加一個(gè)參數(shù)

來(lái)調(diào)整透射率 ：

3.2.2 利用迭代思想估計(jì)透射率

這個(gè)算法非常有意義，本人還沒來(lái)得及復(fù)現(xiàn)，先來(lái)看看原理。首先，如果想獲得更好的去霧效果，就要求去霧后的圖像對(duì)比度高，并且失真度小。然后對(duì)上面的公式(2)做一個(gè)變換可以得到：

可以發(fā)現(xiàn)，

和

在坐標(biāo)軸上對(duì)應(yīng)一條直線，其中直線和

軸的交點(diǎn)是

，和

軸的交點(diǎn)是

。可以看到隨著

在

的范圍內(nèi)進(jìn)行變化，

會(huì)對(duì)應(yīng)的產(chǎn)生負(fù)數(shù)或者超過

，這就導(dǎo)致了圖像失真。因此為了改善這一缺點(diǎn)，論文提出使用下面的等式來(lái)衡量失真度。

我們使用均方誤差MSE來(lái)衡量對(duì)比度增強(qiáng)。

其中，

表示平均值，

表示像素點(diǎn)總數(shù)，因此我們要求取透射率使得

最小。假設(shè)

從

開始，增強(qiáng)是

，一直到

結(jié)束，一共迭代

次，選取其中使得上式最小的值作為該像素點(diǎn)的透射率。

可以想一下，這種做法會(huì)導(dǎo)致什么問題？復(fù)雜度會(huì)增加

倍！ 為了改善這一問題，我們可以假設(shè)一小塊區(qū)域的像素的透射率相同，計(jì)算每一小塊中

的最小值為該塊所有像素點(diǎn)的透射率。

3.2.3 精細(xì)化透射率的例子

如何精細(xì)化透射率，典型的有以下幾種方法：Soft matting(暗通道去霧論文中有提到)。

雙邊濾波。

導(dǎo)向?yàn)V波。(已復(fù)現(xiàn)成功，后面分享)。

3.3 后處理

上面我們獲得了大氣光值

以及透射率

，那么根據(jù)霧天退化模型我們就可以獲得去霧后的結(jié)果圖了。一般來(lái)說，去霧后的結(jié)果圖可能會(huì)偏暗，因此可以適當(dāng)進(jìn)行一些后處理如采用自動(dòng)對(duì)比度增強(qiáng)，亮度增強(qiáng)，伽馬校正 (均在公眾號(hào)分享了)等圖像處理方法進(jìn)行處理，以便得效果更佳的無(wú)霧圖像。

OK，現(xiàn)在了解了去霧算法的重要理論接下來(lái)就直接開始盤點(diǎn)經(jīng)典算法。

4. 帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(MSRCR)

這篇論文主要提出了一個(gè)Retinex理論，包含了兩個(gè)方面的內(nèi)容：物體的顏色是由物體對(duì)長(zhǎng)波、 中波和短波光線的反射能力決定的，而不是由反射光強(qiáng)度的絕對(duì)值決定的；物體的色彩不受光照 非均勻性的影響,具有一致性 。 根據(jù)Retinex理論，人眼感知物體的亮度取決于環(huán)境的照明和物體表面對(duì)照射光的反射，其數(shù)學(xué)表達(dá)式為：

其中，

代表被觀察或照相機(jī)接收到的圖像信號(hào)；

代表環(huán)境光的照射分量 ；

表示攜帶圖像細(xì)節(jié)信息的目標(biāo)物體的反射分量 。

將上式兩邊取對(duì)數(shù)，則可拋開入射光的性質(zhì)得到物體的本來(lái)面貌，即有關(guān)系式：

這個(gè)技術(shù)運(yùn)用到圖像處理上，就是針對(duì)我們現(xiàn)在已經(jīng)獲得的一幅圖像數(shù)據(jù)

，計(jì)算出對(duì)應(yīng)的

，則

認(rèn)為是增強(qiáng)后的圖像，現(xiàn)在的關(guān)鍵是如何得到

。Retinex理論的提出者指出這個(gè)

可以通過對(duì)圖像數(shù)據(jù)

進(jìn)行高斯模糊得到。

因此，算法流程可以總結(jié)為：輸入: 原始圖像數(shù)據(jù)

,尺度(也就是所謂的模糊的半徑)

計(jì)算原始圖像按指定尺度進(jìn)行模糊后的圖像

。

按照4-2式的計(jì)算方法計(jì)算出

的值。

將

量化為

到

范圍的像素值，作為最終的輸出。

具體效果怎么樣呢？看張圖吧。

5. CVPR 2009 暗通道去霧算法

6. 基于中值濾波進(jìn)行去霧

7. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior

這篇論文就更有意思了哦。論文觀察到，單幅圖像去霧的難點(diǎn)在于圖像中包含的關(guān)于場(chǎng)景結(jié)構(gòu)等信息非常少，因此很難獲得較為全面的信息從而進(jìn)行去霧。然而，人的大腦在面對(duì)一幅圖像的時(shí)候其實(shí)是可以很快的分辨清楚哪里有霧、哪里沒有，或者很快分辨清楚近景、遠(yuǎn)景而不需要其他太多的資料。基于這一思考，作者對(duì)很多副有霧圖像進(jìn)行分析發(fā)現(xiàn)統(tǒng)計(jì)意義上的結(jié)論從而提出一個(gè)新的思路，通過對(duì)很多圖像的遠(yuǎn)景、中景、近景進(jìn)行分析發(fā)現(xiàn)了霧的濃度與亮度和飽和度之差呈正比。

作者通過2幅圖像分析了有霧和無(wú)霧圖像的區(qū)別：

我們知道，霧天退化模型可以寫成：

從Figure3中可以看到直接的衰減會(huì)導(dǎo)致反射能量的減弱，從而導(dǎo)致brightness的低值，也即

。同時(shí)，大氣光成分會(huì)增強(qiáng)brightness的值并且降低飽和度saturation。 總結(jié)下來(lái)，即為，當(dāng)霧的程度越大，大氣光成分的的影響越大。因此，論文考慮通過研究saturation和brightness之間的差來(lái)分析霧的濃度。公式為：

其中

為景深，

為霧濃度，

分別為亮度值和飽和度值。這個(gè)公式就是color attenuation prior。然后，作者通過構(gòu)建訓(xùn)練樣本采集了超過500張圖像，最后得出了合適的參數(shù)。最終公式如下：

最終，參數(shù)結(jié)果為：

論文地址為：http://ieeexplore.ieee.org/document/7128396/。

8. 中部小結(jié)

上面列出了一些經(jīng)典的用傳統(tǒng)算法去霧的例子(姑且把它叫作圖像去霧的前世)，接下來(lái)我們看看CNN是如何在這個(gè)領(lǐng)域發(fā)揮的(圖像去霧的今生)。

9. 2016 華南理工DehazeNet

這篇論文是較早使用深度學(xué)習(xí)來(lái)進(jìn)行去霧的網(wǎng)絡(luò)，它是一個(gè)端到端的模型，利用CNN來(lái)對(duì)大氣退化模型中的

進(jìn)行估計(jì)。模型輸入霧圖，輸出透射率

映射圖，然后通過大氣退化模型來(lái)恢復(fù)無(wú)霧圖像。采用深度CNN結(jié)構(gòu)(4層)，并提出了一種新的非線性激活函數(shù)。提高了恢復(fù)圖像的質(zhì)量。

DehazeNet的貢獻(xiàn)如下：end2end系統(tǒng)，直接學(xué)習(xí)并估計(jì)傳輸率與有霧圖像的關(guān)系。

提出nonlinear激活函數(shù)，稱為BReLU(雙邊ReLU)，取得了更好的恢復(fù)效果。

分析了DehazeNet與已有去霧技術(shù)之間的關(guān)系。

具體來(lái)說，作者先對(duì)暗通道去霧，最大對(duì)比度去霧(Maximum Contrast，MC，論文名為：Visibility in bad weather from a single image)，基于顏色衰減先驗(yàn)去霧(Color Attenuation Prior，CAP，論文名為：A fast single image haze removal algorithm using color attenuation prior)，基于色度不一致去霧(A fast single image haze removal algorithm using color attenuation prior)這些方法做了介紹，然后作者結(jié)合上面的方法進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)，網(wǎng)絡(luò)結(jié)構(gòu)主要分成4大部分：特征提取。

多尺度映射。

局部極值。

非線性回歸。

網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

9.1 特征提取

這里的特征提取和普通的CNN不同，這里采用“卷積+Maxout”的結(jié)構(gòu)作為網(wǎng)絡(luò)第一層。如下面公式所示：

其中

表示輸出的特征，

代表第

個(gè)，

是是指第一層，

是指

個(gè)層進(jìn)行

操作。

和

是權(quán)重和偏置。 第一層是特征提取層，即提取有霧圖像特征。本文中使用了

個(gè)濾波器，通過

的激活函數(shù)，每四個(gè)輸出一張圖。這里不

，輸入是

三通道的塊。輸出的是四個(gè)

,每一個(gè)代表一種特征。

作者指出，“卷積+Maxout”等價(jià)于傳統(tǒng)的手工去霧特征。當(dāng)W1是反向(Opposite)濾波器,通道的最大等價(jià)于通道的最小值，等價(jià)于暗通道先驗(yàn)(DCP)；當(dāng)W1是環(huán)形(Round)濾波器, 等價(jià)于對(duì)比度提取，等價(jià)于最大對(duì)比度(MC)；當(dāng)W1同時(shí)包含反向(Opposite)濾波器和全通(All-pass)濾波器，等價(jià)于RGB到HSV顏色空間轉(zhuǎn)換，等價(jià)于顏色衰減先驗(yàn)(CAP)。此外，從機(jī)器學(xué)習(xí)角度，Maxout是一種樣條函數(shù)，具有更強(qiáng)的非線性擬合能力，如圖(d)。

9.2 多尺度映射

使用空間多個(gè)尺度的卷積。分別使用

個(gè)

的卷積核和特征圖進(jìn)行卷積，最后一共獲得

個(gè)

大小的特征圖。

9.3 局部極值

根據(jù)假設(shè)，透射率具有局部不變性，所以使用了一個(gè)Max Pooling層(

大小)抑制透射率的估計(jì)噪聲。

9.4 非線性回歸

大氣透射率

是一個(gè)概率(0到1)，不可能無(wú)窮大，也不可能無(wú)窮小。受到Sigmoid和ReLU激勵(lì)函數(shù)的啟發(fā)，提出了新的激活函數(shù)(Bilateral Rectified Linear Unit，BReLU)，在雙邊約束的同時(shí)，保證局部的線性。激活函數(shù)圖如下：

9.5 訓(xùn)練

要獲取自然場(chǎng)景的有霧和無(wú)霧的圖像是十分困難的，所以作者使用了基于物理霧霾形成模型的綜合訓(xùn)練集。從網(wǎng)絡(luò)上收集的圖像中隨機(jī)抽樣

個(gè)大小為

的無(wú)霧霾

。對(duì)于每個(gè)

，作者統(tǒng)一采樣

個(gè)

以生成

個(gè)模糊

，這里為了減小變量學(xué)習(xí)的不確定性，將大氣光

設(shè)置為

，共生成

個(gè)

的數(shù)據(jù)。損失函數(shù)被定義為：

10. ICCV 2017 AOD-Net

論文名為：All-in-One Network for Dehazing and Beyond

這篇文章文并沒有單獨(dú)估計(jì)

和大氣光

，而是通過輕量級(jí)的CNN直接生成清晰的圖像，這種端到端的設(shè)計(jì)使得其可以嵌入到其他的模型中，比如說物體檢測(cè)Faster-RCNN。

這篇文章的貢獻(xiàn)如下：提出了一個(gè)end2end的去霧模型，完成了有霧圖像到清晰圖像之間的轉(zhuǎn)化。通過

將

與

統(tǒng)一，基于

可以完成對(duì)清晰圖像的重構(gòu)。

提出了新的比較去霧效果的客觀標(biāo)準(zhǔn)，定量研究去霧質(zhì)量是如何影響后續(xù)高級(jí)視覺任務(wù)的，同時(shí)，其模型可以和其他深度學(xué)習(xí)模型無(wú)縫嵌套。

由霧天退化模型知可以知道，表達(dá)式中有兩個(gè)未知數(shù)大氣光

和透射率

，作者提出將這兩個(gè)未知數(shù)化為一個(gè)，即用

將

與

相統(tǒng)一。其中，

是具有默認(rèn)值的恒定偏差。

網(wǎng)絡(luò)結(jié)構(gòu)如下：

其中，K-estimation Module是利用輸入圖像

對(duì)未知變量

進(jìn)行估計(jì)。而Clean image generation module 是將估計(jì)所得的

作為自適應(yīng)變量輸入網(wǎng)絡(luò)，得到

。K-estimation Module 有點(diǎn)意思，作者是受到DehazeNet，MSCNN的啟發(fā)，使用五個(gè)卷積層，并通過融合不同大小的濾波器形成多尺度特征。值得注意的是，AOD-Net的每個(gè)卷積層僅僅使用了

個(gè)卷積核。

11. CVPR 2018 DCPDN

論文標(biāo)題： Densely Connected Pyramid Dehazing Network

論文的貢獻(xiàn)如下：提出一個(gè)基于去霧公式的端到端的網(wǎng)絡(luò)。

一個(gè)保邊的密集連接的編解碼網(wǎng)絡(luò)生成

。

為了獲得去霧后的圖和t之間的關(guān)聯(lián)性，使用判別器對(duì)它們進(jìn)行聯(lián)合訓(xùn)練。

具體而言，對(duì)于產(chǎn)生

圖的網(wǎng)絡(luò)，采用的是多層金字塔池化模塊。這里從DenseNet里直接取前三個(gè)DenseBlock和相應(yīng)的下采樣層作為Encode模塊，然后同樣使用DenseBlock進(jìn)行上采樣。這樣做的目的是可以通過金字塔池化獲得全局的信息，Dense模塊可以讓利于信息流動(dòng)，加速收斂。同時(shí)為了，為了最后的輸出獲得多個(gè)scale的特征，同時(shí)保留這些特征的局部信息而不是只獲得全局信息，這里使用了一個(gè)多scale的pooling層，將不同級(jí)別的特征pooling到同一個(gè)尺度下，然后進(jìn)行上采樣。網(wǎng)絡(luò)示意圖如下所示：

而對(duì)于

，使用一個(gè)8個(gè)Block的UNet。

12. WACV 2019 GCANet

論文標(biāo)題：Gated Context Aggregation Network for Image Dehazing and Deraining 這篇論文用GAN網(wǎng)絡(luò)，實(shí)現(xiàn)可端到端的圖像去霧，本文的重點(diǎn)在于解決了網(wǎng)格偽影(grid artifacts)的問題，該文章的方法在PSNR和SSIM的指標(biāo)上，有了極大的提升，非常值得借鑒。

本文貢獻(xiàn)如下：提出端到端的去霧網(wǎng)絡(luò)，不依賴于先驗(yàn)。

采用了smooth dilated convolution 代替原有的dilated convolution，解決了原來(lái)的dilated convolution導(dǎo)致的grid artifacts問題。

提出了一個(gè)gated fusion sub-network，融合high-level 及l(fā)ow-level 特征，提升復(fù)原效果。

網(wǎng)絡(luò)結(jié)構(gòu)如Figure1所示，三個(gè)卷積模塊作為編碼部分，一個(gè)反卷積和兩個(gè)卷積作為解碼部分在二者之間插入多個(gè)smoothed dilated resblocks。

12.1 Smoothed Dilated Convolution(平滑空洞卷積)

從昨天的推文

在上圖中，上面這部分表示的是原始的空洞卷積，從圖中色塊可以看出，經(jīng)過空洞率大于

的空洞卷積后，輸出的特征圖中相鄰的特征值與輸入特征圖是完全獨(dú)立的，不存在相互依賴的關(guān)系，而我們知道圖像是局部相關(guān)的。因此，特征層也應(yīng)當(dāng)保留此特性。所以下面部分的圖就是Smoothed Dilated Convolution了，在執(zhí)行空洞卷積之前，做了一次核為

的分離卷積，卷積的參數(shù)共享，經(jīng)過該層卷積之后，每一個(gè)特征點(diǎn)都融合了周圍

大小的特征。該操作僅僅增加了

大小的參數(shù)，卻能有效的解決網(wǎng)格偽影問題。

12.2 Gated Fusion Sub-network(門控融合子網(wǎng))

這個(gè)子網(wǎng)絡(luò)主要是融合了不同層次的特征信息，和ASFF太像了。。。之前的網(wǎng)絡(luò)都是直接添加直連(shortcut)操作進(jìn)行信息融合，這里的門控融合單元為不同層次的特征分別學(xué)習(xí)了權(quán)重，最后加權(quán)得到融合的特征層。

12.3 損失函數(shù)

13. AAAI 2018 Disentangled Dehazing Network

論文標(biāo)題：Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training

作者認(rèn)為之前基于先驗(yàn)知識(shí)的去霧，缺點(diǎn)在于先驗(yàn)知識(shí)不是在任何情況都滿足的(比如說多光源，大霧)，并且不是監(jiān)督訓(xùn)練的。而基于CNN的去霧需要訓(xùn)練集是成對(duì)的，即同時(shí)有有霧圖像與無(wú)霧圖像。而一個(gè)有效的去霧模型應(yīng)該能夠?qū)W習(xí)無(wú)霧圖像到有霧圖像的映射，無(wú)需使用成對(duì)監(jiān)督。并且人類對(duì)去霧后的圖像和沒去霧的圖像的感知應(yīng)當(dāng)是一致的，基于此，作者提出這個(gè)Disentangled Dehazing Network，主要貢獻(xiàn)如下：提出一種基于解耦的新型去霧網(wǎng)絡(luò)。

收集了具有挑戰(zhàn)性的數(shù)據(jù)集，包含800多個(gè)自然模糊圖像與1000個(gè)無(wú)霧的室外場(chǎng)景圖像。

通過對(duì)合成和真實(shí)圖像的數(shù)據(jù)集的廣泛實(shí)驗(yàn)來(lái)評(píng)估感知圖像去霧。

一句話總結(jié)，將GAN用于去霧。

13.1 解耦網(wǎng)絡(luò) Disentangled Dehazing Network

論文引入基于解耦與重建的物理模型，目標(biāo)是將有霧圖像解耦為隱藏特征值，再利用隱藏特征值重建圖像。網(wǎng)絡(luò)的總體結(jié)構(gòu)如Figure1所示。

13.2 損失函數(shù)

損失函數(shù)包含三部分，重建損失，對(duì)抗損失，正則化損失。重建損失。使用L1損失函數(shù)。

多尺度對(duì)抗損失。為了生成更真實(shí)的圖像，作者其對(duì)中間輸出

引入了多尺度生成訓(xùn)練，受到(Isola et al. 2017) and (Zhu et al. 2017)啟發(fā)，作者使用了patch-level discriminator，并進(jìn)行了改進(jìn)，使用了局部鑒別器和全局鑒別器。如Figure2所示。

正則化損失。在該部分，借鑒了前人的經(jīng)驗(yàn)，使用medium transmission map的平滑性作為正則化損失。

最后，總的損失函數(shù)為：

目標(biāo)函數(shù)為：

13.3 圖像恢復(fù)

經(jīng)過網(wǎng)絡(luò)處理后，可以得到兩個(gè)去霧后的圖像，一個(gè)是生成器

的直接輸出，另一個(gè)是利用估計(jì)的

和

來(lái)獲得的。這兩種方法得到的去霧圖像各有優(yōu)劣，其中生成器輸出得到的圖像傾向于生成具有更多紋理細(xì)節(jié)的圖像，并且在感知上更加清晰，但是其易于受到噪聲的影響并且會(huì)有undesirable artifacts，而用后種方式得到的圖像更平滑，所以作者將二者進(jìn)行了混合。公式如下：

14. CVPR 2018 Cycle-Dehaze

論文題目：Enhanced CycleGAN for Single Image

這篇論文是基于《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》來(lái)做改進(jìn)的，前者設(shè)計(jì)了一個(gè)循環(huán)的對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)圖像風(fēng)格的遷移，使用不成對(duì)的圖像來(lái)訓(xùn)練網(wǎng)絡(luò)。這篇論文在其基礎(chǔ)上加入了循環(huán)感知一致?lián)p失，對(duì)圖片的特征進(jìn)行監(jiān)督。其實(shí)可以總結(jié)為一句話，改造CycleGAN用于去霧。

沒興趣去看這篇論文了，就不細(xì)講了，感興趣可以去讀一讀。

15. 總結(jié)

今天是周六，花了很長(zhǎng)的時(shí)間來(lái)盤點(diǎn)我所認(rèn)識(shí)的圖片去霧，可以看到這并不是一件簡(jiǎn)單的事。通過對(duì)圖像去霧的前世今身的了解，相信你和我一樣對(duì)圖像去霧有了更好一點(diǎn)點(diǎn)的認(rèn)識(shí)了吧。

16. 參考

總結(jié)

以上是生活随笔為你收集整理的去雾综述_【综述】图像去雾的前世今生的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。