王昕, 孫瑩瑩, 李影昉. 圖像和視頻的快速去霧算法研究[J]. 影像科學(xué)與光化學(xué), 2016, 34(1): 82-87.?? WANG Xin, SUN Yingying, LI Yingfang. Fast Haze Removal for Real-time Image and Video[J]. Imaging Science and Photochemistry, 2016, 34(1): 82-87.?? 圖像和視頻的快速去霧算法研究 王昕¹?, 孫瑩瑩¹, 李影昉²???? 摘要：霧、霾等惡劣天氣會導(dǎo)致室外圖像能見度和對比度降低。雖然可以通過增強(qiáng)有霧圖像的對比度得到清晰的圖像,但對比度的過度增強(qiáng)可能會截斷像素值,造成信息丟失。因此,本文基于信息丟失問題提出了一種快速、優(yōu)化的去霧算法。通過最小化信息丟失,使輸出圖像不僅能保留較多的細(xì)節(jié),且具有較高的對比度。此外,通過將RGB顏色空間轉(zhuǎn)換為YUV顏色空間,僅對亮度分量Y進(jìn)行處理,提高了算法的運算速度。算法的對比實驗結(jié)果表明,本文的算法不僅去霧效果明顯,而且運算速度快,完全能滿足視頻去霧的實時性要求。 關(guān)鍵詞：?圖像去霧?????視頻去霧?????引導(dǎo)濾波?????透射率???? Fast Haze Removal for Real-time Image and Video WANG Xin¹?, SUN Yingying¹, LI Yingfang²???? Abstract: Outdoor image often lose visibility and contrast due to the presence of haze. To effectively enhance the degraded haze image, we can get clear image by enhancing haze image's contrast. However, the excessive enhancement of the degraded contrast may truncate pixel values and cause information loss. Therefore, we proposed a fast and optimized dehazing algorithm based on information loss. By minimizing the information loss, the output image not only has high contrast but also has very little information loss. Moreover, we convert RGB color space into YUV color space, and only process the luminance component. This greatly improves the computational speed, thus suitable for processing video sequence. The contrast experimental results show that the proposed algorithm can effectively remove haze and the computing speed is fast, which can fully meet the real-time requirement for the removal of video haze. Key words:?image dehazing?????video dehazing?????guide filter?????transmittance????

近年來，霧、霾天氣頻繁出現(xiàn)，在這種惡劣天氣條件下，物體的反射光會被大氣中的混濁介質(zhì)吸收和散射，導(dǎo)致捕獲的室外圖像和視頻可見度低，細(xì)節(jié)模糊，色彩失真，嚴(yán)重影響圖像處理系統(tǒng)的性能。因此，圖像去霧算法的研究具有非常大的實際意義。視頻去霧算法對實時性要求極高，快速去霧算法的研究也極為重要。

國內(nèi)外學(xué)者近年主要研究單幅圖像的去霧算法，視頻去霧算法的研究很少且不成熟，這是因為圖像去霧算法的復(fù)雜度較高，且處理時間較長。目前，最常用的去霧方法基于圖像增強(qiáng)理論，如直方圖均衡化、局部對比度增強(qiáng)、伽馬校正等。直方圖均衡化通過拉伸直方圖，來提高圖像的對比度^[1]，從而達(dá)到圖像去霧的目的。這種算法雖然簡單，實時性好，但是對比度增強(qiáng)力度相對較低。Tan^[2]基于無霧圖像的對比度比有霧圖像要高的事實，通過最大化局部對比度實現(xiàn)了圖像去霧，但復(fù)原后的圖像容易產(chǎn)生色調(diào)偏移和顏色失真。其他去霧方法基于圖像復(fù)原理論，通過建立圖像退化模型來對有霧圖像進(jìn)行復(fù)原。利用建立物理模型的方法雖然能得到理想的復(fù)原圖像，但通常需要場景深度或環(huán)境光等額外信息。Fatta^[3]假設(shè)景物表面陰影和介質(zhì)透射率局部不相關(guān)，利用獨立成分分析方法和馬爾科夫隨機(jī)場模型實現(xiàn)去霧，

但該方法對濃霧圖像的復(fù)原結(jié)果存在較大失真。Tarel等^[4]采用中值濾波方法去除霧氣遮罩，但中值濾波器的性質(zhì)會使復(fù)原圖像在景深發(fā)生突變的邊緣產(chǎn)生光暈效應(yīng)。He等^[5]提出一種基于暗通道先驗理論的單幅圖像去霧算法，假定在絕大多數(shù)非天空的局部區(qū)域里，某一些像素至少有一個顏色通道具有很低的值。文中還利用摳圖技術(shù)對透射率修正，使輸出圖像更加清晰自然。然而，對于圖像中較亮的區(qū)域，如天空和白色物體，這一假定并不成立。

對于視頻去霧，Oakley等^[6]假定圖像中所有像素的場景深度相似，并從所有像素中減去相同的偏移值。Zhang等^[7]首先估計出每一幀視頻序列的深度圖，然后利用空間和時間的相似性對深度圖進(jìn)行修正。這些算法復(fù)雜度較低，但不適用于場景深度有變化的圖像。此外，傳統(tǒng)的視頻去霧算法運算時間較長，復(fù)原后的無霧視頻質(zhì)量不高。因此，提出一種有效的實時視頻去霧算法有很大實際意義。

在本文中，基于信息丟失提出了一種實時圖像和視頻去霧算法。首先，利用改進(jìn)的Patch Retinex White算法計算環(huán)境光。其次，通過最小化信息丟失估算出最優(yōu)的透射率，并使用引導(dǎo)濾波^[8]對透射率進(jìn)行修正和細(xì)化，去除光暈和塊效應(yīng)。對于視頻去霧方法，將RGB顏色空間轉(zhuǎn)換為YUV顏色空間，僅處理亮度(Y)分量，不對色度(U,V)分量做任何處理，以降低計算復(fù)雜度。結(jié)合物理模型以及求得的透射率和環(huán)境光，可以有效且快速地得到無霧圖像。

1 大氣散射模型

有霧圖像的退化過程可以用大氣散射模型^[4,6]表示。該模型由衰減模型^[9]和環(huán)境光模型^[10]兩部分組成，模型表達(dá)式為：

其中，x為圖像像素的空間坐標(biāo),I(x)是觀察到的有霧圖像,J(x)是去霧后的圖像,A表示環(huán)境光,t(x)表示透射率，用來描述光線通過傳輸介質(zhì)到達(dá)相機(jī)的過程中沒有被散射的部分，t(x)和場景深度成反比，可以表示為：

其中,β為大氣散射系數(shù)；d為場景深度，即場景和相機(jī)之間的距離。如果能求出透射率，就可以得到場景深度。

圖像和視頻去霧去霧的目的就是根據(jù)已知的輸入圖像I(x)恢復(fù)出無霧圖像J(x)，在此過程中需要首先估計出環(huán)境光A和透射率t(x)，然后通過反解大氣散射模型得到輸出圖像J(x)。

1.1 估計環(huán)境光

根據(jù)原始Patch Retinex White算法^[11]，環(huán)境光和圖像中最亮的像素點相對應(yīng)。但是，當(dāng)圖像中存在較亮的物體時，環(huán)境光的估計值不夠準(zhǔn)確。本文采用改進(jìn)的Patch Retinex White算法估計環(huán)境光。改進(jìn)后的方法不再根據(jù)圖像中的最亮點來估計環(huán)境光，而是求圖像各個顏色通道的累積直方圖，取累計到某一個值P*N時對應(yīng)的像素值作為環(huán)境光。其中P為百分值，實驗中取為1%~5%，N位圖像的像素總數(shù)。通過實驗結(jié)果可知這種簡單算法的魯棒性更好。環(huán)境光的估計值較準(zhǔn)確，復(fù)原后遠(yuǎn)處的濃霧區(qū)域不會過亮，近處的物體也不會很暗。本文中的實驗均是使用這種算法來估計環(huán)境光。

1.2 估計透射率

通過增強(qiáng)的有霧圖像的對比度，可以得到清晰的無霧圖像。然而，由于過度增強(qiáng)，一些像素值會出現(xiàn)溢出現(xiàn)象，并被截斷為0或255。這將導(dǎo)致無霧霾圖像的信息丟失。通過最小化信息損失，可以找到最優(yōu)的透射率。在極端的情況下，最佳的透射率不會產(chǎn)生任何信息丟失，對應(yīng)的不等式是：

其中，J^c是無霧圖像J的一個顏色通道，Ω(x?)是以像素點x為中心的局部區(qū)域。本文假定在局部區(qū)域里，透射率是一個常量。在每個尺寸大小為15×15局部區(qū)域里，求出一個固定的透射率。結(jié)合上面的不等式和公式(1)，可以得到兩個關(guān)于透射率的約束條件如式(5)、式(6)所示。

將這兩個約束條件進(jìn)行合并，得到式(7)。

由于對比度和透射率成反比，透射率越小對比度越大，圖像越清晰。因此，最優(yōu)的透射率是滿足公式(7)的最小值，如式(8)所示。

如果將霧全部去掉，圖像會因失去深度感并顯得不自然。因此，通過引入一個常量參數(shù)ω，可以保留遠(yuǎn)處的少量霧氣。在本文試驗中，參數(shù)ω的值均取為0.95。

對于視頻序列，將有霧圖像序列的RGB顏色空間轉(zhuǎn)換為YUV顏色空間，不改變色度(U,V)分量，只對亮度(Y)分量進(jìn)行去霧處理。根據(jù)實驗結(jié)果我們發(fā)現(xiàn)，利用這種方法得到的去霧結(jié)果可以和在RGB顏色空間得到的去霧結(jié)果相媲美；并且和亮度分量相比，色度分量受霧氣影響很小。同時，計算時間和復(fù)雜度大大降低，可達(dá)到實時性要求。因此，對于視頻序列，可以得到第k幀圖像的透射率，如式(9)所示。

事實上，局部區(qū)域內(nèi)的透射率并不是一個不變的常亮，根據(jù)上面算法得到的透射率圖會出現(xiàn)光暈和塊效應(yīng)，需要對透射率進(jìn)一步修正。在本文中，采用引導(dǎo)濾波算法^[8]來細(xì)化透射率，獲得更準(zhǔn)確的透射率圖。

1.3 去霧

估計出環(huán)境光和透射率后，可以通過解公式(10)得到無霧圖像和視頻序列。

當(dāng)透射率t的值很小時，無霧圖像的噪聲會被放大。因此，一般設(shè)置一個最小值t₀，當(dāng)t小于t₀時，令t=t₀，實驗中t₀取為0.1。

2 實驗結(jié)果

本實驗在操作系統(tǒng)為Windows XP、處理器主頻為2.53 GHz、系統(tǒng)內(nèi)存為1 G的PC機(jī)上運行。用本文算法、He算法對圖1(a)中 “snow,”“house”和“buildings”圖像進(jìn)行去霧處理，并對處理后的結(jié)果做了比較。由圖像“snow”可以看出，He去霧算法不適用于包含天空的圖像，會在天空區(qū)域出現(xiàn)顏色失真，而利用本文算法得到結(jié)果圖像在天空區(qū)域的顏色過度自然。圖像“house”中的霧氣較濃，本文算法仍能有效去除部分霧氣，提高圖像的能見度。圖像“buildings”比較復(fù)雜，根據(jù)He算法得到的結(jié)果圖像去霧效果較好，但計算時間長、復(fù)雜度高、色調(diào)偏暗，并存在細(xì)節(jié)丟失；用本文算法得到的無霧圖像則能保留更多的細(xì)節(jié)，且亮度適中。

圖1 本文算法與He算法的比較 (a) 輸入圖像，上：圖像 “snow”，中：圖像“house”，下：圖像“buildings”；(b) He算法；(c) 本文算法Comparison with He’s method (a) input image. Top: “snow” image. Middle: “house” image. Bottom: “buildings” image,(b)He’s result,(c) our result

為了進(jìn)一步客觀地驗證本文算法的有效性，采用信息熵、平均梯度作為圖像質(zhì)量的度量指標(biāo)，度量結(jié)果如表1所示。

表1?不同算法處理結(jié)果比較Result obtained different algorithms

平均梯度又稱為清晰度，它可以描述影像的清晰程度，反映了圖像細(xì)節(jié)反差程度和紋理變化特征，一般來說，平均梯度值越大表明圖像越清晰。而圖像的信息熵反映了圖像中平均信息量的多少，信息熵越大表明圖像自身信息更豐富。從表中可以看出，本文算法的各項度量指標(biāo)均高于He算法，這從客觀上表明由本文算法的有效性。

我們還對圖2和圖3中的“Intersection”和“Road”視頻進(jìn)行了去霧處理。從實驗結(jié)果可以看出，本文算法可以有效地去除視頻序列中的霧氣。用本文算法對1000幀分辨率為600×400的視頻序列進(jìn)行處理，處理速度約為25幀～28幀每秒，能夠滿足實時性的要求。

圖2 對視頻“Road”的去霧結(jié)果 (a) 輸入視頻,(b) 去霧后的視頻,從左到右分別是第17、19和21幀Video dehazing on the “Road” sequence (a) the input haze sequences,(b) the dehazed sequences The frame numbers of the left,middle,and right columns are 17,19,and 21,respectively

圖3 對視頻“Intersection”的去霧結(jié)果 (a) 輸入視頻,(b) 去霧后的視頻,從左到右分別是第17、19和21幀Video dehazing on the “Intersection” sequence (a) the input haze sequences,(b) the dehazed sequences The frame numbers of the left,middle,and right columns are 17,19,and 21,respectively

3 結(jié)語

本文提出一種簡單而快速的圖像和視頻去霧算法。首先，利用改進(jìn)的Patch Retinex White理論計算出環(huán)境光，然后，通過最小化信息丟失求得最優(yōu)的透射率，最后，根據(jù)大氣散射模型求出無霧圖像和視頻序列。實驗結(jié)果表明，該算法能有效去霧，并且能實現(xiàn)實時性。

參考文獻(xiàn)

[1]	Stark J A. Adaptive image contrast enhancement using generalization of histogram equalization[J].?IEEE Transactions on Image Processing, 2000,9(5): 889-896.
[2]	Tan K, Oakley J P. Physics-based approach to color image enhancement in poor visibilityconditions[J].?Optical Society of America, 2001,18(10):2460-2467.
[3]	Fattal R. Single image dehazing[J].?ACM Transactions on Graphics, 2008,27(3): 72-80.
[4]	Tarel J, Hautiere N, Fast visibility restoration from a single color or gray level image[C].?Proceedings of the 12th IEEE International Conference on Computer Vision, Japan, 2009: 1701-1708.
[5]	He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J].?IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(12): 2341-2353.
[6]	Oakley J, Hong B. Correction of simple contrast loss in color images[J].?IEEE Transactions on Image Processing, 2007,16(2): 511-522.
[7]	Zhang J W, Liang L. Video dehazing with spatial and temporal coherence[J].?Visual Computer, 2011,27(6):749-757.
[8]	He K M, Sun K, Tang X O. Guided image filtering[J].?Pattern Analysis and Machine Intelligence, 2013,35(6): 1397-01409.
[9]	Tan R. Visibility in bad weather from a single image[C].?Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Washington, USA, 2008, 23-28.
[10]	Koschmieder H. Theorie der horizontalen sichtweite[J].?Beitr. Phys. Freien Atm., 1924,12(3):171-181.
[11]	Marc Ebner. A Parallel algorithm for color constancy[J].?Journal of Parallel and Distributed Computing, 2004,64(1):79-88.

總結(jié)

以上是生活随笔為你收集整理的图像和视频的快速去雾算法研究的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。