論文題目：IDRLP: Image Dehazing Using Region Line Prior
論文作者：Mingye Ju , Can Ding , Member , IEEE, Charles A. Guo, Wenqi Ren, Member , IEEE, and Dacheng Tao , Fellow, IEEE

摘要

本文提出了一種新的、超魯棒的單幅圖像去噪方法：IDRLP。觀察到，當圖像被劃分為n個區域時，每個區域具有相似的場景深度，模糊圖像及其無霧圖像對應的亮度都與場景深度呈正相關。基于這一觀察，本研究定義，在執行區域分割后，模糊輸入及其無模糊對應呈現擬線性關系，稱為區域線先驗（region line prior，RLP）。將RLP和大氣散射模型（ASM）結合起來，得到只需兩個未知參數（線性函數的斜率和大氣光）的恢復公式（RF）。然后設計了一個考慮兩個約束的二維聯合優化函數求解RF。這種“聯合優化”策略有效地利用了整個圖像中的信息，從而獲得更準確的結果，具有極高的魯棒性。最后，在RF中引入了一個引導濾波器，以消除區域分割帶來的不利干擾。
從不同的角度對所提出的RLP和IDRLP進行了評估，并與相關的最新技術進行了比較。廣泛的分析驗證了IDRLP在恢復質量和效率方面優于最先進的圖像去霧技術。

介紹

在有霧天氣下，由于懸浮在大氣中的顆粒物的干擾，拍攝的圖像通常會丟失重要特征。
目前最先進的去霧算法大致可分為兩類：

• 圖像增強方法：
  傳統的圖像處理方法：增強模糊圖像的對比度。優：局部或全局對比度可以提高；缺：由于沒有考慮圖像模糊理論的精確特征，恢復結果的視覺質量非常有限。
  融合方法：使用兩種或更多傳統方法對輸入圖像進行預處理，然后混合預處理圖像中包含的有用信息。
  優：融合方法顯示出更好的恢復質量；缺：恢復后圖像的性能很大程度上取決于預處理方法的有效性。
• 基于大氣散射模型（ASM）的方法
  ASM描述模糊圖像的形成公式如下：
  
  I表示模糊圖像，A表示全球大氣光，ρ表示場景反照率或預期的無噪圖像，t表示介質傳輸。
  基于ASM的去霧方法的特點：（1）推斷潛在的先驗信息；（2）依靠密集的數據處理來建模傳輸圖、估計大氣光，然后通過ASM恢復無噪圖像。根據得到傳輸圖的方法，基于ASM的去霧方法可分為：像素策略、分塊策略、學習策略和非局部策略。
• 像素策略：利用每個像素的最小顏色值構造傳輸圖。優：復雜度低，處理時間相對較短；缺：最小通道包含大量不合理的紋理，需要使用額外的控制因子和后續的模糊算子。
• 分塊策略：從每個分塊提取局部信息構建傳輸圖。優：與像素策略相比，分塊策略具有更強的恢復能力。缺：需要復雜的引導器，以消除該策略引入的光暈偽影（塊陰影）。由此提出將傳輸估計范圍從一個分塊擴展到一個場景，從而在一定程度上提高恢復性能的場景策略。
• 學習策略：基于深度學習的ASM模糊消除，例如：基于卷積神經網絡（CNN）的網絡，稱為DehazeNet，以使用端到端的方式估計傳輸圖；提出DCP損失函數，以克服合成數據的缺點的無監督訓練的深度神經網絡；
  將透射光和大氣光重新建模為一個新變量，然后使用輕型網絡實現端到端霧霾消除。**不使用ASM，**而是直接學習模糊圖像和場景反照率之間的潛在轉換。這種機制不需要估計透射光和大氣光。
• 非局部策略：基于一個關鍵假設，即模糊圖像必須包含近似的顏色、或重復的分塊。使用該方法的前提是識別輸入圖像中的霧線（不同顏色的坐標集）。根據這些顏色線，使用非局部先驗估計大氣光和傳輸圖。根據這些估計參數，最終基于ASM得到恢復的圖像。缺：隨著霧霾級別的增加，分類精度降低，從而導致在處理重度霧霾時失去效力，以及在空氣燈明顯比場景亮的場景中，也會失敗。
  所有基于ASM的非學習性去霧方法（都有一個共同的缺點，即忽略成像參數之間的潛在聯系。預測大氣光→ 估計傳輸圖→場景恢復：一旦無法準確預測大氣光，則傳輸圖估計勢必受到干擾，所以這些方法魯棒性相對較低。
• IDRLP：基于分布在模糊圖像平面上的不同區域的平均像素強度與相應的無霧圖像上的像素強度具有準線性關系的發現，定義為區域線先驗RLP。基于RLP和ASM，提出了一種采用聯合優化策略的快速圖像去霧方法（IDRLP）。該方法將圖像去霧轉化為一個簡單的二維聯合優化函數（2D-JOF），大大縮小了去霧的解空間。優：聯合優化策略利用整個圖像中的信息估計成像參數，恢復可靠，IDRLP無需引入任何額外操作，能夠從各種具有挑戰性的朦朧圖像中去除模糊，同時避免例如過度增強、過度飽和和霧殘留的問題。

區域線先驗(RLP)

基于ASM的去霧圖像方法，缺乏描述大氣光和介質傳輸的信息。
本文提出了一種新的先驗知識（RLP），以擴展從模糊圖像中推斷出的與場景反照率有關的信息。觀察到，對于模糊圖像和無霾圖像，較遠的場景通常比較近的場景更亮的發現。即場景深度越小，從相機觀察到的紋理強度越高，光吸收效果越強，因此平均亮度越低。
圖像被劃分為n個區域，每個區域具有相似的場景深度，場景反照率p和場景深度d之間存在關系：

m ∈ {0, n?1}， c∈ {R，G，B}是顏色索引，d是場景深度，Qm是第m個區域中像素的坐標集，|Qm|表示Qm內的像素數。
對于模糊圖像，每個區域中像素的平均值會隨著場景深度的增加而增加，平均亮度也會更亮。因此：


圖3顯示出：模糊圖像和無霧圖像的?Im和?ρm都與?dm呈正相關，即平均亮度通常隨場景深度的增加而增加。
對于?Im和?ρm的關系：

圖4顯示出：模糊圖像和無霧圖像的?Im和?ρm呈準線性關系，具有最小場景深度的區域的?ρ值總是接近于0.1。?Im和?ρm之間的相關性被確定為一個線性函數，稱為區域線先驗（RLP）：

k表示斜率，?Io表示具有最小場景深度的區域的?I值。RLP是一種基于非局部區域的策略，它依賴于模糊圖像和場景反照率之間的關系，有利于后續的霧霾去除過程。

IDRLP

基于提出的RLP和ASM，提出了一種簡單而有效的圖像去霧方法（IDRLP）。IDRLP使用了三個模塊：用于推導恢復公式（RF）的先驗約束、用于搜索RF中的最佳斜率和大氣光的聯合優化模塊以及場景恢復模塊。

恢復公式（RF）的先驗約束

IDRLP的第一步是將模糊圖像劃分為n個非重疊區域（RS），每個區域具有相似的場景深度。然而，由于顯式深度信息不可獲得的，直接在深度圖上進行區域分割是很困難的。因此，使用K-means在模糊圖像的藍色通道上執行區域劃分，區域劃分后，假設每個區域具有相同的傳輸值。例如，在第m區域中，其中（x，y）∈ Qm、 投射t(x，y）≈ ?tm。在這種情況下，ASM可以應用于任何定義的區域，并簡化為:

（x，y）∈ Qm，m ∈ {0, n?1}， 上式兩邊在第m區域求平均：

A拔是A的平均值。第m區域的投射?tm:

第m區域的恢復公式（RF）：

（x，y）∈ Qm。由于?Im和?Io是與I相關的，并且給出I則很容易可以獲得。第m區域的RF可以由三個參數表示，即：

Rm（·）是第m區域的RF縮寫，I是輸入圖像，只有斜率k和大氣光A尚未確定。
上式RF將復雜的去霧轉化為兩個參數的估計問題，降低了去霧的不確定性。

聯合優化模塊

一種魯棒且易于實現的獲取未知參數的方法。

為了確定k和A的優化值，使用了具有兩個約束的聯合優化。
圖像去雜的實質是在成像過程中排除大氣光引起的亮度干擾，即高質量圖像的平均亮度往往有一個特定值μ。

&1(·)是平均算子。但僅僅利用這個約束來調整亮度是不夠的，它可能會導致顯著的信息丟失，即一些像素將完全變成黑色或白色。
因此，第二個約束是在調整亮度時確保信息損失最小：

&2(·)是計算信息丟失率（ILR）的運算符。
考慮到這兩個約束條件，設計了一種聯合估計策略來尋求k和a的最佳組合，即Kp和Ap。
從形式上講，它可以表示為：

大氣光A = [AR，AG，AB]，為了降低復雜性，使用更簡潔的形式來定義大氣光：

τ是大氣光的振幅，它的顏色方向o = [oR，oG，oB]可通過白點法獲得。則由k和τ表示的2D聯合優化函數（2D-JOF）如下所示：

此時：


↓ω是一個系數為ω的下采樣算子，引入ω可以進一步降低計算復雜度。值得注意的是，下采樣操作不會影響參數的估計精度。
為了解決這個2D-JOF問題，建議使用坐標下降，其關鍵思想是交替最小化k和τ（通過固定其他參數），直到它們收斂。
具體而言，第j次迭代后2D-JOF的解可通過以下公式計算：
上面兩個式子都是一維可搜索問題，可以通過斐波那契算法（FA）解決。
在這項工作中，初始化k1=0.5，并將停止標準條件設置為δ（j）=|τj? τ（j?1）|≤ e = 10^?3。迭代完成后，可以得到大氣光Ap=τj· [oR，oG，oB]，斜率kp=kj。

場景恢復模塊

一旦確定了斜率和大氣光，就可以通過使用RF遍歷所有區域恢復無霧圖像。
然而并不能達到期望的效果，這主要是由于區域分割是在藍色通道上實現的，而不是使用真實場景深度。
為了解釋這一缺陷，引入了一種具有模糊能力的引導濾波器（GF），從而得到最終的RF:

其中tr是通過對所有區域獲得的粗略傳輸圖，CR（·）是GF算子。

圖5示出了使用GF后的性能增強。未使用GF的恢復圖像與基本圖像相比，顏色不自然；使用GF時，得到的結果看起來與基本事實完全相同。
算法1概述了所提出的IDRLP的整個過程。除了迭代所有步驟都是簡單的操作。但迭代的公式也可由下采樣算子加速，易于求解，可以保證高效率。

IDRLP與文獻的IDE的比較

IDRLP和IDE，都受到了一種現象的啟發，即場景深度越大的區域的像素平均值越高。但是這兩種方法針對不同的圖像增強任務：
IDE正試圖解決去霧結果中的暗淡效應的問題；
IDRLP則利用這種現象在模糊圖像與其無霧圖像對應之間建立關系。
下圖為IDE和IDRLP的流程圖：

IDE將光吸收率引入ASM，得到增強ASM（EASM）。然后通過將基于分塊的灰色世界假設（PGWA）和DCP估計的大氣光A加在EASM上，推導出傳輸計算公式（TCF）。
解決TCF問題：設計了一個全局拉伸策略，通過預先設置一個可接受的飽和度來增強結果，從而生成準確的傳輸圖。
通過傳輸圖和估計的大氣光A，基于EASM恢復出圖像。

IDRLP的第一步是使用K均值實現區域分割（RS）。然后根據提出的RLP（它利用上述觀測朦朧和無霾圖像），基于ASM將去霧轉換為由兩個未知參數（RLP斜率和大氣光）組成的恢復公式（RF）。
求解RF：通過對該RF公式施加兩個約束，這些參數可以通過迭代求解，從而恢復無霧結果。最后為了消除分割區域帶來的干擾，引入了一種具有模糊能力的引導濾波器（GF），從而得到最終的恢復圖像。

總結

以上是生活随笔為你收集整理的IDRLP: Image Dehazing Using Region Line Prior的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。