Underexposed Photo Enhancement using Deep Illumination Estimation

基于深度學(xué)習(xí)優(yōu)化光照的暗光下的圖像增強(qiáng)

論文地址：Underexposed Photo Enhancement using Deep Illumination Estimation

暗光拍照也清晰，這是手機(jī)廠商目前激烈競(jìng)爭(zhēng)的新拍照目標(biāo)。

提出基于深度學(xué)習(xí)優(yōu)化光照的暗光下的圖像增強(qiáng)模型，用端到端網(wǎng)絡(luò)增強(qiáng)曝光不足的照片。

而且不是像以前的工作那樣，直接學(xué)習(xí)圖像到圖像的映射，而是在新網(wǎng)絡(luò)中引入中間照明，將輸入與預(yù)期的增強(qiáng)結(jié)果相關(guān)聯(lián)，增強(qiáng)網(wǎng)絡(luò)從專家修飾的輸入/輸出圖像學(xué)習(xí)復(fù)雜的攝影調(diào)整的能力。在此模型的基礎(chǔ)上，構(gòu)造了一個(gè)對(duì)光照采用約束和先驗(yàn)的損失函數(shù)，結(jié)果證明，新算法模型，效果超過了市面上一眾當(dāng)紅的多攝多硬手機(jī)

傳統(tǒng)夜景圖像增強(qiáng)算法大致可以分為幾個(gè)方面： 直方圖均衡化(Histogram equalization) ，這種方法簡(jiǎn)單的利用了圖像整體的統(tǒng)計(jì)性質(zhì)，通常不能對(duì)復(fù)雜場(chǎng)景達(dá)到理想效果。

基于Retinex理論的增強(qiáng)算法，通常只能用單通道進(jìn)行光照優(yōu)化，顏色無法很好地回復(fù)，在光照復(fù)雜的情況下還容易出現(xiàn)過曝的現(xiàn)象。

這些傳統(tǒng)方法還容易在增加圖像亮度的同時(shí)，放大噪聲等瑕疵，影響圖像質(zhì)量。

基于深度學(xué)習(xí)的方法，通常是直接訓(xùn)練回歸(regression)模型，由于數(shù)據(jù)本身的特性，這種方法得到的結(jié)果通常清晰度、對(duì)比度比較低，而且會(huì)有一些人工痕跡。

效果圖

提出了一種新的端到端圖像增強(qiáng)網(wǎng)絡(luò)。特別地，沒有直接學(xué)習(xí)圖像到圖像的映射，而是設(shè)計(jì)網(wǎng)絡(luò)，首先估計(jì)一個(gè)圖像到光照的映射來建模各種光照條件，然后使用光照映射來照亮曝光不足的照片。此外，為了降低計(jì)算成本，我們采用了基于雙網(wǎng)格的上采樣，并設(shè)計(jì)了一個(gè)在光照上采用各種約束條件和先驗(yàn)的損失函數(shù)，使我們能夠有效地恢復(fù)自然曝光、對(duì)比度合適、細(xì)節(jié)清晰、色彩鮮艷的低曝光照片。

方法

圖像增強(qiáng)的任務(wù)可以被看作是尋求一個(gè)映射函數(shù)

,這樣 就是我們想要的圖像，由輸入圖像 增強(qiáng)得到 ，最近基于Retinex方法的圖像增強(qiáng)， 的逆函數(shù)通常被建模為光照映射S，它與反射率圖像 以像素級(jí)的方式相乘，生成所觀察到的圖像 ：

這里S建模為RGB三通道是為了增強(qiáng)其對(duì)顏色增強(qiáng)的建模能力，特別是對(duì)不同顏色通道的非線性處理能力。

是觀察圖像， 是增強(qiáng)后的圖像，因此只要解得 的近似解 即可。為什么這么做有效呢？因?yàn)樽匀粓D像的光照?qǐng)D有著相對(duì)簡(jiǎn)單的先驗(yàn)，因此使用光照?qǐng)D做中介可以有效應(yīng)對(duì)各種光照情況，同時(shí)也可以通過對(duì)光照?qǐng)D進(jìn)行調(diào)整，實(shí)現(xiàn)個(gè)性化增強(qiáng)，例如可以使用局部平滑的光照?qǐng)D增加對(duì)比度

網(wǎng)絡(luò)架構(gòu)

網(wǎng)絡(luò)分成了 全分辨率分支 和 低分辨率分支 。其中低分辨率分支用于學(xué)習(xí)到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網(wǎng)絡(luò)感受野，提高算法速度。

低分辨率分支的結(jié)果將會(huì)傳遞給高分辨率網(wǎng)絡(luò)分支，用于重建全分辨率下的亮度圖，并最終得到增強(qiáng)后的圖像。

損失函數(shù)

從N對(duì)圖片

學(xué)習(xí)照明映射，學(xué)習(xí)出S然后增強(qiáng)圖像 ，在網(wǎng)絡(luò)訓(xùn)練過程中，我們?cè)O(shè)計(jì)了一個(gè)由三個(gè)部分組成的損失函數(shù) ，并將其最小化。它表示為：

是是三個(gè)部分的損失， 是相應(yīng)部分的權(quán)重

Reconstruction Loss：

為了得到預(yù)測(cè)的S，我們定義

誤差度量來測(cè)量重建誤差為：

其中，

和 中的所有像素通道歸一化為[0,1]， 表示像素顏色通道， 是多通道光照范圍約束。因?yàn)? ，將 設(shè)為 的下界，確保增強(qiáng)結(jié)果 中的所有顏色通道(上界)都有一個(gè)上界，因此要避免超出色域的顏色，而將1設(shè)置為S的上界可以避免錯(cuò)誤地使曝光不足的區(qū)域變暗。

Smoothness Loss：

根據(jù)先驗(yàn)光滑性，自然圖像中的光照一般為局部光滑。在我們的網(wǎng)絡(luò)中采用這種優(yōu)先級(jí)有兩個(gè)優(yōu)點(diǎn)。首先，它有助于減少過度擬合，提高網(wǎng)絡(luò)的泛化能力。其次，它增強(qiáng)了圖像的對(duì)比度。當(dāng)相鄰像素點(diǎn)p和q的光照值相似時(shí)，它們?cè)谠鰪?qiáng)圖像中的對(duì)比度可以估計(jì)為

，它也應(yīng)該被放大，因?yàn)? 。因此，我們將圖3中預(yù)測(cè)的全分辨率光照S的平滑度損失定義為：

其中對(duì)所有像素的所有通道(c)求和，

為圖像空間水平方向和垂直方向的偏導(dǎo)數(shù)， 為空間變化(每個(gè)通道)的平滑權(quán)值，表示為：

這里，

是輸入圖像 的對(duì)數(shù)， 是控制圖像梯度靈敏度的參數(shù)， 是一個(gè)小常數(shù)，通常設(shè)置為0.0001，防止被0整除。

直觀地說，平滑度損失鼓勵(lì)光照在小梯度的像素上是平滑的，而在大梯度的像素上是不連續(xù)的。有趣的是，對(duì)于曝光不足的照片，圖像內(nèi)容和細(xì)節(jié)往往很弱。較大的梯度更可能是由不一致的光照造成的。如圖4中的第4幅圖像所示，通過進(jìn)一步加入平滑度損失，我們恢復(fù)了良好的圖像對(duì)比度，與僅重建損失的結(jié)果相比，細(xì)節(jié)更加清晰。

Color Loss

接下來，設(shè)計(jì)顏色損失來使生成的圖像

中的顏色與相應(yīng)的標(biāo)簽圖片 中的顏色匹配

表示一個(gè)像素， 是一個(gè)運(yùn)算符，它將RGB顏色作為三維向量計(jì)算兩種顏色之間的夾角。上面等式對(duì) 和 中每個(gè)像素對(duì)的顏色向量夾角求和。

我們?cè)谄渌伾臻g中使用這個(gè)簡(jiǎn)單的公式而不是L2距離的原因如下。首先，重構(gòu)損失已經(jīng)隱含地測(cè)量了L2色差。其次，由于L2度規(guī)僅用數(shù)值方法測(cè)量色差，因此不能保證顏色向量具有相同的方向。

并在NVidia Titan X Pascal GPU上以mini-batch為16進(jìn)行40個(gè)epoch的訓(xùn)練。優(yōu)化器使用Adam，固定學(xué)習(xí)率為

。為了增加數(shù)據(jù)，隨機(jī)裁剪了 的patch，然后隨機(jī)調(diào)整大小和旋轉(zhuǎn)所有patch。下采樣輸入的固定分辨率為 。編碼器網(wǎng)絡(luò)是一個(gè)預(yù)先訓(xùn)練的VGG16。局部特征提取器包含兩個(gè)卷積層，全局特征提取器包含兩個(gè)卷積層和三個(gè)全連通層。此外，使用基于雙邊網(wǎng)格(bilateral grid)的模塊對(duì)輸出進(jìn)行向上采樣。

結(jié)果

與最先進(jìn)的方法進(jìn)行可視化比較。

與最先進(jìn)的方法進(jìn)行可視化比較

使用了兩個(gè)常用的度量標(biāo)準(zhǔn)(即，PSNR和SSIM)來定量評(píng)估我們的網(wǎng)絡(luò)性能，根據(jù)預(yù)測(cè)結(jié)果和相應(yīng)的專家潤(rùn)色圖像之間的顏色和結(jié)構(gòu)相似性。雖然這不是絕對(duì)的指示性，但總的來說，高的PSNR和SSIM值對(duì)應(yīng)著相當(dāng)好的結(jié)果。

在自己制作的數(shù)據(jù)集上定量比較本文的方法和最先進(jìn)的方法

在MIT-Adobe FiveK數(shù)據(jù)集上對(duì)我們的方法和最新技術(shù)進(jìn)行了定量比較。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的retinex 的水下图像增强算法_图像增强论文:腾讯优图CVPR2019的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。