CVPR 2020 | 從重建質(zhì)量到感知質(zhì)量：

用于低光照增強(qiáng)的半監(jiān)督學(xué)習(xí)方法

Code:?https://github.com/flyywh/CVPR-2020-Semi-Low-Light

1

背景

本篇為大家介紹我們組被2020年IEEE國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議(CVPR 2020)接收的工作《From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement》。該文章主要針對(duì)低光照增強(qiáng)任務(wù)。現(xiàn)有的高性能低光照增強(qiáng)工作大多數(shù)基于全監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)方法——前者提供更詳細(xì)具體的建模信息，但一方面數(shù)據(jù)往往難以收集導(dǎo)致缺乏多樣性，另一方面客觀的重建質(zhì)量與主觀的感知質(zhì)量并不完全重合；后者可以收集更多樣的數(shù)據(jù)提升泛化性能，但代價(jià)是噪聲消除以及細(xì)節(jié)重建性能較差。本文通過(guò)深度學(xué)習(xí)來(lái)進(jìn)行低光照?qǐng)D像的半監(jiān)督學(xué)習(xí)，提出了一種遞歸頻帶表示來(lái)連接無(wú)監(jiān)督和全監(jiān)督框架。本文提取出一系列由粗到精的頻帶表示，并通過(guò)遞歸的端到端學(xué)習(xí)進(jìn)行增強(qiáng)，進(jìn)行噪聲去除和細(xì)節(jié)修正。在感知質(zhì)量引導(dǎo)的對(duì)抗學(xué)習(xí)下，深度頻帶表示進(jìn)行重構(gòu)，生成最終的增強(qiáng)結(jié)果。大量實(shí)驗(yàn)從多角度證明了該網(wǎng)絡(luò)結(jié)構(gòu)的有效性，展現(xiàn)出超過(guò)現(xiàn)有各類方法的優(yōu)秀表現(xiàn)。

低光照增強(qiáng)任務(wù)介紹

在暗光場(chǎng)景下進(jìn)行拍攝會(huì)導(dǎo)致成片的一系列降質(zhì)，例如低亮度、低對(duì)比度以及密集的噪聲。利用更尖端的攝影設(shè)備或是更專業(yè)的攝像技術(shù)可以在一定程度上降低暗光帶來(lái)的降質(zhì)。然而這些選擇也很難解決較弱的信號(hào)淹沒在相對(duì)高強(qiáng)度的系統(tǒng)噪聲中這一問(wèn)題。利用長(zhǎng)曝光來(lái)減輕噪聲是一個(gè)常見且有效的選擇，然而在動(dòng)態(tài)場(chǎng)景下長(zhǎng)曝光會(huì)帶來(lái)運(yùn)動(dòng)模糊。在拍攝設(shè)備普及，拍攝需求旺盛且拍攝場(chǎng)景多樣的當(dāng)下，如何減輕，甚至去除這種暗光場(chǎng)景帶來(lái)的圖像降質(zhì)，成為了學(xué)術(shù)界及工業(yè)界亟待解決的問(wèn)題。

2

算法

本文首先使用端到端的網(wǎng)絡(luò)提取出一系列由粗到精的頻帶表示，并用重建目標(biāo)進(jìn)行全監(jiān)督，保證頻帶表示的重建質(zhì)量要求，并通過(guò)遞歸的框架進(jìn)行增強(qiáng)，進(jìn)一步進(jìn)行噪聲去除和細(xì)節(jié)修正。然后通過(guò)對(duì)抗學(xué)習(xí)的方法，組合不同粒度的頻帶表示，重構(gòu)最終結(jié)果，使用對(duì)抗學(xué)習(xí)以及感知損失進(jìn)行感知質(zhì)量引導(dǎo)的無(wú)監(jiān)督學(xué)習(xí)。

網(wǎng)絡(luò)結(jié)構(gòu)

具體的半監(jiān)督深度遞歸頻帶網(wǎng)絡(luò)(DRBN)結(jié)構(gòu)如圖所示。

圖1 深度遞歸頻帶網(wǎng)絡(luò)結(jié)構(gòu)

首先是深度頻帶學(xué)習(xí)階段。將低光照?qǐng)D像輸入帶有殘差連接的深度網(wǎng)絡(luò)中，提取其中不同粒度的特征作為圖像的頻帶表示。在重建時(shí)粒度最粗的表示作為基本層，對(duì)粒度相對(duì)較細(xì)的表示采取殘差學(xué)習(xí)的方式，輸出重建結(jié)果。在進(jìn)行第一輪的特征提取后，與圖像同分辨率的頻帶表示和圖像同時(shí)作為下一輪遞歸網(wǎng)絡(luò)的輸入，不同粒度的表示都會(huì)作為下一輪遞歸的基礎(chǔ)做殘差學(xué)習(xí)。本文采用了4輪遞歸，最后一輪遞歸重建出的最細(xì)粒度的圖像將作為整個(gè)深度頻帶學(xué)習(xí)階段的最終結(jié)果，與重建目標(biāo)進(jìn)行目標(biāo)函數(shù)計(jì)算并反傳。此階段的目標(biāo)函數(shù)為三個(gè)粒度上的SSIM Loss。

然后是頻帶重構(gòu)階段。將深度頻帶學(xué)習(xí)階段三個(gè)粒度上的最終輸出插值到標(biāo)準(zhǔn)分辨率后做差，輸入網(wǎng)絡(luò)進(jìn)行權(quán)重學(xué)習(xí)，將輸出的權(quán)重與對(duì)應(yīng)的通道相乘后求和，輸出最終的重構(gòu)結(jié)果。重構(gòu)出的圖像將計(jì)算目標(biāo)函數(shù)。此階段的目標(biāo)函數(shù)包括判定是否為高質(zhì)量圖像的Discriminator Loss，利用VGG提取特征的Perceptual Loss以及衡量保真度的SSIM Loss，其中Discriminator由工作[1]提供的數(shù)據(jù)作為訓(xùn)練集。該目標(biāo)函數(shù)作為感知引導(dǎo)，可以將僅關(guān)注重建質(zhì)量的圖像進(jìn)一步進(jìn)行感知質(zhì)量的增強(qiáng)。

3

實(shí)驗(yàn)

本文利用LOL[2]數(shù)據(jù)集進(jìn)行訓(xùn)練以及測(cè)試，在不同的設(shè)置下進(jìn)行了實(shí)驗(yàn)以驗(yàn)證網(wǎng)絡(luò)的性能。這些實(shí)驗(yàn)證明DRBN在低光照?qǐng)鼍跋碌膽?yīng)用價(jià)值以及網(wǎng)絡(luò)所采用的模塊的有效性。

定量實(shí)驗(yàn)

圖2 客觀指標(biāo)對(duì)比實(shí)驗(yàn)

定量對(duì)比試驗(yàn)與BIMEF, BPDHE, CRM, DHECE, MR. JED, RRM, SRIE, Dong, EFF, CLAHE, LIME, MF, DRD, DeepUPE, SICE和EG進(jìn)行了對(duì)比，指標(biāo)選擇了PSNR，SSIM以及基于伽馬矯正結(jié)果的SSIM(SSIM-GC)。可以看到在這些指標(biāo)下，DRBN對(duì)LOL-Real數(shù)據(jù)集有更好的重建質(zhì)量。

定性實(shí)驗(yàn)

圖3 主觀結(jié)果對(duì)比實(shí)驗(yàn)

定性對(duì)比試驗(yàn)提供了各類低光照增強(qiáng)方法的最終結(jié)果。可以看到與其他方法相比，DRBN在噪聲處理和細(xì)節(jié)恢復(fù)上有著更佳的性能，且輸出的圖像有更好的視覺質(zhì)量。

消融實(shí)驗(yàn)

圖4 感知引導(dǎo)有效性實(shí)驗(yàn)

消融實(shí)驗(yàn)主要針對(duì)本文采用的兩階段框架。圖4中從左到右依次是：輸入、第一階段輸出、第二階段輸出以及作為參考的正常光照?qǐng)D像。可以看到第二階段的感知引導(dǎo)能有效地提升圖像的主觀質(zhì)量，有更鮮明的色彩和較強(qiáng)的對(duì)比度。

4

總結(jié)

該文章設(shè)計(jì)了一種基于半監(jiān)督學(xué)習(xí)的兼顧重建質(zhì)量以及感知質(zhì)量的低光照增強(qiáng)方法，利用兩階段的框架實(shí)現(xiàn)了圖像重建質(zhì)量和感知質(zhì)量的增強(qiáng)。作者通過(guò)實(shí)驗(yàn)證明了整體網(wǎng)絡(luò)框架的優(yōu)越性以及感知引導(dǎo)作為網(wǎng)絡(luò)模塊的有效性，為未來(lái)相關(guān)領(lǐng)域的工作提供了新的思路。

掃碼訪問(wèn)代碼主頁(yè)

或點(diǎn)擊左下方“閱讀原文”進(jìn)行跳轉(zhuǎn)。

參考文獻(xiàn)

[1] N. Murray, L. Marchesotti, and F. Perronnin. Ava: A largescale database for aesthetic visual analysis. In Proc. IEEEInt’l Conf. Computer Vision and Pattern Recognition, pages2408–2415, June 2012. 5

[2] Chen Wei, Wenjing Wang, Wenhan Yang, and Jiaying Liu.Deep retinex decomposition for low-light enhancement. InBritish Machine Vision Conference, Sept 2018. 1, 3, 5, 6

想知道更多有趣項(xiàng)目

歡迎掃碼訪問(wèn)小組主頁(yè)

www.wict.pku.edu.cn/struct/

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的python去除图像光照不均匀_CVPR 2020 | 从重建质量到感知质量：用于低光照增强的半监督学习方法...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。