Low-Light Image Enhancement via a Deep Hybrid Network [TIP2019]

Underexposed Photo Enhancement using Deep Illumination Estimation[CVPR2019]

---------

• Low-Light Image Enhancement via a Deep Hybrid Network [TIP2019]

作者提出一個混合的網(wǎng)絡(luò)來同時學(xué)習(xí)內(nèi)容（global content）和顯著性結(jié)構(gòu)（salient structure）。

為了學(xué)習(xí)內(nèi)容的同時，增加邊沿（edge）的情況，作者提出利用另一個RNN 網(wǎng)絡(luò)來學(xué)習(xí)邊沿信息.

比較核心的設(shè)計是RNN.

數(shù)據(jù)集（Dataset）:

1) 基于自然圖像，使用Gamma變換生成變黑的圖像，從而得到圖象對[1]。

缺點(diǎn)Gamma變換是全局的，沒辦法考慮到圖像的局部信息[1]。

b) 6000對，相機(jī)和手機(jī)拍照的圖象對[2]。

缺點(diǎn)：但是沒有嚴(yán)格對齊。

c) 自己從MIT-Adobe FiveK dataset里面挑選了336張有晝夜/光照變化的圖像對--自己做數(shù)據(jù)增廣。

2) 如何充分的評價你的工作（How to evaluate）. Visually and PSNR/SSIM. 并沒有和任務(wù)結(jié)合起來，讓人覺得并不充分。[TIP2019]如果不是后面一群大佬站臺，真不知道這個論文是不是足夠充分了。

---------------------

值得繼續(xù)研究或者對比或者嘗試的方法（Methods related to feature/VIO that worth trying）:

• 這個RNN增強(qiáng)邊沿的方法值得嘗試一下。

[1]LLNet: A deep autoencoder approach to natural low-light image enhancement.

[2]DSLR-quality photos on mobile devices with deep convolutional networks.

---

CVPR2019: Underexposed Photo Enhancement using Deep Illumination Estimation

摘要：

instead of the directly learning an image-to-image mapping, we design the network to first estimate an image-to-illumination mapping for modeling varing-lighting conditions and then take the illumination map to light up the underexposed photos.
與之前的圖像對圖像的映射不同，這里的網(wǎng)絡(luò)只學(xué)習(xí)圖像到光照的映射（ 從圖像中估計光照的強(qiáng)度/模型），然后利用圖像光照來改進(jìn)曝光不足的圖像。

----------P.S. 這個估計中間圖的操作在水下圖像復(fù)原里面（waterGAN就已經(jīng)用過了。。）

視網(wǎng)膜模型：認(rèn)為我們看到的圖像/每一個像素是由像素本身的反射和光照兩部分組成。

Image enhancement model ( Retinex-based model)

Reflectance image

and the illumination map S, pixel-wise multiplication to produce the observed image:

The goal is to estimate based on .

----

Overview:

take away：

1）Q： 關(guān)于如何讓網(wǎng)絡(luò)輸出是期望的illumination Map S? 并沒有直接可以得到的loss來訓(xùn)練網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)

A: 可以在網(wǎng)絡(luò)的輸出后面繼續(xù)進(jìn)行操作，如圖上所示，利用網(wǎng)絡(luò)輸出S和原始圖像I，計算得到

，然后繼續(xù)基于 的L2-loss就可以實現(xiàn)了。值得學(xué)習(xí)的是，在網(wǎng)絡(luò)后面繼續(xù)操作，然后學(xué)習(xí)loss。

2）smoothness prior: 優(yōu)勢：有利于減弱過擬合，提高網(wǎng)絡(luò)泛化能力；增強(qiáng)圖像對比度。

感覺這個smoothness prior是從傳統(tǒng)方法中借鑒過來的（張國峰的TPAMI2009的平滑項涉及類似）。

公式分析: 圖像梯度小的地方，weights高--loss增加，從而增加smoothness的要求。圖像梯度大的地方，weights小--loss降低，從而降低smoothness的要求。

【為什么要用logarithmic image?】--目前不清楚,查一下相關(guān)平滑項的內(nèi)容。

【圖像梯度和光照的關(guān)系】對于光照，尤其不均勻光照時，對圖像的梯度的影響比較大，因此要可以根據(jù)梯度的差異來修正光照的變化。

3） color loss：取ground-truth 和網(wǎng)絡(luò)輸出之間的RGB 3D vector之間的角度差，這個loss比L2 loss要好，L2 loss比較vague，這個loss對顏色方向有更強(qiáng)的約束，從而提高圖像的一致性。

【loss 函數(shù)的可導(dǎo)性，是否有分析，以及會有何影響？】

4）制作數(shù)據(jù)集：雇傭了專業(yè)人員school of photography來修圖，從而完成數(shù)據(jù)集的制作，這個也是很大的contribution--不知道是如何收費(fèi)的。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python去除图像光照不均匀_低光照环境下图像增强相关的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。