图像融合亮度一致_重磅干货低光图像处理方案
? ? ? 點擊上方“AIWalker”，選擇加“星標”或“置頂”
? ?重磅干貨，第一時間送達
Tips：一點點提示，因內容較多建議先關注，再置頂，最后端杯茶來精心瀏覽。
背景
低光圖像是夜晚拍照時極為常見的一種現象。不充分的光照會極大的降低圖像的視覺質量，細節損失、低對比度不僅導致令人討厭的主觀感受，同時會影諸多計算機視覺系統的性能(這些系統往往為正常光照圖像而設計)。
導致低光圖像的原因有很多，如低光環境、低端拍攝設備以及不合理的拍照設備的配置等。為盡可能的恢復圖像的細節信息，改善圖像質量，我們急需一種有效的低光圖像增強方案。
在過去的十年里，許多研究人員對低光圖像增強展開了研究并提出了多種技術。如Histogram Equalization(HE)及其改進；Retinex理論及其改進等等。
本文主要關注深度學習方法在該領域的一些進展，將簡單匯總與介紹近幾年相關的深度學習方法以及相應的數據集、相關技術的評價標準等等。
數據
這里匯總了一些公開論文中用到的低光圖像數據，供模型訓練與測試參考。? ?在低光圖像增強領域中，目前最常用的數據集為SID與LOL這兩種數據集。這兩個數據集分別代表了低光圖像增強領域的兩個場景。
SID是極暗場景下的數據集，它的輸入為未經任何處理的RAW格式數據，未經ISP處理；而LOL則是類似夜景這種有一定光照條件下的低光數據集，它的輸入與輸出均為PNG格式的數據，即經過了ISP處理。
Table.1 與低光圖像增強相關的數據集
| VIP-LowLight | Eight Natural Images Captured in Very Low-Light Conditions | 鏈接 |
| ReNOIR | RENOIR - A Dataset for Real Low-Light Image Noise Reduction | 鏈接 |
| Raw Image Low-Light Object | - | 鏈接 |
| SID | Learning to see in the dark | 鏈接 |
| ExDARK | Getting to Know Low-light Images with The Exclusively Dark Dataset | 鏈接 |
| MIT-FivK | Learning Photographic Global Tonal Adjustment with a Database of Input / Output Image Pairs | 鏈接 |
| LRAICE-Dataset | A Learning-to-Rank Approach for Image Color Enhancement | - |
| The 500px Dataset | Exposure: A White-Box Photo Post-Processing Framework | - |
| DPED | DSLR-quality photos on mobile devices with deep convolutional networks | 鏈接 |
| LOL | Deep Retinex Decomposition for Low-Light Enhancement | 鏈接 |
| VV | - | 鏈接 |
方法
| 2015 | LLNet A Deep Autoencoder Approach to Natural Low Light Image Enhancement | 低光 |
| 2017 | DSLR Quality Photos on Mobile Devices with Deep ConvolutionalNetworks | 低光 |
| 2017 | MSRNet Low Light Image Enhancement using Deep Convolutional Network | 低光 |
| 2017 | LLCNN A Convolutional Neural Network for Low light Image Enhancement | 低光 |
| 2017 | LIME Low light Image Enhancement via Illumination Map Estimation | 低光 |
| 2017 | Deep Bilateral Learning for Real Time Image Enhancement | 低光 |
| 2018 | DeepISP Towards Learning an End to End Image Processing Pipeline | 低光 |
| 2018 | Getting to Know Low Light Images with The Exclusively Dark Dataset | 低光 |
| 2018 | Deep Retinex Decomposition for Low Light Enhancement | 低光 |
| 2018 | Learning to see in the dark | 暗光 |
| 2019 | End to End Denoising of Dark Burst Images using Recurrent Fully Convolutional Networks | 暗光 |
| 2019 | GLADNet: Low Light Enhancement Network with Global Awareness | 低光 |
| 2019 | Kindling the Darkness: A Practical Low Light Image Enhancer | 低光 |
| 2019 | Learning Digital Camera Pipeline for Extreme Low Light Imaging | 暗光 |
| 2019 | A Pipeline Neural Network for Low Light Image Enhancement | 低光 |
| 2019 | Underexposed Photo Enhancement using Deep Illumination Estimation | 低光 |
上表中匯總了最近幾年深度學習在低光圖像增強領域中的幾種方法。下面將分別針對這些方法進行簡單的總結與介紹。
0. Retinex理論
經典的Retinex理論模擬了人眼顏色感知，它假設觀測圖像可以被分解為兩種成分：Reflectance與Illumination。假設表示觀測圖像，它可以被分解為：
其中，表示反射圖，表示亮度圖， 表示點乘操作。反射圖描述了觀測目標的固有屬性，它可以被視作常量且與光照無關；亮度圖表示了目標的不同光照。低光圖像存在暗光與不平衡的亮度分布。
在傳統方法中，Single Scale Retinex, SSR通過高斯濾波為亮度圖添加平滑性作為最早期的嘗試；MSR, MSRCR通過添加多尺度高斯濾波與顏色還原對SSR進行了拓展。關于更多相關技術可以參考：Retinex Image Processing.
在深度學習方法中，已有諸多方法嘗試將Retinex理論與深度網絡相結合，在降低學習難度的同時提升算法性能，如RetinexNet。
1. GLADNet
project, code
GLADNet的核心：(1)為低光輸入計算全局亮度估計；(2)基于前述所得與原始輸入調整亮度。它將輸入圖像縮放到特定尺寸并送入到編解碼網絡中生成關于亮度的全局先驗信息，基于全局先驗信息與原始輸入圖像，采用卷積神經網絡進行細節還原。在訓練過程中，作者采用RAW圖像合成的數據進行訓練。通過大量實驗驗證了所提方法的有效性。
img上圖給出GLADNet的框架圖，從中可以看出，該網絡由兩部分構成：
全局亮度先驗估計
在該部分中，作者采用了一個編解碼網絡架構用于估計全局亮度信息。注：為估計亮度信息，它需要將輸入圖像下采樣到固定尺寸，這樣可以保證該架構的底層感受野可以包含整個圖像。
該子網絡包含三個步驟：(1) 縮放輸入特征到特定分辨率；(2) 采用編解碼架構估計全局亮度信息；(3)縮放到原始分辨率。
細節還原
全局亮度估計過程中由于尺度縮放問題會導致細節損失，為彌補該問題，作者設計了該細節還原子網絡。
相比編解碼網絡輸出，原始輸入圖像應當包含更多的細節信息，因而可以為細節還原提供更多信息。該子網絡以全局亮度信息+原始輸入圖像作為輸入(這樣可以保證了原始信息與亮度估計互補并傳遞到后續網絡)，該子網絡另外包含三個卷積操作。
作者在訓練過程中采用RAW圖像進行訓練數據的合成，采用加權損失函數進行訓練。加權損失函數定義如下：
其中，，這種參數設置可以保證顏色平衡問題，提升網絡的魯棒性。
2. RetinexNet
RetinexNet, paper, BMVC2018,poster,ppt, code
Retinex是一種有效的低光圖像增強方法。它假設觀測圖像可以被分解為Reflectance與Illumination。現有的基于Retinex的模型需要精心設計人工約束條件與參數用于求解該病態分解問題(這限制了模型在不同場景應用中的泛化性能)。
作者收集了一批低亮度圖像對(含低光與正常光圖像)并提出一種RetinexNet架構在該數據集上進行訓練學習。RetinexNet包含一個DecomNet用于圖像分解分解以及一個EnhanceNet用于亮度調整。在訓練過程中，DeconmNet并沒有關于Reflectance與Illumination的真值。因而，該網絡學習了這樣的關鍵約束：圖像對的反射一致性與亮度的平滑一致性。基于該分解方案，EnhanceNet用來進行亮度增強，同時需要對Reflectance進行降噪處理。該RetinexNet可以通過端到端的方式進行訓練。
大量實驗表明：RetinexNet不僅取得極好的視覺效果，同時可以提供一種良好的圖像分解表達。
1558071668969RetinexNet是一種數據驅動的Retinex分解方法，它集成圖像分解與增強操作于一體。
首先，子網絡DecomNet用于將觀測圖像劃分為亮度獨立的反射圖與結構平滑的亮度圖；
DecomNet網絡存在兩個約束條件：(1) 低光與正常光具有相同的反射圖；(2) 亮度圖應該是平滑的且保留有主要結構(可通過結構相關的全變差損失約束學習)。
在訓練過程中，它以成對圖像作為輸入(用于約束反射一致性)；在測試階段僅需要輸入低光圖像。
然后，子網絡EnhanceNet通過多尺度Concat操作調整亮度圖以保證(1)在大范圍內保持一致；(2)小范圍內進行裁剪局部分布。
它主要作用是提升亮度圖的亮度，它是一種類似UNet的編解碼架構。
由于噪聲往往存在于暗區，且易被增強過程放大，因而采用在反射圖上進行降噪。
最后，在重建階段通過組合調整后的亮度圖與反射圖計算輸出圖像。
注：為訓練這樣一個網絡，作者利用RAW數據集構建了一個包含真實與合成圖像的低光數據集。
損失函數相關
RetinexNet用到的損失函數包含三項：重建損失、不變反射損失以及亮度平滑損失。總體損失函數定義如下：
其中，，分別表示用于均衡不變反射損失與亮度平滑損失的系數，作者的參數設置為。
DecomNet部分用到的重建損失函數定義如下：
EnhanceNet部分用到的重建損失函數定義如下：
注：上述兩種重建損失區別在于：采用的梯度圖對進行了加權。
用于約束反射一致性的不變反射損失定義如下：
用于約束亮度平滑的亮度平滑損失在Total Variation Loss基礎上進行改進得到，定義如下：
其中，表示梯度操作(包含)，表示結構強度平衡系數，降低了圖像梯度劇烈區域的平滑約束性，作者的參數設置：。
更多關于損失函數的介紹，建議查看論文介紹。
155808347945515580836830203. Kindling the Darkness: A Practical Low Light Image Enhancer
arxiv paper
低光條件下所拍攝的圖像存在嚴重的質量問題。除了低光外，噪聲、顏色失真等同樣限制了圖像的質量。換句話說，簡單的調節的暗區的亮度不可避免的放大暗區的噪聲和偽影等。受Retinex理論啟發，作者構建了一種簡單有效的網絡Kindling the Darkness, KinD網絡，它將圖像分解為兩部分：亮度部分用于調整圖像亮度；反射部分用于移除降質。經過上述處理，原始空間被分解為兩個更小的子空間，以期具有更好的泛化性能。需要注意的是：該網絡通過不同曝光圖像對進行訓練，而非真實的反射與亮度信息。通過通過實驗驗證了所提kinD架構的優異性能，同時在2080TiGPU下，可以以不超過50ms的速度處理VGA分辨率的圖像。
1558333260322從方法流程圖來看：KinD與RetinexNet如出一轍，兩者整體思想基本一致，盡在損失函數設計方面存在差異。故而，這里僅對損失函數進行描述介紹。
損失函數
從上圖可以看出，KinD的損失函數主要由三部分損失構成，它們分別是層分解部分損失、反射重建部分損失以及亮度調整部分損失。
層分解部分損失定義如下：
其中，表示反射相似性損失(Reflectance Similarity)，即短曝光與長曝光圖形的反射圖應該是相同的；表示亮度平滑損失約束(Illumination Smoothness)，它度量了亮度圖與輸入圖像之間的相對結構，邊緣區域懲罰較小，平滑區域懲罰較大；表示相互一致性約束(Mutual Consistency)，它意味著強邊緣得以保留，弱邊緣被抑制；表示重建損失(Reconstruction Error)。
反射部分損失定義如下：
亮度調整部分損失定義如下：
以上簡單描述了網絡訓練過程中的相關損失函數，更多詳細信息建議參考原文。
155833576908715583358359404. MSRNet Low Light Image Enhancement using Deep Convolutional Networks
arxiv paper
低光圖像存在低對比度問題，導致后續視覺任務的難度提升。基于Retinex理論與CNN，作者提出一種低光增強方法。作者表示多尺度Retinex等價于帶有不同高斯卷積核的CNN；首次啟發，作者考慮采用端到端的方式學習多尺度CNN(MSRNet)。不同于已有方法，作者將低光增強視作機器學習問題，該模型的所有參數通過反向傳播方式學習得到，而傳統方法則需要人工設置相關參數。最后，作者通過大量圖像已驗證了所提方法的有效性。
1558337147748上圖給出了作者所提MSRNet，它采用低光圖像作為輸入，通過監督學習方式訓練網絡參數。它包含三個部分：多尺度對數變換、差分卷積以及顏色還原。總體過程可以描述為：。
多尺度對數變換以低光圖像作為輸入，得到相同尺寸的輸出。低光圖像通過幾個不同的對數變化進行增強，公式描述為：
其中，表示對數基下的不同尺度的輸出，n表示對數變換數。下一步則將多尺度輸出結果通過Concat方式拼接得到，并將其送入卷積與ReLU，描述如下：
這里，表示將輸入Shrinks到3通道的卷積變換參數；表示更進一步提升非線性表達能力的卷積核參數。該模塊的功能主要是通過加權組合多尺度對數變換得到更好的初始圖像以加速網絡收斂。
差分卷積以作為輸入，計算同尺寸的輸出。公式描述如下：
表示不同尺度平滑結果，將他們通過Concat方式拼接得到，并執行后續操作：
類似MSR，的輸出計算為。
顏色還原以作為輸入，通過卷積執行色彩還原：.
網絡訓練過程中的損失函數定義如下：
155833969635515583397476235. A Pipeline Neural Network for Low Light Image Enhancement
paper
受多尺度Retinex(MSR)原理啟發，基于全卷積網絡與離散小波變換(DWT)，作者提出一種端到端的低光圖像增強框架。首先，作者說明MSR可以視為一種CNN架構，集成DWT可以改進MSR所生成圖像的質量；然后，作者提出具有去噪和增強的框架；最后，醉著在合成數據與公開數據上對所提框架進行了評估。
1558344572086上圖給出作者所提框架在訓練與測試階段的流程圖，該網絡采用損失進行參數訓練學習，同時去噪與增強模塊交替訓練學習。鑒于該論文參考意義不大，故略，更多細節見原文。
15583450769836. LLCNN A Convolutional Neural Network for Low Light Image Enhancement
paper
作者提出采用CNN進行低光圖像增強。作者設計了一種特殊的模塊處理多尺度特征同時避免了梯度小時問題。為盡可能保留圖像的紋理信息，作者采用SSIM損失進行模型訓練。基于該方法，低光圖像的對比度可以自適應增強。作者通過實驗驗證了所提方法的有效性。
1558340366047上圖給出了作者所設計的網絡架構圖。為避免梯度消失問題，作者參考Inception, Residual模塊設計了一種新穎的卷積模塊，如下圖所示。
1558340484927總而言之，作者所設計的網絡架構可以描述為：采用一個卷積預處理圖像得到均勻輸入，一個卷積用于生成增強圖像，其他特殊模塊插入到前面兩個卷積中間。
15583407790207. DSLR Quality Photos on Mobile Devices with Deep Convolutional Networks
arxiv paper, project, code,
盡管智能手機內置相機具有越來越好的拍照效果，但是物理約束(如傳感器大小、鏡頭以及特定硬件的缺失)仍阻礙更高質量圖像的獲取。作者提出一種端到端的方式將普通光照圖像變換為高質量視覺效果圖像。作者采用殘差卷積網絡，它可以提升圖像的顏色與細節銳利度。由于標準的MSE損失并不適合度量圖像的感知質量，作者引入一種混合損失函數(組合紋理、顏色以及上下文)。作者同時構建了一個DPED數據集，通過該數據集進行網絡訓練并驗證了所提方法的有效性。
1558341636811給定低質圖像，該增強人物的目標是通過DSLR相機生成。假設殘差卷積網絡為，給定訓練數據,該優化問題可以描述為：
其中，為本文的關鍵所在，它是多種損失函數的組合，定義如下：
顏色損失用于度量增強圖像與目標圖像之間的顏色差異性(注，為避免高頻細節影響，在計算之前進行高斯模糊)，定義如下：
其中，。該損失函數主要用于評估圖像的亮度、對比度以及顏色的差異性而忽略掉紋理與內容的差異。
紋理損失用于度量圖像之間的視覺相似性，通過GAN方式訓練調整生成圖像的紋理質量，定義如下：
其中，分別表示生成網絡與對抗網絡。注：該損失具有平移不變性。
內容損失基于預訓練VGG19網絡的激活特征圖進行統計分析，它可以確保圖像的語義特征不變，令表示VGG19的第j層激活輸出，該損失定義如下：
全變差損失用于確保生成圖像的空域平滑性，定義如下：
8. Learning to see in the dark
arxiv paper,CVPR2018, code, demo
由于低光子、低SNR等原因導致低光成像極具挑戰。短曝光圖像存在高噪聲，長曝光會引入模糊不切實際。為解決低光成像存在的問題，作者構建了一個低曝光+長曝光RAW數據集并開發一個端到端的全卷積低光圖像處理框架。該框架直接以RAW數據作為輸入，經全卷積操作后輸出RGB圖像。
1558321555119數據集
作者收集一個新的低光RAW數據集，它包含5094對短曝光-長曝光圖像對，同時包含室內與室外兩種不同的場景。室外場景的亮度變化范圍，室內場景的亮度變化范圍，短曝光時長為，對應的長曝光時長為。
作者采用了索尼與富士膠片分別采集數據，它們具有不同的傳感器類型。索引傳感器類型為Bayer模式，圖像分辨率；富士膠片傳感器類型為APS-C X-Trans傳感器，圖像分辨率。更多關注的描述可以參考原文。
方法
作者提出采用全卷積網絡直接采用RAW數據作為輸入，經卷積計算后直接輸出RGB結果。對于Bayer形式數據，需要事先將其打包為多通道數據并進行預處理(可參考上圖流程)。在全卷積網絡架構方面，作者主要參考了CAN與UNet，默認架構為UNet。除了RAW數據外，另一個輸入為參數為放大比例系數，它用于控制輸出圖像的零度。下圖給出了不同放大比例系數的輸出結果對比。
在訓練過程中，作者采用損失從頭開始訓練整個網絡，放大系數設置為輸入與真值之間的曝光差異比例。下面列出了所提方法在所構建數據集上的部分效果。
1558329681018155832975021315583297923099. Learning Digital Camera Pipeline for Extreme Low Light Imaging
arxiv paper
在低光條件下 ，傳統的ISP處理會導致生成的圖像極暗(過少的光子)且高噪(低信噪比)。作者提出一種數據驅動的方法用于學習低曝光與正常曝光之間的一種映射關系，從而極大的提高低光圖像的視覺效果。作者提出一種新的損失函數以促進深度網絡可以學習短曝光圖像到正常曝光圖像之間的ISP流程，即lowRAW->sRGB這樣的一個過程。實驗結果表明：相比已有網絡中采用的像素級損失，該方法可以取得更優的視覺效果。
1558316339487損失函數
該文的主要創新點在于損失函數的設計，故而這里對文中所提到的損失函數進行簡單匯總分析。文中所設計的多準則損失函數定義如下：
其中，表示每個獨立的損失函數，分別表示作用于輸入與輸出的函數，隨損失函數的類型變化而變化。表示像素級的損失函數，如損失與損失；表示更高層的感知損失。
直接在網絡輸出與真值之間計算誤差信息，此時有，損失函數定義為：
其中，用于均衡兩種損失，可通過Grid Search方式在驗證集上進行估計得到；表示尺度數，用于調整每項損失的相對重要性，在實驗過程中所有參數設置為：。
用于在特征層面衡量兩個圖像之間的相似性，有助于保持顏色與色彩一致性，此時，其中表示神經網絡第層的激活特征，損失函數定義如下：
作者實驗過程中采用在ImageNet上預訓練的VGG16(注：其他AlexNet, ResNet, GoogLeNet亦可)提取特征并進行相似性比較。
網絡架構
從上圖可以看出，作者設計的網絡架構包含兩個子網絡：圖像還原子網絡與感知損失子網絡。
圖像還原子網絡采用了***帶跳過連接的UNet架構***(更多細節參考原文)，它具有以下幾個優點：
- 在圖像還原與分割任務中，它具有極優的性能；
- 它可以處理任意分辨率圖像
- 跳過連接確保了上下文信息的自適應傳遞，保留了高分辨率細節信息
感知損失子網絡采用VGG16的前兩個卷積提取特征，這兩個特征可以精確的編碼圖像的風格與內容感知信息。
15583203411581558320526072155832078286410. ?End to End Denoising of Dark Burst Images using Recurrent Fully Convolutionaly Networks
arxiv paper
作者提出一種遞歸全卷積網絡(Recurrent Fully Convolutional Network, RFCN)用于處理極暗場景下的降噪并提升亮度的問題。該方法以RAW數據作為輸入，直接生成RGB數據，它可以同時進行降噪、色彩校正以及增強等任務。該方法取得SOTA性能且具有極好的泛化性能(一種類型相加訓練模型不經finetune仍可很好的處理不同相機得到的圖片)。
1558345763871上圖給出了作者提出低光圖像降噪增強流程圖，它的核心在RFCN模塊，針對單幀降噪與多幀降噪，其處理流程存在些微差異，見下圖。
1558346307229損失函數定義如下：
1558346547017155834649120811. Deep Burst Noising
arxiv paper, code
噪聲在低光圖像采集過程中不可避免的(由于手機設備有限的孔徑、較小的傳感器，這類問題會進一步惡化)。一種減緩低光場景噪聲的方法是提升曝光時間，但是這會導致兩個問題：(1) 亮區會超出傳感器范圍；(2)會相機或場景運動導致模糊。另一種方法是一次獲取多幀短曝光圖像協同降噪。本文基于后一種方案，采用RFCN架構處理低光降噪問題。該架構可以處理任意長度序列降噪并取得了SOTA性能。
本文目標有以下幾點：
- 可以處理單幀降噪問題
- 可以拓展到任意幀
- 可以對整個序列進行降噪
- 對運動魯棒
- 具有時序相關性
- 可以推廣到其他圖像還原任務中
本文所涉及方案流程如下：
- 構建單應性矩陣解決對齊問題
- 采用FCN獨立的為每幀圖像降噪
- 拓展FCN為并行遞歸網絡，即集成多幀信息降噪
網絡架構
單幀降噪問題可以視為這樣的優化問題：。這里采用FCN構建映射函數，它包含個含通道輸出，卷積核為的卷積層。
多幀降噪問題可以視為這樣的優化問題：.
對于多幀問題，作者采用RNN+FCN架構進行處理。下圖給出了作者所提出的多幀降噪架構。
155841570679015584161946311558416256211?Note: 10 與11兩種方法基本相同，區別僅在于處理數據的類型， 10用于處理RAW數據降噪，11用于處理RGB數據降噪，其他無甚區別。?
12. DeepISP Toward Learning an End to End Image Processing Pipeline
project, paper
作者提出一種端到端的用于模擬ISP流程的深度神經網絡DeepISP。它學習了從低光RAW到最終視覺效果良好RGB的映射，集成去馬賽克、降噪以及顏色校正、圖像調整等功能。在專用數據集(由三星S7只能手機采集的低光RAW與正常光RGB數據對)上對所提框架進行了訓練與測試。所提方法在聯合去馬賽克降噪方面取得了SOTA性能。相比傳統ISP方案，該方案具有更優的視覺效果。
1558420054895上圖給出了DeepISP架構圖，它包含兩個部分：底層特征處理(局部修正)與高層特征處理(全局校正)。
Low Level Stage.
該部分包含個模塊，每個模塊執行的卷積操作，它的輸入與輸出均為。注：輸入到網絡中的為去馬賽克后并進行雙線性插值的RGB圖像。
在這64個通道中，其中61個通道為標準的前向卷積+ReLU，另外三個通道則采用殘差架構+tanh。
High Level Stage
該部分包含個卷積層()，它可以獲得更大的感受野降低計算損失。這些卷積后接全局均值池化得到一個特征向量并通過全連接層得到變換參數W。
Output
在得到變換矩陣W后，將其作用于底層特征記得得到最終的輸出。這里的變換公式定義如下：
其中， ，表示上三角矩陣向量化操作。經此操作即可得到每個像素的輸出。
采用這種處理的原因：(1)線性回歸不適用于兩者之間的變換；(2)具有更好的視覺效果。
在訓練過程中，損失函數在Lab域進行計算，在Lab域三個通道分別計算損失，盡在亮度通道計算MS-SSIM損失。整體損失定義如下：
155842271698313. Underexposed Photo Enhancement using Deep Illumination Estimation
paper
這是騰訊優圖賈佳亞團隊發表于CVPR2019用于低光圖像增強的一種基于Retinex的深度網絡方法。
本文提出一種欠曝光圖像增強方法。不用于已有直接學習Image2Image映射的方法，我們在網絡中引入了中間亮度對輸入與期望增強結果構建相關性，這種處理方式提升了網絡處理復雜圖相對的能力。基于該模型，我們構建了一種集成亮度約束與先驗的損失函數，同時準備了3000對欠曝光圖像用于網絡訓練。該方法可以為圖像重建清晰的細節、明顯的對比度以及更為自然地顏色。基于所構建數據集與MIT-Adobe FiveK數據集的實驗證實：該網絡可以有效處理不同挑戰難度的圖像。
1558485749732該方法基于Retinex而進行設計，假設反射分量是正常曝光圖像，I為欠曝光圖像，S為亮度圖像，即。此時需要采用深度網絡估計亮度圖像S。作者將亮度圖像S視為三通道數據而非單通道數據以提升其在色彩增強方面的能力，尤其對于跨顏色通道的非線性能力。
網絡架構
上圖給出了作者所涉及的網絡架構圖，它具有兩個優點：亮度圖的有效學習與整體網絡的高效計算。
有效學習
欠曝光圖像增強需要調整局部(對比度、銳化細節、陰影、高光等)與全局(顏色分布、平均亮度與場景類別等)特征。因而，作者考慮從編碼網絡中提取局部與全局特征，同時設計了一種集成亮度平滑先驗、重建損失、顏色損失的損失函數。這些策略有確保網絡可以有效的學習到亮度圖像S。
高效計算
為計算計算，作者采用低分辨率局部與全局特征學習亮度圖像，然后采用Bilateral Grid Upsampling方式進行上采樣。因此該網絡的大部分計算量均位于低分辨率區域，進而確保高分辨率圖像處理的實時性。
損失函數
作者所設計的損失函數定義如下：
其中，。
重建損失。
平滑損失.
注：表示水平與垂直方向的偏導，表示輸入圖像的對數圖像，用于控制圖像梯度的敏感度，。該損失函數可以避免過擬合同時提升圖像的對比度。
顏色損失。用于計算兩個顏色向量(RGB三維)的角度。
使用該損失而非的原因：(1) 重建損失已明確度量顏色差異；(2)只能度量顏色差異而無法顏色向量具有相同方向，進而容易導致明顯的顏色偏差。
14. Deep Bilateral Learning for Real Time Image Enhancement
project, paper, code
這是一篇``Google Research發表于SIGGRAPH2017` 用于圖像增強的方法。
基于雙邊網絡處理與局部顏色仿射變換，作者提出一種新的深度網路架構用于圖像增強。采用圖像對訓練深度網路學習雙邊空間下的局部仿射系數，該架構可以學習局部、全局以及內容相關的決策參數以生成期望的圖像變換。
在運行時，該網絡在低分辨空間學習雙邊空間內相關仿射參數，然后將這些參數采用保邊形式上采樣，最后將這些參數作用于全分辨率輸入圖像得到最終期望的輸出。最終該算法可以在手機端以毫秒級處理高分辨率圖像，對于1080p分辨率圖像可以做到實時處理。
1558495390250網絡架構
該網絡的大部分推理均在低分辨率上執行，該部分用于預測類似Bilateral Grid的局部仿射變換。圖像增強不僅依賴于局部特征，同時還依賴于全局特征。因而低分辨率流進一步劃分為兩個分支，最后融合兩個分支的結果得到最終的仿射變換系數。
在高分辨率分支在全分辨率圖像上執行，它占據較少的計算，但對于獲取高頻信息、保邊有很重要作用。為此，作者一如了Slicing節點以參考圖為例采用查找表方式構建最終的放射系數圖。
最后，將所得到的高分辨率仿射系數作用于原始輸入圖像即可得到期望的增強圖像。
低分辨率分支
低分辨率輸入具有固定的尺寸，后接一些列卷積操作以提取底層特征并降低分辨率，然后將所得特征送入非對稱分支中：局部特征提取分支與全局特征提取分支。
全局特征與局部特征融合為特征，最終通過Pointwise Linear Layer生成最終的Bilateral Grid仿射系數。
- 局部特征提取分支由全卷積構成，在學習局部特征的同時保持空間分辨率；
- 全局特征提取分支由卷積與全連接層()構成以學習一個固定尺寸的全局特征。
高分辨率分支
為盡可能的降低整體的計算復雜度，高分辨率分會應當簡單且易于并行。對于全分辨率輸入，提取特征。它有兩個作用：(1) 生成參考圖；(2)局部仿射模型的回歸變量。
定義為全分辨率圖像的線性仿射變換，。其中，表示的顏色放射矩陣，更多參數見原文。
重建分支
最終的模型輸入可以通過全分辨率特征與仿射參數計算得到：.
評價指標
關于圖像質量評價的指標可以參考：參考鏈接。這里僅僅列舉了幾種較為常見的評價指標。
| MSE | - | |
| PSNR | - | |
| SSIM | - | |
| MS-SSIM | - | |
| JND | - | - |
| NIQE | - |
小結
從數據層面可以劃分為：低光圖像與暗光圖像。
低光圖像增強則更多是在RGB層面進行處理；而暗光圖像增強則是在RAW層面進行處理。
從網絡架構方面可以劃分為：基于UNet的架構與基于Retinex的架構。
UNet架構是一種更具通用性的架構，但其存在不可控性因素，最終生成圖像無法進行人工調控；
Retinex架構則是參考了傳統圖像增強中的Retinex理論與深度網絡技術而提出的方案，其架構可以賦予人工交互因子，可控性稍高。
從損失函數方面可以劃分為：單一損失函數(等損失)與組合損失函數( + 感知損失等)。
單一損失函數(如)往往會導致生成圖像的模糊、顏色失真等現象；
組合損失函數可以在一定程度避免上述現象，但有可能出現紋理失真現象。
歡迎關注AIWalker公眾號，在這里您將得到獨家深度學習經驗分享與個人思考。想支持Happy繼續寫下去就點個贊關注一下吧！
總結
以上是生活随笔為你收集整理的图像融合亮度一致_重磅干货低光图像处理方案的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 神之浩劫电脑版官网(神之浩劫手机版)
- 下一篇： 邮宝打印面单尺寸调整_如何打印身份证的实