code: https://github.com/chxy95/HDRTVNet

本文是ICCV2021文章《A New Journey from SDRTV to HDRTV》的閱讀筆記，個人認為該文章是sdr2hdr領域比較重要的一篇文章，其完成了視頻sdr2hdr問題的定義、問題特性的分析、提出了一種方法、公開了一個數據集HDRTV1K、提出了5種評價指標，接下來記錄了文章的要點。

1. introduction

• 為什么需要sdr2hdr算法？

  (1) 視頻內容正在從標清、高清向超高清發展，而高動態范圍則是超高清內容的一個重要的特點

  (2) 高動態范圍視頻所呈現出的內容更接近于人眼在自然場景中的感官

  (3) 而隨著支持高動態范圍的設備越來越普及，但大部分視頻內容仍是hdr格式

• 為什么這么重要，相關研究卻這么少？

  作者認為原因有兩個：

  （1）hdr10和hlg這些hdr標準最近才被定義好；

  （2）缺少大規模數據集用于訓練和測試；

• 分析了sdr2hdr與相關課題的關系

  （1）sdr2hdr是高度病態的問題，他們具有不同的動態范圍、色域和位深

  In actual production, contents of SDRTV and HDRTV are derived from the same Raw file but are processed under different standards. Thus, they have different dynamic ranges, color gamuts and bit-depths.
  在實際制作中，SDRTV和HDRTV的內容來源于同一個Raw文件，但處理的標準不同。因此，它們具有不同的動態范圍、色域和位深度。

  (2) 在某種程度上，與image-to-image translation such as Pixel2Pixel [11] and CycleGAN有些相似

  (3) ldr2hdr在名字上跟sdr2hdr相近，其實并不是一個東西，ldr2hdr旨在預測線性域中的HDR場景亮度，本質上更接近raw file

  On the contrary, the task of LDR-to-HDR, which is similar in terms of name, has completely different connotations. LDR-to-HDR methods [21, 26, 10, 24, 5] aim to predict the HDR scene luminance in the linear domain, which is closer to Raw file in essence

  (4) 同時進行超分和sdr2hdr的工作

  Deep SR-ITM and JSI-GAN

• 介紹evaluation metrics

PSNR: mapping accuracy SSIM, SR-SIM [36]: structural similarity ?E_ITP [17]: color difference HDR-VDP3: visual quality

• 貢獻

  （1）對sdr2hdr問題進行了建模分析

  （2）我們提出了一個三步 SDRTV-to-HDRTV解決方案法，在定量和定性比較中表現最好

  （3）我們提出了一個全局色彩映射網絡，只有35k參數量，效果最好

  （4）提出了一個數據集，并為這個任務選擇了五個性能指標

2. 前言

（1）sdr格式定義

ITU-R. Parameter values for the hdtv standards for production and international programme exchange. Technical re- port, ITU-R Rec, BT.709-6, 2015. 2

ITU-R. Reference electro-optical transfer function for flat panel displays used in hdtv studio production. Technical report, ITU-R Rec, BT.1886, 2011. 2

（2）hdr格式定義

wide color gamut

ITU-R. Parameter values for ultra-high definition televi- sion systems for production and international programme ex- change. Technical report, ITU-R Rec, BT.2020-2, 2015. 2

PQ or HLG OETF

ITU-R.Image parameter values for high dynamic range television for use in production and international programme exchange. Technical report, ITU-R Rec, BT.2100-2, 2018. 2, 3

與ldr2hdr問題的不同

ldr2hdr通常指的是攝影中的概念，完成的是線性光域的映射；sdr2hdr指的是sdr視頻與對應的符合hdr標準的視頻像素值之間的映射

3. 分析

接下來作者做了一系列比較有邏輯性的分析，梳理sdr/hdr視頻制作的pipeline -> 建模sdr2hdr任務 -> 提出自己對sdr2hdr任務特性的見解 -> 根據這些見解抽象出自己的基于深度學習的方法

（1）SDRTV/HDRTV Formation Pipeline

考慮了四項操作：tone mapping, gamut mapping, opto-electronic transfer function and quantization
這里還有很多操作沒有考慮：denoising and white balance in camera pipeline， color grading in HDR content production

• tone mapping

Tone mapping is used to transform the high dynamic range signals to low dynamic range signals for adapting different display devices.

色調映射指的是為了適應不同顯示能力的顯示設備，將高動態范圍信號轉成低動態范圍信號

色調映射可以分為全局色調映射（global tone mapping）和局部色調映射（local tone mapping）， 全局色調映射在所有像素上使用相同的函數進行映射，函數的參數通常與全局統計量相關（比如平均亮度）。局部色調映射通常可以針對局部內容進行動態調整，但通常計算量很大，而且容易引入artifacts；

It is noteworthy that S-shape curves are commonly used for global tone mapping and clipping operations often exist in actual process of tone mapping.

通常global tone mapping是S形狀的曲線，且通常存在clip操作。

• gamut mapping

Gamut mapping is to convert colors from source gamut to target gamut while still preserving the overall look of the scene

色域映射，是指在保持整體觀感的前提下，將顏色從原色域轉換到目標色域。

• Opto-electronic transfer function (OETF)

完成線性光信號到非線性電信號的轉換
sdr: gamma
hdr: pq, hlg

• Quantization

（2）建模sdr2hdr問題：

（3）基于上面的模型，作者提出自己的一些觀察和見解：

（1）pipeline中的很多關鍵的操作都是全局操作都是全局操作，如全局色調映射、色域映射、oetf，而且這些操作的反向操作也可以近似看成全局操作；

（2）一些操作依賴于局部空間信息，比如局部色調映射、反量化，可以通過全部操作完成；

（3）存在嚴重的信息壓縮/丟失， 例如高光區域在tonemapping時可能會因為clip操作丟失信息；

（4）基于這些見解，作者提出了一個三部sdr2hdr方案：

three-step solution pipeline including adaptive global color mapping, local enhancement and highlight generation.
方法分成三步：動態全局色彩映射、局部增強、高亮區域細節生成

（5）Comparison with Existing Solutions

• End-to-end solution

第一類是端到端的解決方案，如上圖b所示，包括一些Image-to-Image translation方法和現存的超分和sdr2hdr聯合的方法，都是通過cnn直接完成rgb到rgb的直接映射，這類方法由于絲毫沒有考慮sdr和hdr的制作機制，通常會有obvious local artifacts and unnatural colors。

• LDR-to-HDR based solution

如上圖c所示，LDR-to-HDR方法是在線性亮度空間進行轉換，轉換完成后要經過色域映射到bt.2020，PQ/HLG OETF, 量化，才是我們要的hdr視頻。

4. Method

（1） Adaptive Global Color Mapping

第一步是完成sdr2hdr中的全局操作，如全局色調映射、色域映射、oetf，為了完成這一部分作者提出了兩種網絡：

• Base network

全局操作單獨作用在每個像素上，根據CSRNet的結論，一個只有1x1卷積和激活函數的網絡可以完成這種操作；因此這一塊中的基礎網絡形式就是：

CSRNet: Conditional sequential modulation for efficient global image retouching

Although the base network can only learn a one- to-one color mapping, it also achieves considerable perfor- mances, as shown in Tab. 1.
盡管網絡只學會了一對一的映射，這依然取得了不錯的效果

It is noteworthy that the base network can perform like a 3D lookup table (3D LUT) with fewer parameters rather than learning 3D LUT directly, and please refer to supplementary material for more results.
這一部分可以實現成3D LUT

It performs like adding a multiplicative Bernoulli noise on features which has an effect similar to data augmentation.
將像素打亂順序，依然可以得到很好的結果，說明該網絡的操作不需要局部的信息。

• AGCM : Base Network + Global Feature Modulation

  網絡示意圖如下，相當于在base network的基礎上插入了GFM這個模塊，對1x1卷積映射的結果進行線性調整，線性調整的參數通過模型學習得到。其實可以理解成base network是一個3D lut，而AGCM是每張圖有一個3d lut；

(2) Local Enhancement

盡管AGCM的效果已經很好，但是局部的增強還是不可或缺的。這里作者采用了一個resnet進行局部增強。另外作者還發現了一個比較重要的現象：
如果在全局映射之前就進行局部增強，通常會產生明顯的artifacts，這可能是以前的方法artifacts很多的原因，這里作者沒有進行進一步解釋；

(3) Highlight Generation

這一部分從算法框圖中看的比較清楚，就是用一個經典的gan網絡，完成高光區域進一步的細節生成；從我實際測的結果來看，貌似這一步的效果有限；

5. HDRTV1K數據集

22段hdr10視頻 Sdr由youTube下變換得到 Training set：1235 Test set: 117

下載鏈接在代碼主頁https://github.com/chxy95/HDRTVNet

6. 結果

總結

以上是生活随笔為你收集整理的ICCV2021 SDR2HDR论文笔记：A New Journey from SDRTV to HDRTV的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。