大家好，這是專欄《計算攝影》的第四篇文章，這一個專欄來自于計算機科學與攝影藝術的交叉學科。今天我們討論的問題是如何學會做圖像增強。

作者&編輯 | 言有三

1 圖像美學增強基礎

1.1 什么是美學增強

一幅圖像要有更好的美感，最基本的要求就是對比度分布合理，飽和度以及色調符合圖像主題，本次我們從圖像對比度增強和色調增強兩個方面來談論自動地美學增強問題。

圖像對比度增強，即增強圖像中的有用信息，抑制無用信息，從而改善圖像的視覺效果。圖像色調增強，即改善圖像的色調效果，創造色彩更加豐富以及突出主題的效果。

攝影師，尤其是專業攝影師，基本上都會對拍攝的作品進行后期的圖像增強操作，包含亮度、清晰度、飽和度、對比度、色調甚至是內容的調整操作。

上圖中展示了 6 組對比圖，其中每組的左面是原圖，右面是經過圖像增強的圖，可以看出明顯增加了圖像的美感。

1.2 美學增強常見數據集

為了研究自動圖像增強問題，需要建立相關的數據集，目前有的數據集通過在同樣的場景下采用不同的參數配置進行拍攝，適合于靜態場景。有的則采用了不同的設備在同一個時間進行拍攝，需要進行視角的匹配，下面我們對其中使用較多的兩個數據集進行介紹。

(1) MIT-Adobe FiveK 數據集[1]

這個數據集發布于 2011 年，包含 5000 張單反相機拍攝的 RAW 格式的照片，每一張照片都被 5 個經驗豐富的攝影師使用Adobe Lightroom工具進行后期調整，調整內容主要是針對色調。因為該數據集包含了原圖和 5 張后期圖的成對數據，而且有同一個攝影師的多種后期修圖圖片，因此它可以被用于某一后期風格的學習。

(2) DPED 數據集[2]

這個數據集發布于 2018 年，采用了 3 個不同的手機和一個數碼相機進行拍攝然后進行圖片匹配和裁剪。三個手機分別是iPhone 3GS、BlackBerry Passport和Sony Xperia Z，相機則是 Canon 70D DSLR。該數據集覆蓋了白天的各種常見光照和天氣情況，采集時間持續3 周，都使用了自動拍攝模式。

因為 4 個設備同時進行圖像采集，所拍攝出來的圖前期不可能完全對齊，因此需要進行后處理對齊，作者們使用了 SIFT 算法對圖像進行對齊，最終成對圖之間保證不超過 5 個像素的偏差。

除了上述 2 個數據集，很多研究者在提出算法時都會自己采集相關的數據集，大家可以自己關注相關研究。

2 基于深度學習的圖像增強

傳統的對比度等增強方法包括伽馬變換，直方圖均衡，Retinex模型等，對參數敏感，而深度學習模型則可以從數據中進行學習，下面我們簡單說說其中的核心算法，可以從兩個方向來說。

2.1 端到端預測模型

卷積神經網絡模型擁有強大的表達能力，被證明可以直接學會圖像里的很多全局和局部的操作，包括圖像風格遷移、去霧、上色、增加細節等，因此我們可以按照需要學習的類型，準備好相關的成對數據進行學習，這一類就是端到端的預測模型。

Chen Qifeng 等人[3]使用了一個基本的場景聚合模型來驗證上述操作的學習，網絡結構示意圖就是常見Concext Aggregation Network,簡稱 CAN)，它最初來自于語義分割任務，使用了不同大小的帶孔卷積來實現同樣大小的卷積核與不同的感受野。

作者們實驗了十個常用的圖像增強操作。

(1) Rudin-Osher-Fatemi:一種圖像復原模型。

(2) TV-L1 image restoration:一種圖像復原模型。
(3) L0 smoothing:一種圖像平滑模型。
(4) relative total variation:一種通過剝離細節來提取圖像結構的操作。

(5) image enhancement by multiscale tone manipulation:一種多尺度進行圖像增強。

(6) multiscale detail manipulation based on local Laplacian filtering:基于拉普拉斯的圖像編輯操作。

(7) photographic style transfer from a reference image:圖像風格遷移操作。

(8) dark-channel dehazing :暗通道去霧操作。
(9) nonlocal dehazing :非局部去霧操作。
(10) pencil drawing :鉛筆畫風格操作。

所有任務使用的訓練數據集都是Adobe MIT 5k，作者們首先用各類方法的官方實現對輸入圖進行操作，得到成對的訓練數據，然后進行有監督的訓練。

對于這一類模型，可以從幾個方向進行改進，包括：

(1) 使用美學評估模型[4]進行反饋，以改進效果。

(2) 使用 GAN 模型[2]對生成結果的高層感知進行改進。

2.2 基于參數預測的方法

逐像素的回歸模型原理簡單，但是端到端的方法可解釋性不強，容易過擬合，圖像增強可以對應到相機中的曝光調整，對比度調整，色調調整等操作，因此研究者們提出了使用深度學習模型直接學習這幾種操作的參數幅度，一個代表性的研究如下[5]。

可以看出整個增強過程被分解為一系列的操作，包括曝光度，對比度、色度、伽馬校正等調整，因此模型需要搜索一系列的操作對輸入圖進行調整，每個操作過程對應于強化學習里的一個決策過程，通過對這些決策過程的結果進行懲罰就可以實現訓練，其獎勵回報就是美學分數。每一步調整的結果可以通過梯度的回傳給整個網絡學習，從而改變每一步的調整參數。

具體學習過程包含兩個策略網絡(policy network)，一個判別模型，一個價值網絡。其中兩個策略網絡分別將圖像映射成某一類操作的概率和幅度，這四個網絡都使用了同樣的結構，輸入圖像大小為 64×64，包含四個卷積層和一個全連接層。

總的來說，該相機參數學習模型有以下三個優點。

(1) 首先這是一個端到端的學習各類變換操作幅度的方法，可以處理任意大小的圖片。

(2) 使用了強化學習來給出每一步調色所做的操作，這樣對圖像的處理就不再是一個黑箱，從而方便人們對模型處理過程的理解，還可以參照模型的處理步驟和參數進行后期操作的學習。

(3) 不需要成對的圖像數據來指導模型的學習，因為學習的都是成熟的圖像處理操作的幅度，所以基本上不會產生非自然的瑕疵。

另外，還可以直接學習一個綜合性質的濾波操作，如深度雙邊濾波模型[6]。

基于參數學習的模型主要問題是計算效率太低，模型訓練過程復雜。

[1] Bychkovsky V, Paris S, Chan E, et al. Learning photographic global tonal adjustment with a database of input/output image pairs[C]//CVPR 2011. IEEE, 2011: 97-104.

[2] Ignatov A, Kobyshev N, Timofte R, et al. DSLR-quality photos on mobile devices with deep convolutional networks[C]//Proceedings of the IEEE International Conference on DSLR-quality photos on mobileComputer Vision. 2017: 3277-3285.

[3] Chen Q, Xu J, Koltun V. Fast image processing with fully-convolutional networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2497-2506.

[4] Talebi H, Milanfar P. Learned perceptual image enhancement[C]//2018 IEEE International Conference on Computational Photography (ICCP). IEEE, 2018: 1-13.

[5] Hu Y, He H, Xu C, et al. Exposure: A white-box photo post-processing framework[J]. ACM Transactions on Graphics (TOG), 2018, 37(2): 26.

[6] Gharbi M, Chen J, Barron J T, et al. Deep bilateral learning for real-timeimage enhancement[J]. ACM Transactions on Graphics (TOG), 2017, 36(4): 118.

總結

與美學評估問題相似，圖像增強是一個比較主觀的問題，沒有一對一的標準答案，甚至因為人群的審美而產生非常大的差異，這是一個目前還沒有取得非常好的工業級應用的領域。

如何長期進行學習交流

圖像質量小組需要掌握與圖像質量相關的內容，學習的東西包括8大方向：圖像質量評價，圖像構圖分析，圖像降噪，圖像對比度增強，圖像去模糊與超分辨，圖像風格化，圖像深度估計，圖像修復。了解詳細請閱讀以下文章：

「通知」如何讓你的2020年秋招CV項目經歷更加硬核？有三秋季劃

總結

以上是生活随笔為你收集整理的如何对计算属性进行修改_「计算摄影」计算机如何学会自动地进行图像美学增强？...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。