?????? 圖像超分辨重建是一種提升圖像分辨率的圖像處理技術(shù)，而超分辨問題是一個難解的欠定問題，通常情況下，低分辨率圖像被視為高分辨率圖像經(jīng)過模糊、下采樣和噪聲干擾后所得到的退化圖像。從單一低分辨率圖像恢復(fù)重構(gòu)出高分辨率圖像，是一個難解的欠定問題，研究人員需要利用先驗(yàn)信息去約束解空間，如早期的稀疏先驗(yàn)以及近幾年利用深度學(xué)習(xí)直接從大量訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的圖像先驗(yàn)信息。2020年之前超分辨的發(fā)展軌跡見文章【1】【2】。

本文將結(jié)合參考文獻(xiàn)和自己的一些實(shí)踐談?wù)劤直媛始夹g(shù)的發(fā)展：

?? ??目前主流方法基本都是基于深度學(xué)習(xí)的超分算法了，從基于早期卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法（例如SRCNN）到最近使用生成對抗網(wǎng)絡(luò)（GAN）的有前途的SR方法，各種各樣的深度學(xué)習(xí)方法已應(yīng)用于解決SR任務(wù)（例如SRGAN）。 通常，使用深度學(xué)習(xí)技術(shù)的SR算法族在以下主要方面彼此不同：不同類型的網(wǎng)絡(luò)體系結(jié)構(gòu)，不同類型的損失函數(shù)，不同類型的學(xué)習(xí)原理和策略等。

1 網(wǎng)絡(luò)模型結(jié)構(gòu)設(shè)計(jì)：從2014年SRCNN到EDSR以及RCAN（Residual channel attention networks）和ESRGAN（Enhanced SRGAN），人們將其他領(lǐng)域的殘差，稠密連接，遞歸連接，注意力機(jī)制，生成對抗網(wǎng)絡(luò)等策略應(yīng)用到超分任務(wù)上。通用的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)適用于多種任務(wù)。其中針對超分上采樣這一獨(dú)有的操作，SRCNN則是直接在進(jìn)模型前進(jìn)行上采樣，后來考慮到速度問題，開始 采用反卷積或者depth2space的方式進(jìn)行上采樣?？紤]到實(shí)用性，網(wǎng)絡(luò)設(shè)計(jì)的復(fù)雜度往往受到約束。

2 損失函數(shù)設(shè)計(jì)：像素級loss（L1/L2），結(jié)構(gòu)損失loss，感知loss，紋理loss，對抗loss，CycleGAN的循環(huán)一致性損失等，單獨(dú)使用某一個loss，效果一般不好，例如單獨(dú)使用像素loss，最終因?yàn)榻饪臻g較大，結(jié)果趨近平均，導(dǎo)致結(jié)果偏模糊。，在實(shí)踐中，研究人員通常通過加權(quán)平均值組合多個損失函數(shù)，以約束生成過程的各個方面，尤其是在失真感知權(quán)衡方面。但是，不同損失函數(shù)的權(quán)重需要大量的經(jīng)驗(yàn)探索，如何合理有效地結(jié)合仍然是一個問題，例如感知loss，加的不好就是bug，加的好可能在某些圖上可以看到效果的提升。其中GAN訓(xùn)練往往不穩(wěn)定且訓(xùn)練困難，所以結(jié)合了對抗損失的超分辨模型有時會產(chǎn)生人工痕跡和不自然的變形。如何更好地將GAN應(yīng)用于圖像超分辨率重建領(lǐng)域仍值得深入研究。

??????? 其實(shí)可以將損失函數(shù)看著對模型輸出的先驗(yàn)，根據(jù)具體的問題給與更多的外部先驗(yàn)，更好的約束解空間，將更有利于最終的模型效果。如人臉超分，視頻超分具體的超分子任務(wù)。

3 探索更加真實(shí)的超分之路

???? 低分辨率圖像被視為高分辨率圖像經(jīng)過模糊、下采樣和噪聲干擾后所得到的退化圖像。深度學(xué)習(xí)有一個重要的前提假設(shè)是測試圖像的分布與訓(xùn)練數(shù)據(jù)的分布一致，當(dāng)訓(xùn)練過程中采用的模糊核和測試時的模糊核不一致時，重建結(jié)果往往會產(chǎn)生明顯的退化。因此構(gòu)建符合真實(shí)超分訓(xùn)練集一直是我們追求的目標(biāo)。

??

3.1 復(fù)雜的退化模型假設(shè)：

真實(shí)的超分訓(xùn)練數(shù)據(jù)不是簡單的通過雙三次插值可以模擬得到，因此人們通過復(fù)雜化退化，即考慮多種退化方式，包含不同的模糊核和不同的噪聲水平來對模型進(jìn)行退化（MDSR，張磊系列），但是其實(shí)這里還是假設(shè)模糊核已知，測試的時候需要先知道對應(yīng)的模糊核和噪聲級別，這方面的工作其一直在更新，如最新的ECCV2020的Deep Unfolding Network for Image Super-Resolution。這方面我覺得需要模擬足夠多的退化，同時也要求訓(xùn)練的網(wǎng)絡(luò)足夠強(qiáng)大。

另外就是盲超分網(wǎng)絡(luò)，大家根本不知道模糊核。這時可以根據(jù)數(shù)據(jù)分為三種：

有配對的HR和LR：例如視頻傳輸問題或者微信朋友圈圖像壓縮問題。將HR退化到LR，經(jīng)過傳輸后，再將LR恢復(fù)到HR。這種經(jīng)過不知道具體的退化過程，但是因?yàn)榭梢阅玫脚鋵Φ腍R和LR，依靠強(qiáng)大的CNN應(yīng)該可以解決，100%不行，80%加油。

不匹配的HR和LR：一批圖像里面，有的是高質(zhì)量圖像，有的低質(zhì)量圖像(至于哪些是高清，哪些是退化，這是一個相對問題)，這方面主要依靠生成對抗網(wǎng)絡(luò)來進(jìn)行，如DSGAN，計(jì)算模型的輸出SR與HR的判別loss，因?yàn)椴皇瞧ヅ涞?#xff0c;無法計(jì)算像素loss，最近人們將CycleGAN思想應(yīng)用于超分。

?? ? 3)? 只有LR圖像：假設(shè)沒有高清圖像，則直接基于模糊核估計(jì)，基于特定的任務(wù)，可以對模糊核進(jìn)行限制，減少模糊核的估計(jì)空間，例如有的任務(wù)可以直接假設(shè)為高斯模糊核等，其中KernelGAN則借助GAN直接對任意圖像進(jìn)行模糊核估計(jì)。構(gòu)建模糊核池，并從中隨機(jī)提取模糊核，從而構(gòu)建高低分辨率訓(xùn)練圖像對，完成盲超分辨模型的訓(xùn)練。因此模糊核的豐富性受到本身被估計(jì)的圖像多樣性限制。

?? 3.2? 真實(shí)場景退化場景

?? ??????2019年CVPR一下出來好幾篇關(guān)于真實(shí)超分的文章，CamerSR等直接從真實(shí)的相機(jī)鏡頭成像的角度出發(fā)，構(gòu)建分辨率和視場之間的關(guān)系，并簡稱之為R?V退化模型 ，以及考慮從RAW層面考慮超分，但是任重而道遠(yuǎn)，數(shù)據(jù)采集比較困難，尤其設(shè)計(jì)到LR與HR之間的對齊問題，另外訓(xùn)練的網(wǎng)絡(luò)模型設(shè)計(jì)，是否足夠強(qiáng)大conver住真實(shí)復(fù)雜的退化。

??? 3.3? 歪門邪道（大佬們在開創(chuàng)未來）：嘗試通過GAN進(jìn)行紋理遷移：Image Super-Resolution by Neural Texture Transfer CVPR_2019，基于深度先驗(yàn)進(jìn)行圖像超分：Exploiting Deep Generative Prior forVersatile Image Restoration and Manipulation_ECCV2020 (Oral)。

個人感悟：網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和loss設(shè)計(jì)這方面工作應(yīng)該不是超分的任務(wù)的核心問題，更多是個虎添翼的作用，對于參加超分比賽還是可以的，但是想實(shí)現(xiàn)本質(zhì)提升，還是得從數(shù)據(jù)角度考慮，對于low-level的問題，核心問題還是在于如何獲得更加真實(shí)的超分訓(xùn)練集即對退化模型準(zhǔn)確的假設(shè)。1：MDSR通過自己構(gòu)建不同的模糊核+噪聲構(gòu)建訓(xùn)練集；2：基于高斯模糊核假設(shè)，然后求解高斯核參數(shù)；3：KernelGAN直接基于GAN和自然圖像構(gòu)建任意模糊和池；4：將CycleGAN思想應(yīng)用于超分，都是大家在退化道路上的探索。毫無疑問更具適用性的盲超分辨重建算法需要進(jìn)一步研究。

另外就是真實(shí)場景下獲取的超分辨數(shù)據(jù)集，如City100，相比于傳統(tǒng)人工構(gòu)造的數(shù)據(jù)集，利用面向真實(shí)數(shù)據(jù)集的超分辨率模型，將更加適用于真實(shí)的應(yīng)用場景，因此值得研究者在未來深入探索。本人做個幾個月的實(shí)驗(yàn)，發(fā)現(xiàn)訓(xùn)練還是比較困難。

實(shí)踐中，大家會根據(jù)不同的任務(wù)需求去簡化退化模型，從而使其落地。

推薦：,

Deep Unfolding Network for Image Super-Resolution（CVPR2020）

Unpaired Image Super-Resolution using Pseudo-Supervision（CVPR2020）

Real-World Super-Resolution via Kernel Estimation and Noise Injection(CVPRW2020)

[1] 史振威,雷森.圖像超分辨重建算法綜述[J].數(shù)據(jù)采集與處理,2020,35(01):1-20.

[2] Wang Z , Chen J , Hoi S C H . Deep Learning for Image Super-resolution: A Survey[J]. 2019.

總結(jié)

以上是生活随笔為你收集整理的2020 超分辨率技术发展趋势的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。