Deep Learning for Multiple-Image Super-Resolution

• • 摘要
  • I. 引言
  • • A. 相關(guān)工作
    • B. 貢獻(xiàn)
  • II. 提議的EVONET算法
  • III. 實(shí)驗(yàn)
  • IV. 結(jié)論

摘要

超分辨率（SR）重建是一個(gè)旨在提高圖像空間分辨率的過(guò)程，可以是基于低分辨率和高分辨率之間的學(xué)習(xí)關(guān)系的單一觀測(cè)，也可以是呈現(xiàn)同一場(chǎng)景的多個(gè)圖像。如果不能以期望的分辨率獲取圖像，而有單個(gè)或多個(gè)低分辨率的觀測(cè)數(shù)據(jù)，那么SR就特別重要–這是各種遙感場(chǎng)景所固有的。最近，我們見證了單幅圖像SR的大幅改進(jìn)，這歸功于使用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)低分辨率和高分辨率之間的關(guān)系。重要的是，深度學(xué)習(xí)還沒(méi)有被廣泛用于多圖像超分辨率，而多圖像超分辨率得益于信息融合，一般來(lái)說(shuō)可以實(shí)現(xiàn)更高的重建精度。在這封信中，我們介紹了一種新的方法，將多圖像融合的優(yōu)勢(shì)與使用深度網(wǎng)絡(luò)學(xué)習(xí)低分辨率到高分辨率的映射相結(jié)合。我們廣泛的實(shí)驗(yàn)結(jié)果表明，提出的框架優(yōu)于最先進(jìn)的SR方法。
關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)（CNN），深度學(xué)習(xí)，圖像處理，超級(jí)分辨率（SR）。

I. 引言

超分辨率（SR）重建的目的是從單個(gè)或多個(gè)低分辨率（LR）觀測(cè)值中生成一個(gè)高分辨率（HR）圖像。在許多情況下，SR算法是獲得足夠空間分辨率圖像的唯一可能性，因?yàn)镠R數(shù)據(jù)可能由于高采集成本或傳感器限制而無(wú)法獲得。這種情況是遙感的一個(gè)固有問(wèn)題，特別是關(guān)于地球觀測(cè)的衛(wèi)星成像。

A. 相關(guān)工作

現(xiàn)有的SR方法包括單圖像和多圖像方法。前者包括從大量的例子中學(xué)習(xí)LR-HR關(guān)系–這一領(lǐng)域的最新進(jìn)展主要?dú)w功于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的使用；然而，稀疏編碼[1]和字典學(xué)習(xí)[17]也經(jīng)常被認(rèn)為是一種低復(fù)雜度的選擇。
SRCNN[6]，以及隨后的快速版本（FSRCNN）[7]，是第一個(gè)被提出來(lái)用于從一些LR-HR圖像對(duì)中學(xué)習(xí)LR-HR地圖平的CNN，并且它被證明超越了基于稀疏編碼的方法，盡管結(jié)構(gòu)相對(duì)簡(jiǎn)單。SRCNN的某些局限性被一個(gè)非常深的SR網(wǎng)絡(luò)[12]所解決，該網(wǎng)絡(luò)可以依靠快速殘差學(xué)習(xí)進(jìn)行有效的訓(xùn)練。使用稀疏編碼網(wǎng)絡(luò)[15]，利用領(lǐng)域?qū)I(yè)知識(shí)，實(shí)現(xiàn)了高訓(xùn)練速度和模型的緊湊性。最近，一個(gè)帶有漸進(jìn)式上采樣的深度拉普拉斯金字塔SR網(wǎng)絡(luò)（LapSRN）[13]被證明可以在高處理速度下提供有競(jìng)爭(zhēng)力的結(jié)果。另外，由生成器和判別器組成的生成對(duì)抗網(wǎng)絡(luò)（GANs）也被積極探索用于SR[14]。雖然GANs產(chǎn)生了高視覺質(zhì)量的結(jié)果，但它們對(duì)恢復(fù)地面真實(shí)信息沒(méi)有很大幫助。

多圖像SR包括融合來(lái)自許多LR觀測(cè)的互補(bǔ)信息，這些觀測(cè)以亞像素位移的方式呈現(xiàn)同一場(chǎng)景[20]。由于多個(gè)觀測(cè)點(diǎn)提供了更多從分析場(chǎng)景中提取的數(shù)據(jù)，因此重建可以比單一圖像方法更準(zhǔn)確。現(xiàn)有的多圖像SR技術(shù)是基于這樣一個(gè)前提：I(l)={I(l)i : i∈{1,2,–, N}}中的每個(gè)LR觀測(cè)值I(l)i是從原始HR圖像I(h)中提取的，使用假設(shè)的成像模型進(jìn)行退化，通常包括圖像扭曲、模糊環(huán)、脫灰和噪聲污染。重建包括逆轉(zhuǎn)這一退化過(guò)程，這需要解決一個(gè)不確定的優(yōu)化問(wèn)題。在梯度投影算法（GPA）中，層次化的子像素位移估計(jì)與貝葉斯重建相結(jié)合[18]。快速穩(wěn)健的SR（FRSR）[8]是基于最大似然估計(jì)加上簡(jiǎn)化的正則化–IT重要的是，誤差是在HR坐標(biāo)中測(cè)量的，從而避免了昂貴的縮放操作。自適應(yīng)細(xì)節(jié)增強(qiáng)（SR-ADE）[22]被提出用于重建衛(wèi)星圖像–采用雙邊濾波器來(lái)分解輸入圖像并放大高頻細(xì)節(jié)信息。

在提高視頻序列分辨率的背景下，也對(duì)多圖像SR進(jìn)行了探索，最近為此目的利用了深度網(wǎng)絡(luò)工程–在[9]中，一個(gè)深度CNN被輸入了三個(gè)連續(xù)的運(yùn)動(dòng)補(bǔ)償視頻幀，因此在空間和時(shí)間域中運(yùn)行，而在[19]中，一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)被用于視頻SR。然而，視頻SR技術(shù)是基于與輸入流有關(guān)的明確或隱含的假設(shè)，例如，與固定和相當(dāng)高的采樣頻率或移動(dòng)物體的存在有關(guān)，其分辨率可以通過(guò)估計(jì)運(yùn)動(dòng)場(chǎng)來(lái)提高。因此，它們不能直接應(yīng)用于衛(wèi)星圖像的SR。最近，我們提出了進(jìn)化成像模型（EvoIM）[10]，它采用遺傳算法來(lái)優(yōu)化FRSR[8]的超參數(shù)，并進(jìn)化卷積核而不是FRSR中使用的高斯模糊。我們表明，重建可以有效地適應(yīng)不同的成像條件，包括應(yīng)用于人工降級(jí)（AD）圖像的不同噪聲水平，以及處理原始分辨率的真實(shí)（非降級(jí)）Sentinel-2衛(wèi)星圖像。

B. 貢獻(xiàn)

在這封信中，我們展示了如何將基于學(xué)習(xí)的單圖像SR的優(yōu)點(diǎn)與多圖像重建提供的信息融合的優(yōu)點(diǎn)結(jié)合起來(lái)。我們介紹了EvoNet框架（第二節(jié)），它利用單圖像SR（我們考慮了幾種基于深度CNN的不同方法）來(lái)預(yù)處理多圖像SR的輸入數(shù)據(jù)（我們?yōu)榇耸褂昧宋覀兊腅voIM技術(shù)[10]）。我們對(duì)AD圖像和真實(shí)的衛(wèi)星（RS）數(shù)據(jù)進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證（第三部分），并以平均意見得分（MOS）作為支持，結(jié)果證實(shí)EvoNet增強(qiáng)了多圖像SR的能力，它在質(zhì)量和數(shù)量上都比最先進(jìn)的技術(shù)要好。

II. 提議的EVONET算法

所提方法的流程圖見圖1。首先，每個(gè)LR輸入圖像(I(l)i)都要經(jīng)過(guò)單一圖像SR。這一步產(chǎn)生了一組N個(gè)圖像I(l+) = {I(l+) i }，其尺寸比I(l) i大2倍。與此同時(shí)，輸入的LR圖像I(l)要進(jìn)行圖像登記，以確定它們之間的子像素移動(dòng)。這些移位允許使用中位移位加算法（由于I(l+)i的尺寸比I(l)i的尺寸大2倍，計(jì)算出的移位值乘以2）從多個(gè)單圖像SR結(jié)果（I(l+)）中進(jìn)行信息融合。這就產(chǎn)生了初始的超分辨率圖像X0–其尺寸比I(l+)大2倍，因此比I(l)i大4倍。隨后，X0經(jīng)過(guò)EvoIM處理，產(chǎn)生超分辨率圖像I（sr）。與最初的EvoIM方法[10]相比，使用單圖像SR對(duì)輸入的LR圖像進(jìn)行預(yù)處理是主要的區(qū)別，該方法直接從輸入的LR圖像組成X0。

A. 用單圖像SR對(duì)輸入圖像進(jìn)行預(yù)處理 每個(gè)LR圖像I(l)i都用單圖像SR獨(dú)立增強(qiáng)，以獲得更高質(zhì)量的輸入I(l+)i用于EvoIM，從而用學(xué)到的LR-HR關(guān)系支持后者。為此，我們研究了幾種架構(gòu)，即FSRCNN[7]和SRResNet[14]，后者被用作GAN和LapSRN[13]中的生成器。我們將這些網(wǎng)絡(luò)的放大系數(shù)設(shè)置為2倍，以避免引入過(guò)多的偽影，這在具有較大放大系數(shù)的單圖像SR中是很常見的。

B. 多圖像融合 我們用于多圖像融合的EvoIM過(guò)程包括對(duì)由注冊(cè)的LR輸入組成的HR圖像X0進(jìn)行迭代過(guò)濾。在EvoNet中，我們對(duì)原始I(l)i圖像進(jìn)行注冊(cè)，然后再進(jìn)行單幅圖像的SR（它不會(huì)引入任何可能有助于更好地評(píng)估位移值的信息）。隨后，EvoIM解決了優(yōu)化問(wèn)題（如FRSR）。更新步驟X = Xn+1 - Xn計(jì)算為X = -β B AT sgn(ABXn - AX0) + λ δU(X) δX (Xn) (1) 其中β控制更新步驟，A是一個(gè)對(duì)角矩陣，表示與X0相關(guān)的LR測(cè)量的數(shù)量，U(X )是用λ超參數(shù)控制的正則化項(xiàng)，而B和B是5×5卷積核。FRSR超參數(shù)和卷積核在EvoIM進(jìn)化訓(xùn)練中被優(yōu)化，這可以在EvoNet框架之外獨(dú)立完成（在本研究中，我們使用在[10]中得到的值）。

III. 實(shí)驗(yàn)

為了驗(yàn)證，我們?cè)跍y(cè)試集中使用了兩種類型的數(shù)據(jù)，即。1）AD圖像和2）同一地區(qū)的RS圖像，以不同的分辨率獲取。在AD中，我們使用了六個(gè)數(shù)據(jù)集，包括我們的10張500×500像素的Sentinel-2圖像集（Sentinel-AD）和五個(gè)通常用于評(píng)估SR的基準(zhǔn)數(shù)據(jù)集：Set5[4]、Set14[21]、BSD100[2]、Manga109[16]和Urban100[13]。對(duì)于這些數(shù)據(jù)集中的每張圖像，作為I(h)處理，我們生成了一組N=4的LR圖像，在進(jìn)一步退化（高斯模糊，然后是降尺度，還可以選擇用噪聲污染）之前，應(yīng)用了不同的子像素移動(dòng)。對(duì)于RS，我們使用了三個(gè)Sentinel-2場(chǎng)景作為L(zhǎng)R（每個(gè)場(chǎng)景中N=10個(gè)LR圖像），其中兩個(gè)與SPOT圖像相匹配（呈現(xiàn)在伊朗的Bushehr，LR尺寸為300×291像素，以及伊朗的Bandar Abbas，240×266像素），一個(gè)與Digital Globe WorldView-4圖像（澳大利亞悉尼，92×90像素）相匹配。

EvoNet與雙三次插值和五種單圖像SR方法進(jìn)行了比較?；陔x散小波變換的SR（SR-DWT）[5]、SRCNN[6]、FSRCNN[7]、SRResNet[14]和LapSRN[13]，以及三種多圖像SR技術(shù)。GPA[18]、SR-ADE[22]和EvoIM[10]。此外，我們對(duì)I(l)中的所有LR圖像運(yùn)行每個(gè)單圖像方法，并從重建結(jié)果中計(jì)算出平均圖像–這樣，這些方法的數(shù)據(jù)與多圖像SR的數(shù)據(jù)相同。如文獻(xiàn)[10]所述，EvoIM分別針對(duì)AD圖像和RS數(shù)據(jù)進(jìn)行訓(xùn)練，使用PSNRhf[3]作為適配函數(shù)（訓(xùn)練集和測(cè)試集之間沒(méi)有重疊）。深度CNN使用DIV2K數(shù)據(jù)集的圖像進(jìn)行訓(xùn)練。1 我們用C++實(shí)現(xiàn)了所有的調(diào)查算法，我們用Python和Keras來(lái)實(shí)現(xiàn)CNN。實(shí)驗(yàn)在英特爾i9 4-GHz計(jì)算機(jī)上運(yùn)行，配有64-GB內(nèi)存和兩個(gè)RTX 2080 8-GB圖形處理單元（GPU）。

我們根據(jù)I(h)和I(sr)之間的相似性來(lái)量化重建質(zhì)量，用峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）、視覺信息保真度（VIF）、通用圖像質(zhì)量指數(shù)（UIQI），以及用高通濾波器處理的圖像的PSNR（PSNRhf）和局部標(biāo)準(zhǔn)偏差（PSNRls）來(lái)衡量，我們發(fā)現(xiàn)這些指標(biāo)對(duì)評(píng)估SR很有力[3]（對(duì)于所有指標(biāo)，較高數(shù)值表明圖像之間的相似性更高）。重建結(jié)果是在比輸入LR圖像大2倍的維度上進(jìn)行定量評(píng)估的（EvoNet將LR圖像放大了4倍，所以我們將這些結(jié)果縮小了2倍，以便與其余方法進(jìn)行公平比較）。對(duì)于RS，I(sr)與數(shù)字地球儀和SPOT圖像進(jìn)行了比較，縮小了尺寸以適應(yīng)I(sr)的尺寸。我們還進(jìn)行了一項(xiàng)調(diào)查2，包括15個(gè)關(guān)于AD（10個(gè)問(wèn)題）和RS（5個(gè)問(wèn)題）測(cè)試集的圖像質(zhì)量的問(wèn)題。我們收到了307份回復(fù)，在此基礎(chǔ)上，我們報(bào)告了四種方法的MOS值：雙三次插值、LapSRN、EvoIM和EvoNet-LapSRN。

在表一中，我們報(bào)告了六個(gè)數(shù)據(jù)集的AD圖像的重建精度。帶有不同CNN的EvoNet可以實(shí)現(xiàn)最準(zhǔn)確的重建，呈現(xiàn)出持續(xù)的最佳分?jǐn)?shù)。值得注意的是，在大多數(shù)情況下，即使在EvoNet中用于預(yù)處理的雙三次插值也能提高EvoIM的得分（除了Manga109和Urban100）；然而，基于CNN的EvoNet允許更大的改進(jìn)（在大多數(shù)情況下，LapSRN是最佳選擇）。我們還報(bào)告了歸因于EvoNet的準(zhǔn)確度增益（與最好的多圖像方法相比）–Sentinel-AD的增益最大，而Manga109的增益最小（可能是因?yàn)樗话匀粓D像）。在圖2中，我們展示了一個(gè)Sentinel-AD圖像的SR實(shí)例?？梢钥闯?#xff0c;EvoNet與SRResNet和LapSRN都比EvoIM和底層CNN產(chǎn)生了更好的結(jié)果–注意，對(duì)于EvoNet，可以區(qū)分更多的樹木和道路線的細(xì)節(jié)。在表二中，我們顯示了CNN（SRResNet和LapSRN）、EvoIM和EvoNet在噪聲存在下的表現(xiàn)。可以看出，EvoNet是最敏感的，然而，對(duì)于中等程度的噪聲（σ=0.01的高斯和1%概率翻轉(zhuǎn)像素值的鹽和胡椒），它仍然比基礎(chǔ)CNN和EvoIM表現(xiàn)得更好。重要的是，正如文獻(xiàn)[11]所報(bào)道的，EvoIM可以有效地適應(yīng)不同的噪聲特征，這也應(yīng)該改善用EvoNet獲得的分?jǐn)?shù)（在這里，我們用EvoIM訓(xùn)練的圖像沒(méi)有應(yīng)用任何噪聲）。

表三中報(bào)告了RS圖像的得分。對(duì)于每一個(gè)分?jǐn)?shù)，我們都報(bào)告了排名（在括號(hào)里），最右邊一欄顯示了總體排名。EvoNet變體的排名很高，但分?jǐn)?shù)與通過(guò)結(jié)合多個(gè)CNN結(jié)果得到的分?jǐn)?shù)相似。相似度值比AD低得多的原因是LR和HR圖像是用不同的傳感器獲取的，所以即使是極好的重建，其結(jié)果也會(huì)與地面真實(shí)的HR圖像有視覺上的差異。為了更好地說(shuō)明這一點(diǎn)，我們以與AD集相同的方式對(duì)HR圖像進(jìn)行降級(jí)，并將降級(jí)后的LR圖像與LR圖像進(jìn)行比較–數(shù)值顯示在最下面一行，它們與其余分?jǐn)?shù)相似。另外，在圖3中，我們展示了這兩個(gè)版本的LR圖像。從圖中也可以看出，EvoNet比CNN和EvoIM更好地重建了細(xì)節(jié)。

在表四中，我們報(bào)告了Sentinel-AD和RS圖像的MOS（分?jǐn)?shù)被歸一化，所以它們的總和等于1）。可以看出，用EvoNet-LapSRN得到的圖像在AD和RS圖像中都被認(rèn)為是信息量最大和最自然的。

IV. 結(jié)論

在這封信中，我們提出了一個(gè)新穎的EvoNet框架，用于將單圖像SR方法與基于多圖像融合的方法結(jié)合起來(lái)。重要的是，我們表明我們的方法可以通過(guò)利用最近由于使用深度CNN而在單圖像SR方面取得的進(jìn)展來(lái)改進(jìn)多圖像SR。我們表明，在進(jìn)行多圖像融合之前，采用不同的深度架構(gòu)來(lái)增強(qiáng)每一個(gè)單獨(dú)的LR圖像，可以從本質(zhì)上改善最終的超分辨率圖像。所報(bào)告的定量和定性結(jié)果，在平均意見分?jǐn)?shù)的支持下，表明所提出的方法比最先進(jìn)的SR方法表現(xiàn)得更好。

我們已經(jīng)表明，EvoNet與不同的單圖像方法（包括雙三次插值和三個(gè)深度CNN）配合良好，但潛在的其他方法[17]也可以在我們的框架中得到利用。重要的是，這也意味著未來(lái)在單圖像SR方面的潛在進(jìn)展可以很容易地被利用來(lái)進(jìn)一步改進(jìn)所提出的方法。

總結(jié)

以上是生活随笔為你收集整理的【图像超分辨率】Deep Learning for Multiple-Image Super-Resolution的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。