基于深度學(xué)習(xí)的遙感圖像超分辨率重建技術(shù)綜述

摘要部分

基于深度學(xué)習(xí)的遙感圖像超分重建方法分成三大類

單幅遙感圖像超分重建

最好的是基于GAN的方法

方法：

基于多尺度特征提取的方法

結(jié)合小波變換的方法

沙漏狀生成網(wǎng)絡(luò)的方法

邊緣增強(qiáng)網(wǎng)絡(luò)的方法

可跨傳感器的方法

多幅遙感圖像超分重建

超分效果不佳，存在配準(zhǔn)融合、多源信息融合等問(wèn)題

多/高光譜遙感圖像超分重建

超分效果不佳，存在配準(zhǔn)融合、多源信息融合等問(wèn)題

未來(lái)趨勢(shì)

構(gòu)建針對(duì)遙感圖像特點(diǎn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

無(wú)監(jiān)督學(xué)習(xí)的遙感圖像超分重建方法(想法：GAN可用于無(wú)監(jiān)督學(xué)習(xí))

多源遙感圖像的超分重建方法

引言

概念

遙感圖像超分辨率重建是對(duì)具有互補(bǔ)信息的低分辨率遙感圖像進(jìn)行處理,來(lái)獲得高分辨率遙感圖像的技術(shù)。

方法框架

基于深度學(xué)習(xí)的遙感圖像超分重建方法淵源

傳統(tǒng)的遙感圖像超分重建方法

頻域法

主要分為頻譜解混疊算法,遞歸最小二乘法等,其 基于的理論前提過(guò)于理想化,不能有效地應(yīng)用于 多個(gè)場(chǎng)合,所以目前這類方法已不再成為研究的主流。

空域法

空域法雖然靈活性好,但是它涉及幀內(nèi)運(yùn)動(dòng) 模糊、光學(xué)模糊以及其他復(fù)雜的降質(zhì)模型等許多因素,導(dǎo)致其優(yōu)化方法復(fù)雜,計(jì)算的代價(jià)大,沒(méi)能成為主流的方法。

頻域-空域結(jié)合的方法

頻域-空域結(jié)合的方法,雖然結(jié)合了頻域法和空域法的優(yōu)勢(shì),但運(yùn)算復(fù)雜,計(jì)算量巨大,也沒(méi)能成為主流的方法。

基于深度學(xué)習(xí)的遙感圖像超分辨重建步驟

將低分辨率和高分辨率遙感圖像對(duì)送入深度學(xué)習(xí)方法中,進(jìn)行學(xué)習(xí)訓(xùn)練,得到低分辨率和高分辨率遙感圖像之間的關(guān)系。再將低分辨率遙感圖像送入訓(xùn)練好的深度模型中,得到重建后的超分辨率遙感圖像。

基于深度學(xué)習(xí)的單幅遙感圖像超分辨率重建

基于CNN的單幅遙感圖像超分辨率

常用CNN架構(gòu)

SRCNN

第一個(gè)將 CNN 應(yīng)用于超分辨率問(wèn)題的方法。2016年Liebel 等首次提出將 SRCNN 用于單幅遙感圖像超分辨率重建。該方法 沒(méi)有考慮遙感圖像尺度多樣性的特點(diǎn),所以重建效 果不太明顯,于是人們根據(jù)遙感圖像的尺度多樣性特點(diǎn),提出了許多基于多尺度特征提取的方法。

VDSR

在 SRCNN 的基礎(chǔ)上引入了殘差網(wǎng)絡(luò),擴(kuò)展了 SRCNN 的功能。由于遙感圖像和自然圖像有很大的不同,遙感圖像中包含的物體和環(huán)境常常耦合在一起,而 且圖像尺度跨度較大,但是目前大部分網(wǎng)絡(luò)都是 在單個(gè)對(duì)象范圍內(nèi)構(gòu)建字典或者先驗(yàn)知識(shí),忽略了環(huán)境信息。于是，2017年，Lei 等提出一種基于 VDSR的網(wǎng)絡(luò), 稱為局部-全局結(jié)合網(wǎng)絡(luò) ( local-global combined networks,LGCNet)。

該網(wǎng)絡(luò)分為三個(gè)部分：

特征提取部分，利用L層卷積，獲取不同層的特征表示

局部-全局信息結(jié)合部分，不同層的特征表示;②局部-全局信息 結(jié)合部分,這部分也是整個(gè) LGCNet 的核心部分,主要將不同層的結(jié)果級(jí)聯(lián)起來(lái),也就是所謂的“多叉結(jié)構(gòu)”

重建部分，重建出高分辨率的遙感圖像

2018年，Xu 等也針對(duì)多個(gè)尺度提取特征的問(wèn)題,提出深度記憶連接網(wǎng)絡(luò)( deep memory connected network,DMCN)。 DMCN 是一種對(duì)稱的沙漏結(jié)構(gòu)CNN,具有多個(gè)跳躍連接。與 LGCNet相比,雖然它的重建效果只有略微的提升,但是內(nèi)存占用量和測(cè)試時(shí)間大大減少了。

上面兩項(xiàng)工作雖然都使用了多尺度特征提取 的方法,但是網(wǎng)絡(luò)較深且結(jié)構(gòu)單一,不能靈活適應(yīng)多尺度特征，網(wǎng)絡(luò)較深且結(jié)構(gòu)單一,不能靈活適應(yīng) 多尺度特征,于是2020年， Wang 等提出了一種用于遙感圖像的超分辨率的自適應(yīng)多尺度特征融合網(wǎng)絡(luò)。 該方法提出了一種自適應(yīng)多尺度特征提取模 塊,該模塊結(jié)合擠壓激勵(lì)網(wǎng)絡(luò)和自適應(yīng)門控機(jī)制。 通過(guò)該模塊可以自適應(yīng)地將提取的多尺度信息進(jìn)行融合,該方法優(yōu)于SRCNN、ESPCN、MSRN等經(jīng)典方法。

EDSR

是目前通用圖像超分重建性能最好 的方法之一。

結(jié)合小波變換的遙感圖像超分辨率

2019年，Ma等提出另外一種結(jié)合小波變換和帶有局部、全局殘差連接的 CNN 超分辨率網(wǎng)絡(luò)結(jié)構(gòu) (WTCRR)。該網(wǎng)絡(luò)帶有局部和全局的殘差連接，通過(guò)關(guān)注頻域來(lái)解決超分辨率問(wèn)題。

該網(wǎng)絡(luò)有三個(gè)部分：

分解

將經(jīng)過(guò)雙 3 次插值的圖像通過(guò) 2D 離散小 波變換分解為 4 張低分辨率圖像

預(yù)測(cè)

把上一步分解出的 4 張圖像輸入到具有遞歸和 殘差網(wǎng)絡(luò)的 CNN 網(wǎng)絡(luò)結(jié)構(gòu)中,得到初步的預(yù)測(cè)結(jié)果

重建

將預(yù)測(cè)部分得到的圖片通過(guò)逆離散 小波變換進(jìn)行組合,重建出最終的高分辨率圖像。

與 DRNN( deep recurrent neural network)相比,該方法重建后的圖片邊緣有所改進(jìn)。

高放大因子的遙感圖像超分辨率

目前,適度放大單幅遙感圖像空間分辨率 (例如×2,×3)的問(wèn)題得到了有效的解決,但是高 放大因子(例如×4,×8)的遙感圖像超分辨率重建
仍是個(gè)難題。2019年，×4,×8)的遙感圖像超分辨率重建 仍是個(gè)難題。 Pan 等針對(duì)上述問(wèn)題提出快速殘差密集反投影網(wǎng)絡(luò)( fast residual dense back projection network,FRDBPN)。 FRDBPN 采用上投影和包含特定卷積和擴(kuò)張卷積序列的下采樣單元,以及全局和局部殘差連接。

基于GAN的單幅遙感圖像超分辨率

沙漏狀生成網(wǎng)絡(luò)的遙感圖像超分辨率

2018年，Haut 等聚焦于生成模型,提出一種沙漏狀的生成網(wǎng)絡(luò)架構(gòu)。 該網(wǎng)絡(luò)以無(wú)監(jiān)督的方式進(jìn)行 訓(xùn)練。 生成網(wǎng)絡(luò)由隨機(jī)噪聲作為輸入,通過(guò)下采 樣生成低空間分辨率數(shù)據(jù),并傳遞給上采樣結(jié)構(gòu), 如此反復(fù)優(yōu)化最終生成高分辨率圖片。在圖像放大4倍時(shí)效果更好。

邊緣增強(qiáng)網(wǎng)絡(luò)的遙感圖像超分辨率

由于受噪聲的污染,遙感圖像恢復(fù)高頻邊緣細(xì) 節(jié)方面仍然需要改善。 于是2019年,Jiang 等提出一種基于生成對(duì)抗網(wǎng)絡(luò)的邊緣增強(qiáng)網(wǎng)絡(luò),該網(wǎng)絡(luò)的生成網(wǎng)絡(luò)由兩個(gè)子網(wǎng)絡(luò)組成,超密集子網(wǎng)( ultra dense sub network, UDSN ) 和 邊 緣 增 強(qiáng) 子 網(wǎng) ( edge enhancement subnetwork,EESN)。 當(dāng) UDSN 用于重 建圖像時(shí),重建結(jié)果看上去很銳化,邊緣受噪聲污 染嚴(yán)重,因此,專門設(shè)計(jì)了 EESN 通過(guò)學(xué)習(xí)噪聲掩 碼來(lái)增強(qiáng)邊緣。 該方法比經(jīng)典的 SRCNN、VDSR[10] 和 SRGAN方法的重建效果有很大提升。

可跨傳感器的遙感圖像超分辨率

用于遙感圖像超分辨率重建的數(shù)據(jù)通常局限 于特定的位置和特定的傳感器,所以導(dǎo)致不同位置和傳感器之間推廣模型的能力有限。于是 2020年，Xiong 等修改了 SRGAN 的損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu),并提出改進(jìn)的 SRGAN( improved SRGAN,ISRGAN),該方法使得模型訓(xùn)練更加穩(wěn)定,并增強(qiáng)了 泛化能力,實(shí)現(xiàn)遙感圖像一次訓(xùn)練,就可以用于任何地方和不同的傳感器。結(jié)果表明，使用ISRGAN 超分辨率重建之后的土地覆蓋分類的準(zhǔn) 確性可以得到顯著提高,尤其在具有高分辨率紋理道路和建筑物上,準(zhǔn)確率提高了 15%。

基于深度學(xué)習(xí)的多幅遙感圖像超分辨率重建

與單幅遙感圖像超分辨率重建相比,多幅遙感圖像超分辨率重建中包含有更多的互補(bǔ)信息,過(guò)程也更具有挑戰(zhàn)性,需要解決多個(gè)低分辨率圖像之間聯(lián)合配準(zhǔn)和融合等額外挑戰(zhàn)。2020年，Deudon 等提出了HightRes-net 網(wǎng)絡(luò),首次將深度學(xué)習(xí)的方法引用到 多幅遙感圖像超分辨率重建中,該方法以端到端的方式學(xué)習(xí)子任務(wù)。

子任務(wù)包括

圖像配準(zhǔn)

圖像融合

上采樣

配準(zhǔn)損失函數(shù)部分

HightRes-Net 是一種深層結(jié)構(gòu),通過(guò)參 考幀通道,學(xué)習(xí)將任意數(shù)量的低分辨率圖像進(jìn)行聯(lián)合配準(zhǔn),然后進(jìn)行上采樣和超分辨率重建。

最后將得到的 ShiftNet 損失反饋到 HightRes-Net 模型中,得到重建圖片。ShiftNet 損 失函數(shù)保證了多幅遙感圖像的超分辨率重建不會(huì)因?yàn)榕錅?zhǔn)不足,亞像素偏移等導(dǎo)致模糊的結(jié)果輸出。

基于深度學(xué)習(xí)的多/高光譜遙感圖像超分辨率重建

感圖像的空間分 辨率和光譜分辨率的重建方法。 光譜圖像包含數(shù) 百個(gè)波段,提供了豐富的光譜特征,每張圖像代表不同電磁波段下場(chǎng)景的反射率和輻射率,這種物 理表示在許多應(yīng)用中起著至關(guān)重要的作用,例如 遙感分類、目標(biāo)檢測(cè)和異常檢測(cè)。 但是由于硬件 限制,收集高質(zhì)量的高光譜圖像比全色圖像困難, 并且分辨率也較低,因此超分辨率重建技術(shù)也被引入到該領(lǐng)域。 以下是幾種代表性方法。

基于 SRCNN 的多/高光譜圖像超分辨率重建

2017年，Yuan 等將用在自然圖像上預(yù)先訓(xùn)練的單圖像超分重建方法 SRCNN 用來(lái)獨(dú)立增強(qiáng)多 / 高光譜遙感圖像的每個(gè)頻段,并借鑒轉(zhuǎn)移學(xué)習(xí)思想將其轉(zhuǎn)化為高光譜圖像。另外,為了研究低分 辨率和多 /高分辨率高光譜圖像之間的光譜性質(zhì), 作者還提出了協(xié)作非負(fù)矩陣分解來(lái)增強(qiáng)低分辨率和高分辨率光譜之間的關(guān)聯(lián)。

[1] He Z , Liu L . Hyperspectral Image Super-Resolution Inspired by Deep Laplacian Pyramid Network[J]. Remote Sensing, 2018, 10(12).

這篇文章也考慮了類似Yuan等人的思想先用自然圖像訓(xùn)練拉普拉斯金字塔網(wǎng)絡(luò)然后利用預(yù)訓(xùn)練好的的網(wǎng)絡(luò)對(duì)多/高光譜遙感圖像的每個(gè)波段進(jìn)行超分辨率 重建;最后,利用編碼光譜在低空間分辨率多/高光譜圖像上訓(xùn)練,來(lái)提高多/高光譜分辨率。

改進(jìn)損失函數(shù)的多/高光譜圖像超分辨率重建

大多數(shù)基于 CNN 的圖像超分辨率重建網(wǎng)絡(luò), 都是使用默認(rèn)的 L2 損失函數(shù),但是對(duì)于高光譜圖像,該損失函數(shù)可能會(huì)導(dǎo)致光譜不一致。多/高 光譜圖像的超分,損失函數(shù)不僅應(yīng)該關(guān)注空間信息,還要關(guān)注光譜信息。于是，2018年，僅應(yīng)該關(guān)注空間信 息,還要關(guān)注光譜信息。 于是 Zheng 等提出一種同時(shí)考慮空間和光譜信息的多損失函數(shù)網(wǎng)絡(luò), 它由串聯(lián)密集殘差網(wǎng)絡(luò)( concatenate dense residual network,CDRN)和損失網(wǎng)絡(luò)( loss network,LN) 組成。 CDRN 是圖像重建部分,LN 包括像素的空間損失和光譜損失,它驅(qū)動(dòng)整個(gè)模型的學(xué)習(xí)。

相關(guān)資料

數(shù)據(jù)集

UC Merced數(shù)據(jù)集，它是一個(gè)用于研 究土地利用的數(shù)據(jù)集,一共有 2 100 張圖片,包含 21 類場(chǎng)景,每類 100 張,每張圖片的像素大小為
256×256。

RSCNN7數(shù)據(jù)集,一共包含 2 800 幅遙感圖像,分別來(lái)自 7 個(gè)不同的場(chǎng)景類別,每個(gè)類別包含 400 張圖像。

NWPU-RESISC45數(shù)據(jù)集，來(lái)自西北工業(yè)大學(xué),一共含有 31500 張圖片,分為 45 個(gè)場(chǎng)景類別, 每類有 700 張, 每張圖像的大小為
256×256。

Kaggle開源數(shù)據(jù)集，是一個(gè)開源數(shù)據(jù)集, 該數(shù)據(jù)集中 Draper 衛(wèi)星圖像包含了 1 000 多張?jiān)谀霞又菖臄z的高分辨率航空照片。

Sentinel-2數(shù)據(jù)集，它是 Sentinel 系列里 的其中一個(gè)系列,數(shù)據(jù)免費(fèi),主要有效載荷是多光 譜成像儀,共有 13 個(gè)波段,光譜范圍在 0. 4 ~ 2. 4 μm 之間,涵蓋了可見光、近紅外和短波紅外, 并且該數(shù)據(jù)集作為 Landsat 系統(tǒng)在對(duì)地觀測(cè)領(lǐng)域的補(bǔ)充,目前應(yīng)用越來(lái)越多。

結(jié)果分析

對(duì)于單幅遙感 圖像超分辨率重建方法的結(jié)果表明,使用基于 GAN 的結(jié)構(gòu),并在通用圖像上進(jìn)行預(yù)訓(xùn)練,PSNR 提升的更高,可以取得目前最好的重建效果。 對(duì) 于多 /高光譜遙感圖像超分重建方法,PSNR 提升 明顯較低,這主要是由于多 /高光譜遙感圖像的特 殊性造成的,這一結(jié)果表明,同時(shí)利用空間和光譜信息,可以獲得更好的性能。

討論

從模型類型來(lái)看，基于 CNN 的方法仍然 是目前基于深度學(xué)習(xí)的遙感圖像超分重建中的主 流方法,但也有少部分學(xué)者將其他的深度模型應(yīng)用于遙感圖像的超分重建中。

從單幅遙感圖像重建方法及其效果來(lái) 看,基于 GAN 的方法可以取得目前最好的重建效果,這與在自然圖像上的方法結(jié)果是一致的。

對(duì)于多幅遙感圖像超分辨率重建而言, 需要考慮圖像配準(zhǔn)和融合等額外挑戰(zhàn),所以重建 模型會(huì)比較大,并且目前基于深度學(xué)習(xí)的多幅遙 感圖像超分辨率重建方法較少,主要都是針對(duì)單幅遙感圖像重建的方法。

對(duì)于多 /高光譜遙感圖像超分辨率重建 的情況,性能最好的方法是同時(shí)注意提高空間分辨率和光譜分辨率,而不是像早期的方法那樣只是獨(dú)立地考慮光譜通道。

大部分的基于深度學(xué)習(xí)的遙感圖像超分 辨率重建網(wǎng)絡(luò)使用的是 L1 和 L2 損失函數(shù),這兩 個(gè)損失函數(shù)都是基于像素差異的。對(duì)于多/高光譜遙感圖像進(jìn)行光譜分辨率重建時(shí),需要設(shè)計(jì)合適的光譜信息損失函數(shù),這樣才能生成高質(zhì)量的多/高光譜遙感圖像。

展望

研究針對(duì)遙感圖像特點(diǎn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。遙感圖像具 有尺度多樣性、視角特殊性、多方向和背景復(fù)雜度
高等特點(diǎn)。

研究無(wú)監(jiān)督學(xué)習(xí)的遙感圖像超分辨率重建方法。遙感圖像在同一場(chǎng)景下的不同分辨率的 圖像很難獲取,所以缺乏訓(xùn)練樣本,而且目前主要 的研究是有監(jiān)督的遙感圖像超分辨率重建方法, 但是有監(jiān)督學(xué)習(xí)的超分方法訓(xùn)練出來(lái)的模型不能 很好地應(yīng)對(duì)一些實(shí)際場(chǎng)景的超分任務(wù),所以無(wú)監(jiān) 督的遙感圖像超分重建模型具有重要的研究?jī)r(jià)值。

研究多源遙感圖像的超分重建方法。融合同一場(chǎng)景不同傳感器的圖像信息(包括空間信息、時(shí)間信息、光譜信息和位置信息等),目前基 于深度學(xué)習(xí)的遙感圖像超分重建方法中,大多只是根據(jù)一種信息來(lái)進(jìn)行重建,模型學(xué)習(xí)到的信息 較少,重建效果有限,所以研究多源遙感圖像信息 的融合問(wèn)題,充分挖掘這些互補(bǔ)信息,以提高遙感 圖像重建效果,這也將是未來(lái)一個(gè)十分重要的研究方向。

參考文獻(xiàn)：[1]成科揚(yáng),榮蘭,蔣森林,詹永照.基于深度學(xué)習(xí)的遙感圖像超分辨率重建技術(shù)綜述[J/OL].鄭州大學(xué)學(xué)報(bào)(工學(xué)版):1-9[2022-06-21].DOI:10.13705/j.issn.1671-6833.2022.05.013.

總結(jié)

以上是生活随笔為你收集整理的遥感图像超分辨重建综述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。