基于深度學習的遙感圖像超分辨率重建技術綜述

摘要部分

基于深度學習的遙感圖像超分重建方法分成三大類

單幅遙感圖像超分重建

最好的是基于GAN的方法

方法：

基于多尺度特征提取的方法

結合小波變換的方法

沙漏狀生成網絡的方法

邊緣增強網絡的方法

可跨傳感器的方法

多幅遙感圖像超分重建

超分效果不佳，存在配準融合、多源信息融合等問題

多/高光譜遙感圖像超分重建

超分效果不佳，存在配準融合、多源信息融合等問題

未來趨勢

構建針對遙感圖像特點的神經網絡結構

無監督學習的遙感圖像超分重建方法(想法：GAN可用于無監督學習)

多源遙感圖像的超分重建方法

引言

概念

遙感圖像超分辨率重建是對具有互補信息的低分辨率遙感圖像進行處理,來獲得高分辨率遙感圖像的技術。

方法框架

基于深度學習的遙感圖像超分重建方法淵源

傳統的遙感圖像超分重建方法

頻域法

主要分為頻譜解混疊算法,遞歸最小二乘法等,其 基于的理論前提過于理想化,不能有效地應用于 多個場合,所以目前這類方法已不再成為研究的主流。

空域法

空域法雖然靈活性好,但是它涉及幀內運動 模糊、光學模糊以及其他復雜的降質模型等許多因素,導致其優化方法復雜,計算的代價大,沒能成為主流的方法。

頻域-空域結合的方法

頻域-空域結合的方法,雖然結合了頻域法和空域法的優勢,但運算復雜,計算量巨大,也沒能成為主流的方法。

基于深度學習的遙感圖像超分辨重建步驟

將低分辨率和高分辨率遙感圖像對送入深度學習方法中,進行學習訓練,得到低分辨率和高分辨率遙感圖像之間的關系。再將低分辨率遙感圖像送入訓練好的深度模型中,得到重建后的超分辨率遙感圖像。

基于深度學習的單幅遙感圖像超分辨率重建

基于CNN的單幅遙感圖像超分辨率

常用CNN架構

SRCNN

第一個將 CNN 應用于超分辨率問題的方法。2016年Liebel 等首次提出將 SRCNN 用于單幅遙感圖像超分辨率重建。該方法 沒有考慮遙感圖像尺度多樣性的特點,所以重建效 果不太明顯,于是人們根據遙感圖像的尺度多樣性特點,提出了許多基于多尺度特征提取的方法。

VDSR

在 SRCNN 的基礎上引入了殘差網絡,擴展了 SRCNN 的功能。由于遙感圖像和自然圖像有很大的不同,遙感圖像中包含的物體和環境常常耦合在一起,而 且圖像尺度跨度較大,但是目前大部分網絡都是 在單個對象范圍內構建字典或者先驗知識,忽略了環境信息。于是，2017年，Lei 等提出一種基于 VDSR的網絡, 稱為局部-全局結合網絡 ( local-global combined networks,LGCNet)。

該網絡分為三個部分：

特征提取部分，利用L層卷積，獲取不同層的特征表示

局部-全局信息結合部分，不同層的特征表示;②局部-全局信息 結合部分,這部分也是整個 LGCNet 的核心部分,主要將不同層的結果級聯起來,也就是所謂的“多叉結構”

重建部分，重建出高分辨率的遙感圖像

2018年，Xu 等也針對多個尺度提取特征的問題,提出深度記憶連接網絡( deep memory connected network,DMCN)。 DMCN 是一種對稱的沙漏結構CNN,具有多個跳躍連接。與 LGCNet相比,雖然它的重建效果只有略微的提升,但是內存占用量和測試時間大大減少了。

上面兩項工作雖然都使用了多尺度特征提取 的方法,但是網絡較深且結構單一,不能靈活適應多尺度特征，網絡較深且結構單一,不能靈活適應 多尺度特征,于是2020年， Wang 等提出了一種用于遙感圖像的超分辨率的自適應多尺度特征融合網絡。 該方法提出了一種自適應多尺度特征提取模 塊,該模塊結合擠壓激勵網絡和自適應門控機制。 通過該模塊可以自適應地將提取的多尺度信息進行融合,該方法優于SRCNN、ESPCN、MSRN等經典方法。

EDSR

是目前通用圖像超分重建性能最好 的方法之一。

結合小波變換的遙感圖像超分辨率

2019年，Ma等提出另外一種結合小波變換和帶有局部、全局殘差連接的 CNN 超分辨率網絡結構 (WTCRR)。該網絡帶有局部和全局的殘差連接，通過關注頻域來解決超分辨率問題。

該網絡有三個部分：

分解

將經過雙 3 次插值的圖像通過 2D 離散小 波變換分解為 4 張低分辨率圖像

預測

把上一步分解出的 4 張圖像輸入到具有遞歸和 殘差網絡的 CNN 網絡結構中,得到初步的預測結果

重建

將預測部分得到的圖片通過逆離散 小波變換進行組合,重建出最終的高分辨率圖像。

與 DRNN( deep recurrent neural network)相比,該方法重建后的圖片邊緣有所改進。

高放大因子的遙感圖像超分辨率

目前,適度放大單幅遙感圖像空間分辨率 (例如×2,×3)的問題得到了有效的解決,但是高 放大因子(例如×4,×8)的遙感圖像超分辨率重建
仍是個難題。2019年，×4,×8)的遙感圖像超分辨率重建 仍是個難題。 Pan 等針對上述問題提出快速殘差密集反投影網絡( fast residual dense back projection network,FRDBPN)。 FRDBPN 采用上投影和包含特定卷積和擴張卷積序列的下采樣單元,以及全局和局部殘差連接。

基于GAN的單幅遙感圖像超分辨率

沙漏狀生成網絡的遙感圖像超分辨率

2018年，Haut 等聚焦于生成模型,提出一種沙漏狀的生成網絡架構。 該網絡以無監督的方式進行 訓練。 生成網絡由隨機噪聲作為輸入,通過下采 樣生成低空間分辨率數據,并傳遞給上采樣結構, 如此反復優化最終生成高分辨率圖片。在圖像放大4倍時效果更好。

邊緣增強網絡的遙感圖像超分辨率

由于受噪聲的污染,遙感圖像恢復高頻邊緣細 節方面仍然需要改善。 于是2019年,Jiang 等提出一種基于生成對抗網絡的邊緣增強網絡,該網絡的生成網絡由兩個子網絡組成,超密集子網( ultra dense sub network, UDSN ) 和 邊 緣 增 強 子 網 ( edge enhancement subnetwork,EESN)。 當 UDSN 用于重 建圖像時,重建結果看上去很銳化,邊緣受噪聲污 染嚴重,因此,專門設計了 EESN 通過學習噪聲掩 碼來增強邊緣。 該方法比經典的 SRCNN、VDSR[10] 和 SRGAN方法的重建效果有很大提升。

可跨傳感器的遙感圖像超分辨率

用于遙感圖像超分辨率重建的數據通常局限 于特定的位置和特定的傳感器,所以導致不同位置和傳感器之間推廣模型的能力有限。于是 2020年，Xiong 等修改了 SRGAN 的損失函數和網絡結構,并提出改進的 SRGAN( improved SRGAN,ISRGAN),該方法使得模型訓練更加穩定,并增強了 泛化能力,實現遙感圖像一次訓練,就可以用于任何地方和不同的傳感器。結果表明，使用ISRGAN 超分辨率重建之后的土地覆蓋分類的準 確性可以得到顯著提高,尤其在具有高分辨率紋理道路和建筑物上,準確率提高了 15%。

基于深度學習的多幅遙感圖像超分辨率重建

與單幅遙感圖像超分辨率重建相比,多幅遙感圖像超分辨率重建中包含有更多的互補信息,過程也更具有挑戰性,需要解決多個低分辨率圖像之間聯合配準和融合等額外挑戰。2020年，Deudon 等提出了HightRes-net 網絡,首次將深度學習的方法引用到 多幅遙感圖像超分辨率重建中,該方法以端到端的方式學習子任務。

子任務包括

圖像配準

圖像融合

上采樣

配準損失函數部分

HightRes-Net 是一種深層結構,通過參 考幀通道,學習將任意數量的低分辨率圖像進行聯合配準,然后進行上采樣和超分辨率重建。

最后將得到的 ShiftNet 損失反饋到 HightRes-Net 模型中,得到重建圖片。ShiftNet 損 失函數保證了多幅遙感圖像的超分辨率重建不會因為配準不足,亞像素偏移等導致模糊的結果輸出。

基于深度學習的多/高光譜遙感圖像超分辨率重建

感圖像的空間分 辨率和光譜分辨率的重建方法。 光譜圖像包含數 百個波段,提供了豐富的光譜特征,每張圖像代表不同電磁波段下場景的反射率和輻射率,這種物 理表示在許多應用中起著至關重要的作用,例如 遙感分類、目標檢測和異常檢測。 但是由于硬件 限制,收集高質量的高光譜圖像比全色圖像困難, 并且分辨率也較低,因此超分辨率重建技術也被引入到該領域。 以下是幾種代表性方法。

基于 SRCNN 的多/高光譜圖像超分辨率重建

2017年，Yuan 等將用在自然圖像上預先訓練的單圖像超分重建方法 SRCNN 用來獨立增強多 / 高光譜遙感圖像的每個頻段,并借鑒轉移學習思想將其轉化為高光譜圖像。另外,為了研究低分 辨率和多 /高分辨率高光譜圖像之間的光譜性質, 作者還提出了協作非負矩陣分解來增強低分辨率和高分辨率光譜之間的關聯。

[1] He Z , Liu L . Hyperspectral Image Super-Resolution Inspired by Deep Laplacian Pyramid Network[J]. Remote Sensing, 2018, 10(12).

這篇文章也考慮了類似Yuan等人的思想先用自然圖像訓練拉普拉斯金字塔網絡然后利用預訓練好的的網絡對多/高光譜遙感圖像的每個波段進行超分辨率 重建;最后,利用編碼光譜在低空間分辨率多/高光譜圖像上訓練,來提高多/高光譜分辨率。

改進損失函數的多/高光譜圖像超分辨率重建

大多數基于 CNN 的圖像超分辨率重建網絡, 都是使用默認的 L2 損失函數,但是對于高光譜圖像,該損失函數可能會導致光譜不一致。多/高 光譜圖像的超分,損失函數不僅應該關注空間信息,還要關注光譜信息。于是，2018年，僅應該關注空間信 息,還要關注光譜信息。 于是 Zheng 等提出一種同時考慮空間和光譜信息的多損失函數網絡, 它由串聯密集殘差網絡( concatenate dense residual network,CDRN)和損失網絡( loss network,LN) 組成。 CDRN 是圖像重建部分,LN 包括像素的空間損失和光譜損失,它驅動整個模型的學習。

相關資料

數據集

UC Merced數據集，它是一個用于研 究土地利用的數據集,一共有 2 100 張圖片,包含 21 類場景,每類 100 張,每張圖片的像素大小為
256×256。

RSCNN7數據集,一共包含 2 800 幅遙感圖像,分別來自 7 個不同的場景類別,每個類別包含 400 張圖像。

NWPU-RESISC45數據集，來自西北工業大學,一共含有 31500 張圖片,分為 45 個場景類別, 每類有 700 張, 每張圖像的大小為
256×256。

Kaggle開源數據集，是一個開源數據集, 該數據集中 Draper 衛星圖像包含了 1 000 多張在南加州拍攝的高分辨率航空照片。

Sentinel-2數據集，它是 Sentinel 系列里 的其中一個系列,數據免費,主要有效載荷是多光 譜成像儀,共有 13 個波段,光譜范圍在 0. 4 ~ 2. 4 μm 之間,涵蓋了可見光、近紅外和短波紅外, 并且該數據集作為 Landsat 系統在對地觀測領域的補充,目前應用越來越多。

結果分析

對于單幅遙感 圖像超分辨率重建方法的結果表明,使用基于 GAN 的結構,并在通用圖像上進行預訓練,PSNR 提升的更高,可以取得目前最好的重建效果。 對 于多 /高光譜遙感圖像超分重建方法,PSNR 提升 明顯較低,這主要是由于多 /高光譜遙感圖像的特 殊性造成的,這一結果表明,同時利用空間和光譜信息,可以獲得更好的性能。

討論

從模型類型來看，基于 CNN 的方法仍然 是目前基于深度學習的遙感圖像超分重建中的主 流方法,但也有少部分學者將其他的深度模型應用于遙感圖像的超分重建中。

從單幅遙感圖像重建方法及其效果來 看,基于 GAN 的方法可以取得目前最好的重建效果,這與在自然圖像上的方法結果是一致的。

對于多幅遙感圖像超分辨率重建而言, 需要考慮圖像配準和融合等額外挑戰,所以重建 模型會比較大,并且目前基于深度學習的多幅遙 感圖像超分辨率重建方法較少,主要都是針對單幅遙感圖像重建的方法。

對于多 /高光譜遙感圖像超分辨率重建 的情況,性能最好的方法是同時注意提高空間分辨率和光譜分辨率,而不是像早期的方法那樣只是獨立地考慮光譜通道。

大部分的基于深度學習的遙感圖像超分 辨率重建網絡使用的是 L1 和 L2 損失函數,這兩 個損失函數都是基于像素差異的。對于多/高光譜遙感圖像進行光譜分辨率重建時,需要設計合適的光譜信息損失函數,這樣才能生成高質量的多/高光譜遙感圖像。

展望

研究針對遙感圖像特點的神經網絡結構。遙感圖像具 有尺度多樣性、視角特殊性、多方向和背景復雜度
高等特點。

研究無監督學習的遙感圖像超分辨率重建方法。遙感圖像在同一場景下的不同分辨率的 圖像很難獲取,所以缺乏訓練樣本,而且目前主要 的研究是有監督的遙感圖像超分辨率重建方法, 但是有監督學習的超分方法訓練出來的模型不能 很好地應對一些實際場景的超分任務,所以無監 督的遙感圖像超分重建模型具有重要的研究價值。

研究多源遙感圖像的超分重建方法。融合同一場景不同傳感器的圖像信息(包括空間信息、時間信息、光譜信息和位置信息等),目前基 于深度學習的遙感圖像超分重建方法中,大多只是根據一種信息來進行重建,模型學習到的信息 較少,重建效果有限,所以研究多源遙感圖像信息 的融合問題,充分挖掘這些互補信息,以提高遙感 圖像重建效果,這也將是未來一個十分重要的研究方向。

參考文獻：[1]成科揚,榮蘭,蔣森林,詹永照.基于深度學習的遙感圖像超分辨率重建技術綜述[J/OL].鄭州大學學報(工學版):1-9[2022-06-21].DOI:10.13705/j.issn.1671-6833.2022.05.013.

總結

以上是生活随笔為你收集整理的遥感图像超分辨重建综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。