MSAN：Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network

• • 摘要
  • I 介紹
  • III. 方法
  • • A. 用于遙感圖像超分辨率的MSAN模型的結(jié)構(gòu)
    • B. 多尺度激活特征融合塊（MAFB）
    • • 1) 多尺度激活模塊。
      • 2) 注意模塊。
    • C. 場景適應(yīng)性框架描述
    • • 1) 轉(zhuǎn)移學(xué)習(xí)
      • 2）重構(gòu)

摘要

遙感圖像超分辨率一直是研究的重點，近年來提出了許多基于深度學(xué)習(xí)的算法。然而，由于遙感圖像的結(jié)構(gòu)往往比自然圖像的結(jié)構(gòu)更加復(fù)雜，因此遙感圖像的超分辨率仍然存在一些困難。首先，很難用同一個模型來描述不同場景的高分辨率（HR）和低分辨率（LR）圖像之間的非線性映射。其次，遙感圖像中地面物體的尺度范圍很廣，單尺度卷積很難有效提取各種尺度的特征。為了解決上述問題，我們提出了一個多尺度注意網(wǎng)絡(luò)（MSAN）來提取遙感圖像的多層次特征。MSAN的基本組成部分是多尺度激活特征融合塊（MAFB）。此外，還采用了遙感圖像的場景適應(yīng)性超分辨率策略來更準(zhǔn)確地描述不同場景的結(jié)構(gòu)特征。在幾個數(shù)據(jù)集上進(jìn)行的實驗證實，所提出的算法在評價指標(biāo)和視覺結(jié)果上都優(yōu)于其他最先進(jìn)的算法。

I 介紹

與自然圖像相比，遙感圖像的結(jié)構(gòu)更為復(fù)雜。首先，遙感圖像通常具有更大的圖像寬度，并包含各種不同的場景，如建筑物、農(nóng)田、森林和機場。一幅完整的遙感圖像可以由許多不同的場景組成，而這些場景的紋理和結(jié)構(gòu)信息又有很大不同，導(dǎo)致不同場景的HR和LR圖像之間的映射關(guān)系不一致。其次，遙感圖像中的地面物體的尺度差別很大。例如，飛機和車輛等物體在遙感圖像中只占幾個像素，這與自然圖像有很大不同。因此，用同一個超分辨率模型很難準(zhǔn)確地重建不同場景的圖像，而且單尺度卷積不能很好地提取不同尺度的特征。

目前，許多基于深度學(xué)習(xí)的遙感圖像超分辨率框架已經(jīng)被開發(fā)出來[25]-[27]。雖然這些方法可以達(dá)到令人滿意的效果，但在某種程度上，它們往往忽略了遙感圖像的結(jié)構(gòu)信息[28]，而且沒有考慮不同場景下的潛在視覺信息性。因此，為了從海量遙感圖像中提取更多有用的知識，需要開發(fā)一種更適合于遙感圖像的方法，并能利用遙感圖像中不同場景之間的結(jié)構(gòu)信息。在這篇文章中，我們提出了一個新的框架，用不同類別場景的遙感圖像訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，以獲得不同的超分辨率模型，以適應(yīng)各種場景的遙感圖像。還提出了一個多尺度注意網(wǎng)絡(luò)（MSAN），以表征遙感圖像的多層次結(jié)構(gòu)特征。在這篇文章中，我們首次提出了一個多尺度激活模塊，然后在后面增加了一個通道注意模塊。我們的工作貢獻(xiàn)可以總結(jié)為三個方面。

多尺度激活特征融合塊（MAFB）。我們開發(fā)了一個新的MAFB作為MSAN的基本組成部分。受文獻(xiàn)[29]中寬幅激活策略的啟發(fā)，在本文中，我們首先提出了一個多尺度激活模塊，在整流線性單元（ReLU）激活層之前擴(kuò)大特征圖的數(shù)量，在每個MAFB中同時提取多層次的特征。 在融合了不同尺度的特征圖后，后面又增加了一個通道注意模塊，以進(jìn)一步自適應(yīng)地利用多個尺度的特征中的有效信息。

場景自適應(yīng)策略。我們建立了一個超級分辨率模型數(shù)據(jù)庫，通過遷移學(xué)習(xí)適應(yīng)遙感圖像的不同場景；針對航空圖像數(shù)據(jù)集（AID）30]數(shù)據(jù)集中包含的30個不同場景的遙感圖像，共訓(xùn)練了30個網(wǎng)絡(luò)模型，該數(shù)據(jù)集主要用于航空場景分類任務(wù)。因此，在這個模型數(shù)據(jù)庫的基礎(chǔ)上，經(jīng)過場景匹配，可以對遙感圖像進(jìn)行場景適應(yīng)性重建。

我們通過對比實驗分析了遙感圖像中不同場景之間的不相似性。此外，在AID數(shù)據(jù)集和其他遙感圖像數(shù)據(jù)集（包括吉林一號衛(wèi)星圖像和馬薩諸塞州道路和建筑檢測數(shù)據(jù)集）上獲得的實驗結(jié)果都證實了所提方法的滿意表現(xiàn)。

本文的其余部分組織如下。第二節(jié)介紹了現(xiàn)有的SISR方法。第三節(jié)描述了擬議的MSAN的框架和模型的細(xì)節(jié)。第四節(jié)給出了用AID數(shù)據(jù)集、吉林一號衛(wèi)星圖像和馬薩諸塞州道路和建筑檢測數(shù)據(jù)集得到的模擬實驗結(jié)果，以及討論。最后，我們在第五節(jié)中提出了這項工作的結(jié)論。

III. 方法

如第一節(jié)所述，由于遙感圖像結(jié)構(gòu)復(fù)雜，遙感圖像超分辨率存在兩個主要困難。

首先，對于遙感圖像中多樣化的場景對象，其高頻信息的聯(lián)合分布模式差異很大，因此，不同場景之間的高低映射關(guān)系往往不一致，這樣就很難用同一模型重建不同場景的遙感圖像。

其次，由于遙感圖像中的目標(biāo)往往具有很寬的尺度，應(yīng)考慮到圖像的局部紋理信息和全局特征分布。因此，與自然圖像相比，學(xué)習(xí)多層次的特征并執(zhí)行特征表達(dá)具有重要意義。

為了解決上述問題，在WDSR架構(gòu)的基礎(chǔ)上，我們首先對其進(jìn)行了優(yōu)化，提出了一個新的多尺度激活特征融合RB，稱為MAFB。在每個MAFB中，我們將一個多尺度激活模塊和一個通道關(guān)注模塊結(jié)合在一起。然后，開發(fā)了一個用于遙感圖像超分辨率的場景適應(yīng)性框架。在這一部分，我們將詳細(xì)描述所提出的MSAN模型和場景自適應(yīng)策略。

A. 用于遙感圖像超分辨率的MSAN模型的結(jié)構(gòu)

如圖1所示，包括完整的網(wǎng)絡(luò)結(jié)構(gòu)和新的RB MAFB，分別如圖1（a）和（b）所示。MSAN的整體結(jié)構(gòu)由兩部分組成。1） the identity mapping 和 2) the residual body。對于the identity mapping分支，我們利用原始的5×5的卷積層來提取LR特征，并保留上采樣層與WDSR的subpixel卷積。

在本文中，我們旨在從LR輸入中恢復(fù)超分辨率遙感圖像，如下所示。

其中F是端到端網(wǎng)絡(luò)學(xué)習(xí)的映射，I LR∈RH×W×c代表LR輸入，I SR∈Rs H×sW×c代表SR輸出，s是比例因子。假設(shè)在剩余分支中有N個MAFB，第一個和第i個（i∈[1，N]）塊的輸入可以定義為

其中ω和b分別代表濾波器和偏置，下標(biāo)代表核大小，δ代表每個MAFB的函數(shù)。ω3×3的大小為c×3×3×n，其中c=3代表輸入LR圖像的RGB通道，n是輸出特征圖的數(shù)量。

B. 多尺度激活特征融合塊（MAFB）

MAFB是在多尺度激活模塊、特征融合瓶頸層和通道關(guān)注模塊的基礎(chǔ)上發(fā)展起來的，如圖1（b）所示。

1) 多尺度激活模塊。

由于WDSR已經(jīng)證明，在ReLU激活前擴(kuò)展特征圖有助于提高網(wǎng)絡(luò)的性能，因此，在本文中，我們首先提出多尺度激活模塊。我們通過在每個MAFB的ReLU激活前增加一個多尺度卷積模塊，將寬泛的激活策略擴(kuò)展到多尺度激活，以擴(kuò)大不同尺度的特征圖數(shù)量，同時提取不同場景在多個尺度上的類間分集，如圖1（b）所示。多尺度卷積濾波器的核大小分別為3×3、5×5和7×7。多尺度卷積模塊有能力在不同層次上描述輸入LR圖像的背景和紋理信息，并能提高網(wǎng)絡(luò)的表示能力。

由于多尺度卷積操作具有不同大小的感受野，在通過幾個RB后可以處理長期的依賴關(guān)系。此外，通過三種核大小的組合，可以獲得多層次的特征和更大的感受野，從而可以同時捕捉到遙感圖像中不同場景的局部和全局分布的聯(lián)合信息。我們的MAFB中的多尺度卷積模塊可以表述為

我們將三個卷積的輸出特征圖串聯(lián)起來，然后應(yīng)用ReLU函數(shù)

其中σ (-) 表示非線性激活函數(shù)，M∈RH×W×3n。如果我們假設(shè)三個convo lution操作各輸出n個特征圖，那么在ReLU激活后我們可以得到3×n個特征圖。隨后，再進(jìn)行1×1卷積，將之前提取的多尺度特征進(jìn)行融合。同時，它仍然作為一個瓶頸層，將通道數(shù)減少到

其中M∈RH×W×n。

2) 注意模塊。

RCAN架構(gòu)中的通道關(guān)注模塊如圖2所示。通道關(guān)注機制是由RCAN首次引入超分辨率領(lǐng)域的，事實證明它具有自適應(yīng)利用不同通道間有效信息的能力。就遙感圖像而言，LR圖像中的高頻分量是很有價值的，特別是對于那些充滿邊緣、紋理和其他細(xì)節(jié)的場景。為了強化特征表達(dá)，使網(wǎng)絡(luò)關(guān)注更多的信息特征，我們在RB中加入了圖2所示的注意模塊，在1×1卷積后對通道特征進(jìn)行重新劃分，具體操作如下。

其中Pave(M )∈R1×1×n代表全局平均池操作，W f 1∈R1×1×(n/r)和W f 2∈R1×1×n代表兩個全連接層，f (-)表示sigmoid函數(shù)。在重新校準(zhǔn)操作之后，我們在RB的尾部使用3×3卷積進(jìn)行空間上的特征提取。考慮到網(wǎng)絡(luò)的參數(shù)預(yù)算和計算負(fù)擔(dān)，特征圖的數(shù)量n被設(shè)定為64。

為了提高實驗效率，我們用8個RB作為基線，在提出的MSAN和兩個比較方法（即EDSR和WDSR）中。此外，利用權(quán)重歸一化（WN）來提高訓(xùn)練的效率和準(zhǔn)確性。地面真實圖像和超分辨率圖像之間的l1損失函數(shù)也被計算出來以訓(xùn)練最終的MSAN。

C. 場景適應(yīng)性框架描述

考慮到遙感圖像中不同場景之間的巨大差異，很難訓(xùn)練一個對所有不同場景都有效的模型。因此，在這篇文章中，我們提出了一個場景適應(yīng)性的超級分辨率框架。該框架的流程圖如圖3所示。如圖3所示，場景自適應(yīng)超級分辨率的流程圖可以分為兩個部分：1）轉(zhuǎn)移學(xué)習(xí)和2）重建。

1) 轉(zhuǎn)移學(xué)習(xí)

首先，我們用包含各種場景的遙感圖像對基本網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練以初始化參數(shù)。然而，由于不同場景之間紋理信息的明顯差異和遙感圖像之間的廣泛尺度，初始化的模型往往是不同場景的訓(xùn)練數(shù)據(jù)之間博弈的妥協(xié)結(jié)果。因此，這種預(yù)訓(xùn)練的模型不會對每個單一場景實現(xiàn)最佳的重建結(jié)果。為此，為了使初始化的參數(shù)能夠轉(zhuǎn)移到遙感圖像的相應(yīng)場景領(lǐng)域，我們使用不同場景的遙感圖像來微調(diào)預(yù)訓(xùn)練的基本網(wǎng)絡(luò)[50]。在得到預(yù)訓(xùn)練的基本網(wǎng)絡(luò)后，利用不同場景的遙感圖像對預(yù)訓(xùn)練的網(wǎng)絡(luò)進(jìn)行微調(diào)，得到最終模型。因此，我們可以建立一個數(shù)據(jù)庫，其中包含適應(yīng)不同場景的遙感圖像的超分辨率模型。同時，我們可以利用不同場景的結(jié)構(gòu)信息來探索LR和HR圖像之間更精確的非線性映射，以改善重建結(jié)果。

2）重構(gòu)

在重建部分，在獲得所有與不同場景微調(diào)的模型后，我們可以應(yīng)用場景自適應(yīng)的超級分辨率框架。首先，我們可以通過場景分類將遙感圖像與對應(yīng)的類別相匹配。在場景匹配之后，每張遙感圖像被輸入到在第一個程序中自適應(yīng)獲得的相應(yīng)的超分辨率模型中，以獲得最終的HR輸出。

總結(jié)

以上是生活随笔為你收集整理的【图像超分辨率】MSAN:Scene-Adaptive RS Img SR a Multiscale Attention的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。