【图像超分辨率】Meta-SR: A Magnification-Arbitrary Network for Super-Resolution
Meta-SR: A Magnification-Arbitrary Network for Super-Resolution
- 摘要
- 1. 介紹
- 2. 相關(guān)工作
- 2.1 單圖像的超分辨率
- 2. 2 meta-learning
- 3. 方法
- 3.1. Meta-Upscale 的簡單描述
- 位置投影
- 權(quán)重預(yù)測
- 特征映射
- 3.2. Architecture Details of Meta-SR
- 4 實(shí)驗(yàn)
- 4.1 數(shù)據(jù)集和評估方法
- 4.2 訓(xùn)練細(xì)節(jié)
- 4.3 對于任意尺度的單一模型
- 4.4 推理時(shí)間
- 4.5 與 SOTA 方法的比較
- 4.6視覺效果
- 5 總結(jié)
摘要
由于深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）的發(fā)展，最近對超分辨率的研究取得了很大成就。然而，長期以來忽略了任意比例因子的超分辨率。以前的研究人員認(rèn)為超分辨率不同比例因子作為獨(dú)立任務(wù)。他們訓(xùn)練具體在計(jì)算中效率低的每個(gè)比例因子的模型，并且先前的工作僅考慮幾個(gè)整數(shù)比例因子的超分辨率。
在這項(xiàng)工作中，我們提出了一種名為Meta-SR的新方法來首先解決使用單個(gè)模型超分辨任意比例因子（包括非整數(shù)比例因子）。在Meta-SR中，使用提出的Meta-Upscale 模塊代替?zhèn)鹘y(tǒng)的上采樣模塊。對于任意比例因子，Meta Upscale模塊通過將比例因子作為輸入來動態(tài)預(yù)測上采樣的過濾器的權(quán)重并使用這些權(quán)重以生成任意大小的HR圖像。任何低分辨率圖像，我們的Meta-SR僅使用單個(gè)模型可以持續(xù)的放大在任意尺度的圖像。我們通過對單個(gè)圖像上廣泛使用的基準(zhǔn)數(shù)據(jù)集的廣泛實(shí)驗(yàn)來評估所提出的方法超分辨率。實(shí)驗(yàn)結(jié)果顯示了我們的Meta-Upscale的優(yōu)越性。總的來說，本文提出了一個(gè) Meta-Upscale 代替?zhèn)鹘y(tǒng)的上采樣，Meta Upscale模塊通過將比例因子作為輸入來動態(tài)預(yù)測上采樣的過濾器的權(quán)重并使用這些權(quán)重以生成任意大小的HR圖像。
1. 介紹
單圖像超分辨率（SISR）旨在從低分辨率（LR）圖像來重構(gòu)視覺上自然的高分辨率圖像。它在安全和監(jiān)控成像方面有很廣泛的應(yīng)用[8,37]，醫(yī)學(xué)成像[23]，以及衛(wèi)星和航空成像[32]。在現(xiàn)實(shí)世界的情景，這是非常普遍和必要的SISR使用用戶自定義比例因子放大LR圖像。與普通圖像查看器一樣，用戶可以通過滾動來任意放大觀看的圖像鼠標(biāo)滾輪可查看所查看圖像的本地詳細(xì)信息。超分辨率的定制比例因子也可以是任何正數(shù)。它不應(yīng)該固定為某些整數(shù)。因此，一種解決超分辨率任意比例因子的方法對于SISR有著更實(shí)際的用途。如果我們?yōu)槊總€(gè)正比例因子訓(xùn)練特定模型，則不可能存儲所有這些模型而且計(jì)算效率低下。因此，更重要的是問題是我們能否使用單一模型去解決超分辨率任意比例因子的問題。
然而，眾所周知，大多數(shù)現(xiàn)有的SISR方法只考慮某些整數(shù)比例因子（X2，X3，X4）的超分辨率。并且這些方法將不同比例因子的超分辨率視為獨(dú)立任務(wù)。以前的工作很少討論如何實(shí)現(xiàn)任意比例因子的超分辨率。至于最新的SISR方法，如ESPCNN [22]，EDSR [18]，RDN和RCAN [35]，這些方法用sup-pixel卷積[18]放大網(wǎng)絡(luò)末端的特征圖。不幸的是，這些方法必須為每個(gè)比例因子設(shè)計(jì)一個(gè)特定的上采樣模塊。每個(gè)上采樣模塊只能使用固定的整數(shù)比例因子放大圖像。并且sup-pixel卷積僅適用于整數(shù)比例因子。這些缺點(diǎn)限制了使用SISR對現(xiàn)實(shí)世界的情景。雖然，我們可以通過適當(dāng)?shù)胤糯筝斎雸D像來實(shí)現(xiàn)非整數(shù)比例因子的超分辨率。然而，重復(fù)計(jì)算和升級輸入使得這些方法非常耗時(shí)并且難以投入實(shí)際使用。
為了解決這些缺點(diǎn)并使SISR更具實(shí)用性，需要一種用單一模型超分辨任意比例因子的有效且新穎的方法。 如果我們想用單個(gè)模型求解任意比例因子的超分辨率，則每個(gè)比例因子都需要一組用于上采樣濾波器的權(quán)重。 受meta-learn的啟發(fā)，我們提出了一個(gè)網(wǎng)絡(luò)來動態(tài)預(yù)測每個(gè)比例因子的濾波器權(quán)重。 因此，我們不再需要為每個(gè)比例因子存儲權(quán)重。 與存儲每個(gè)比例因子的權(quán)重相比，存儲小權(quán)重預(yù)測網(wǎng)絡(luò)更方便。
我們稱這種方法為Meta-SR。我們的Meta-SR有兩個(gè)模塊，即特征學(xué)習(xí)模塊和Meta-Upscale模塊。使用提出的meta-upscale模塊來取代傳統(tǒng)的上采樣模塊。對于生成的HR圖像上的每個(gè)像素（i; j），我們基于比例因子r將其投影到LR圖像上。投影坐標(biāo)是LR圖像上的（[i/r],[j/r]）。我們的meta-upscale模塊將此坐標(biāo)相關(guān)和與比例相關(guān)的矢量作為輸入，并預(yù)測濾波器的權(quán)重。對于所生成的SR圖像上的每個(gè)像素（i; j），在LR圖像上的對應(yīng)投影坐標(biāo)處的特征與濾波器的權(quán)重之間進(jìn)行卷積運(yùn)算，以在（i; j）上生成像素值。所提出的meta-upscale模塊可以通過將一系列與尺度相關(guān)的和與坐標(biāo)相關(guān)的矢量作為輸入來動態(tài)地預(yù)測卷積濾波器的變量數(shù)量。通過這種方式，我們的meta-upscale模塊可以使用單個(gè)模型放大任意比例因子的特征圖。實(shí)際上，我們的Meta-Upscale模塊可以通過替換典型的上采樣模塊，并入大多數(shù)以前的方法[36,35,18]。
我們針對單個(gè)圖像超分辨率在多個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，以評估我們的方法。 我們證明：
2. 相關(guān)工作
2.1 單圖像的超分辨率
早期的SISR方法是基于范例或字典的超分辨率[3,27,25]。 這些方法需要外部圖像的數(shù)據(jù)庫，并通過傳輸數(shù)據(jù)庫圖像中的相關(guān)補(bǔ)丁來生成高分辨率圖像。 性能受數(shù)據(jù)庫或字典的大小限制。這些傳統(tǒng)方法非常耗時(shí)且性能有限。
隨著深度學(xué)習(xí)的快速發(fā)展，人們提出了許多基于深度學(xué)習(xí)的方法，Dong等人首先提出了一種三層卷積神經(jīng)網(wǎng)絡(luò)。 [4]稱為SRCNN。 SRCNN在進(jìn)入網(wǎng)絡(luò)之前用雙三次插值對低分辨率圖像進(jìn)行了升級。 Kim等人[14]增加了網(wǎng)絡(luò)的深度并使用了殘差學(xué)習(xí)來使得訓(xùn)練穩(wěn)定。 Kim等人[15]首先介紹了對SISR的遞歸學(xué)習(xí)，稱為DRCN。 泰等人[24]通過引入具有共享參數(shù)的遞歸塊來提出DRRN，以使訓(xùn)練穩(wěn)定。 泰等人還介紹了一個(gè)名為Memnet [25]的內(nèi)存塊。 然而，這些網(wǎng)絡(luò)的輸入具有與最終高分辨率圖像相同的尺寸，這些方法是耗時(shí)的。
Shi等人[22]首先通過提出子像素卷積層提出了實(shí)時(shí)超分辨率算法ESPCNN。 ESPCNN [22]在網(wǎng)絡(luò)末端對圖像進(jìn)行了upscale，以減少計(jì)算量。 Ledig[16]引入了殘差塊和對抗性學(xué)習(xí)[7,6]，使生成的圖像更加真實(shí)和自然。 Lim等人 [18]使用稱為EDSR的更深和更廣泛的剩余網(wǎng)絡(luò)。 EDSR [18]移除了BN層并使用殘余縮放來加速訓(xùn)練。 Lim還首先訓(xùn)練了多個(gè)尺度因子（X2，X3，X4）的單一模型，稱為MDSR。 MDSR針對每個(gè)比例因子具有不同的圖像處理塊和高級模塊。張等人。 [36]提出了殘余密集網(wǎng)絡(luò)（RDN），它結(jié)合了殘余塊的優(yōu)點(diǎn)和密集的連接塊。然后Zhang等人 [35]將剩余渠道的注意力引入了SR框架。Wang等人 [28]提出了一種新穎的深空特征變換，以恢復(fù)以分類先驗(yàn)為條件的紋理。 DBPN [10]和DSRN [9]都利用了低分辨率圖像和高分辨率圖像的相互依賴性。 DBPN利用迭代上采樣和下采樣層為每個(gè)階段提供錯(cuò)誤反饋機(jī)制。 Jo等人。 [13]介紹了用于視頻超分辨率的動態(tài)上采樣濾波器。動態(tài)上采樣濾波器是局部地并且動態(tài)地生成的，這取決于LR幀中每個(gè)像素的時(shí)空鄰域。
與此工作不同，我們的Meta-Upscale模塊根據(jù)SISR的變化比例因子預(yù)測了卷積核的權(quán)重。此外，我們的Meta-Upscale可以生成變量數(shù)，并且卷積內(nèi)核的變量權(quán)重取決于比例因子。我們的meta-upscale模塊的輸入不是使用時(shí)空特征塊，而是與尺度相關(guān)且與坐標(biāo)相關(guān)的矢量。而且，我們的Meta-Upscale提出模塊來解決任意尺度。
2. 2 meta-learning
元學(xué)習(xí)或?qū)W習(xí)-學(xué)習(xí)是觀察不同機(jī)器學(xué)習(xí)方法如何在廣泛的學(xué)習(xí)任務(wù)中執(zhí)行，然后從這種經(jīng)驗(yàn)或元數(shù)據(jù)中學(xué)習(xí)的科學(xué)。 元學(xué)習(xí)主要用于less-shot/zero-shot學(xué)習(xí)[1,21]和轉(zhuǎn)移學(xué)習(xí)[29]。 元學(xué)習(xí)的詳細(xì)調(diào)查可以在[17]中找到。 這里我們只討論與權(quán)重預(yù)測相關(guān)的工作。
權(quán)重預(yù)測是神經(jīng)網(wǎng)絡(luò)中的元學(xué)習(xí)策略之一[17]。神經(jīng)網(wǎng)絡(luò)的權(quán)重由另一個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測，而不是直接從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)。Cai等人[2]預(yù)測分類器的參數(shù)W適應(yīng)新的類別而沒有反向傳播用于less-shot學(xué)習(xí)。根據(jù)支持集的記憶來預(yù)測參數(shù)。在物體檢測任務(wù)中，胡等人 [11]提出從box重量預(yù)測mask重量。楊等人[31]提出了一種新穎靈活的物體檢測錨定機(jī)制。可以從任意定制的先前框動態(tài)生成錨函數(shù)。在視頻超級分辨率中，Jo等人。 [13]提出了一種動態(tài)上采樣濾波器。動態(tài)上采樣濾波器是局部地并且動態(tài)地生成的，這取決于多個(gè)LR幀中的每個(gè)像素的時(shí)空鄰域。與此工作不同，我們利用元學(xué)習(xí)來預(yù)測每個(gè)比例因子的濾波器權(quán)重。我們不再需要為每個(gè)比例因子存儲濾波器的權(quán)重。我們的Meta-SR可以訓(xùn)練單個(gè)模型以實(shí)現(xiàn)任意比例的超分辨率。它實(shí)用方便，高效。
最相關(guān)的工作是參數(shù)化圖像操作器[5]，它利用權(quán)重預(yù)測來動態(tài)調(diào)整圖像操作的深度網(wǎng)絡(luò)權(quán)重（圖像過濾或圖像恢復(fù)）。 與此項(xiàng)工作不同，我們的Meta-SR側(cè)重于通過將坐標(biāo)和比例因子作為輸入來重新構(gòu)建upscale模塊。
3. 方法
在本節(jié)中，我們將描述所提出的模型體系結(jié)構(gòu)。 如圖1所示。 在我們的Meta-SR中，特征學(xué)習(xí)模塊提取低分辨率圖像的特征，而Meta-Upscale模塊則使用任意比例因子對特征圖進(jìn)行upscale。 我們首先介紹我們的Meta Upscale，然后我們描述了它的架構(gòu)細(xì)節(jié)。
圖1.基于RDN的Meta-SR實(shí)例[36]。 我們還稱網(wǎng)絡(luò)為Meta-RDN。 （a）由RDN [36]提出的殘差密集區(qū)塊。 （b）特征學(xué)習(xí)模塊，它為任意比例因子生成共享特征映射。（c）對于每個(gè)像素SR圖像，我們將其投影到LR圖像上。 建議的Meta Upscale模塊采用一系列與坐標(biāo)相關(guān)且與尺度相關(guān)的模塊矢量作為輸入來預(yù)測卷積濾波器的權(quán)重。 通過進(jìn)行卷積運(yùn)算，我們的Meta-Upscale最終生成了HR圖像。
3.1. Meta-Upscale 的簡單描述
給定從相應(yīng)的原始HR圖像IHR縮小的LR圖像ILR，SISR的任務(wù)是生成其ground truth為IHR的HR圖像ISR。 我們選擇RDN [36]作為我們的特色學(xué)習(xí)模塊。 如圖1（b）所示。 在這里，我們專注于描述 Meta Upscale模塊。
設(shè)FLR表示特征學(xué)習(xí)模塊提取的特征。 假設(shè)比例因子是r。 對于SR圖像上的每個(gè)像素（i; j），我們認(rèn)為它是由LR圖像上的像素（i’; j’）的特征和相應(yīng)濾波器的權(quán)重決定的。 從這個(gè)角度來看，upscale模塊可以看作映射ISR和FLR的映射函數(shù)。 首先，高級模塊應(yīng)將像素（i; j）映射到像素（i’; j’）。 然后，高級模塊需要特定的濾波器來映射像素的特征（i’; j’）以生成該像素（i; j）的值。 我們將upscale模塊制定為：
其中ISR（i; j）表示SR圖像上（i; j）處的像素值。 FLR（i’; j’）表示LR圖像上的像素（i’; j’）的特征。 W（i; j）是像素（i; j）的濾波器的權(quán)重。 Φ（:)是用于計(jì)算像素的特征映射函數(shù)值。
總結(jié)：r: 網(wǎng)絡(luò)放大的比例因子（ i，j）: SR 圖像上的像素 （i’，j’）: LR圖像上的像素
由于SR圖像上的每個(gè)像素對應(yīng)于濾波器。 對于不同的比例因子，濾波器的數(shù)量和濾波器的權(quán)重都與其他比例因子不同。 為了用單個(gè)模型求解任意比例因子的超分辨率，我們提出Meta Upscale模塊基于比例因子和坐標(biāo)信息動態(tài)預(yù)測權(quán)重W（i; j）。
對于Meta-Upscale模塊，有三個(gè)重要功能。 即，位置投影，權(quán)重預(yù)測和特征映射。 如圖2所示。 位置投影將像素投影到LR圖像上。 并且權(quán)重預(yù)測模塊預(yù)測SR圖像上的每個(gè)像素的濾波器的權(quán)重。 最后，特征映射功能將LR圖像上的特征映射到預(yù)測的權(quán)重回到SR圖像來計(jì)算像素的值。
位置投影
對于SR圖像上的每個(gè)像素（i; j），位置投影是在LR圖像上找到（i’; j’）。 我們認(rèn)為像素（i; j）的值由LR圖像上的（i’; j’）的特征決定。 我們使用以下投影運(yùn)算符來映射這兩個(gè)像素：
其中T是轉(zhuǎn)換函數(shù)。 [ ]是向下取整功能。
位置投影可以看作是一種可變分?jǐn)?shù)步幅[19]機(jī)制，它可以用任意比例因子放大特征圖。 如圖2所示，如果比例因子r是2，則每個(gè)像素（i’; j’）確定兩個(gè)點(diǎn)。 但是，如果比例因子是非整數(shù)，例如r = 1.5，則一些像素確定兩個(gè)像素，一些像素確定一個(gè)像素。 對于SR圖像上的每個(gè)像素（i; j），我們可以在LR圖像上找到一個(gè)獨(dú)特的像素（i’; j’），我們認(rèn)為這兩個(gè)像素最相關(guān)。
用非整數(shù)采樣因子r = 1.5來高檔特征映射的示意圖。在這里，我們只顯示了一維案例以簡化。
權(quán)重預(yù)測
對于典型的upscale模塊，它預(yù)定義每個(gè)比例因子的過濾器數(shù)量，并從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)W. 與典型的upscale模塊不同，我們的Meta-Upscale模塊使用網(wǎng)絡(luò)來預(yù)測過濾器的權(quán)重。 我們可以將權(quán)重預(yù)測表示為：
其中W（i; j）是SR圖像上像素（i; j）的濾波器權(quán)重，vij是與i相關(guān)的矢量;?（.）是權(quán)重預(yù)測網(wǎng)絡(luò)，并將vij作為輸入。 θ是權(quán)重預(yù)測網(wǎng)絡(luò)的參數(shù)。
至于像素（i; j）為?（.）的輸入，正確的選擇是對（i’; j’）的相對偏移，可以制定vij 如：
為了將多個(gè)比例因子一起訓(xùn)練，最好將比例因子添加到vij中以區(qū)分不同比例因子的權(quán)重。 例如，如果我們想要使用比例因子2和4來放大圖像，我們將它們分別表示為ISR 2和ISR4。 ISR 2上的像素（i; j）將具有與ISR4上的像素（2i; 2j）相同的濾波器權(quán)重和相同的投影坐標(biāo)。 那意味著ISR 2是I4SR的子圖像。 這會限制性能。 因此，我們將vij重新定義為：
特征映射
我們從FLR中提取LR圖像上的（i’; j’）特征。 我們用權(quán)重預(yù)測網(wǎng)絡(luò)預(yù)測濾波器的權(quán)重。 我們需要做的最后一件事是將特征映射到SR圖像上的像素值。 我們選擇矩陣乘積作為特征映射函數(shù)。 我們將Φ（:)表示為：
3.2. Architecture Details of Meta-SR
我們的Meta-SR網(wǎng)絡(luò)中有兩個(gè)模塊，即功能學(xué)習(xí)模塊和meta-upscale模塊。 大多數(shù)最先進(jìn)的方法[22,36,18,16,34]可以被選為我們的特征學(xué)習(xí)模塊。 通過簡單地替換傳統(tǒng)的高級模塊（子像素卷積[22]），可以將建議的meta-upscale模塊應(yīng)用于這些網(wǎng)絡(luò)。 我們選擇最先進(jìn)的SISR網(wǎng)絡(luò)，稱為殘余密集網(wǎng)絡(luò)（RDN [36]）作為我們的特征學(xué)習(xí)模塊。 請注意，我們的Meta-SR也可以與EDSR或MDSR [18]或RCAN [35]一起使用。 對于RDN [36]，有3個(gè)卷積層和16個(gè)殘余密集塊（RDB）。 每個(gè)RDB有8個(gè)卷積層。 密集塊的增長率為64.提取的特征映射具有64個(gè)通道。 詳細(xì)結(jié)構(gòu)如圖1所示。 更多細(xì)節(jié)可以在RDN [36]中找到.
對于Meta-Upscale模塊，它由幾個(gè)完全連接的層和幾個(gè)激活層組成。 每個(gè)輸入將輸出一組具有形狀的權(quán)重（inC; outC; k; k）。 這里inC是提取的特征圖的通道數(shù)，而文中的inC = 64。 outC是預(yù)測的HR圖像的通道數(shù)。 通常，對于彩色圖像，outC = 3，對于灰度圖像，outC = 1。 k表示卷積核的大小.
這里我們要描述所提出的meta-upscale模塊的參數(shù)，包括隱藏神經(jīng)元的數(shù)量，完全連接層的數(shù)量，激活函數(shù)的選擇和卷積層的內(nèi)核大小。 由于輸出大小（k2×inC×outC）與輸入大小（3）相比非常大，我們將隱藏神經(jīng)元的數(shù)量設(shè)置為256.繼續(xù)增加隱藏神經(jīng)元的數(shù)量沒有任何改善。 激活功能是ReLU。 我們進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)完全連接層的最佳數(shù)量是2，速度和性能的平衡。 至于內(nèi)核大小，3×3是最好的大小。 在大特征映射上進(jìn)行5×5卷積運(yùn)算更耗時(shí)。
4 實(shí)驗(yàn)
4.1 數(shù)據(jù)集和評估方法
在NTIRE 2017單圖像超分辨率挑戰(zhàn)中，新發(fā)布了高質(zhì)量的數(shù)據(jù)集DIV2K [26]。 DIV2K數(shù)據(jù)庫中有1000個(gè)圖像，800個(gè)圖像用于訓(xùn)練，100個(gè)圖像用于驗(yàn)證，100個(gè)圖像用于測試。 我們所有的模型都使用DIV2K訓(xùn)練圖像集進(jìn)行訓(xùn)練。 為了測試，我們使用四個(gè)標(biāo)準(zhǔn)基準(zhǔn)標(biāo)記數(shù)據(jù)集：Set14 [33]，B100 [20]，Manga109 [12]和DIV2K [26]。 請注意，DIV2K測試集的基本事實(shí)不公開。 因此，我們在DIV2K驗(yàn)證集上報(bào)告結(jié)果。 使用PSNR和SSIM評估超分辨率結(jié)果[30]。 按照[36]中的設(shè)置，我們只考慮PSNR和SSIM [30]在轉(zhuǎn)換的YCbCr顏色空間的Y通道上。至于產(chǎn)生低分辨率圖像的降解方法，在[18,36]之后，我們使用雙三次方 通過采用Matlab函數(shù)進(jìn)行插值模擬LR圖像。
4.2 訓(xùn)練細(xì)節(jié)
在單圖像超分辨率中，傳統(tǒng)的損耗函數(shù)是L2損失。在設(shè)置[18]之后，我們使用L1損失而不是L2來訓(xùn)練我們的網(wǎng)絡(luò)以獲得更好的收斂。在訓(xùn)練網(wǎng)絡(luò)期間，我們隨機(jī)提取大小為50 * 50的16 LR RGB patch作為批量輸入。按照[36]中的設(shè)置，我們通過水平或垂直翻轉(zhuǎn)并旋轉(zhuǎn)90°隨機(jī)增加補(bǔ)丁。Adam是優(yōu)化器。所有層的學(xué)習(xí)速率初始化為10-4，每200個(gè)時(shí)期減少一半。所有實(shí)驗(yàn)在4個(gè)GPU上并行運(yùn)行。Meta-SR的訓(xùn)練量表因子從1到4變化，步幅為0.1，比例因子的分布是均勻的。批次中的每個(gè)patch圖像具有相同的比例因子。我們的Meta-SR從頭開始使用Meta-Upscale模塊進(jìn)行培訓(xùn)。
表1.不同方法的任意upscale結(jié)果。EDSR基于殘余塊。RDN基于密集連接塊。測試數(shù)據(jù)集是B100 [20]。最佳結(jié)果是黑色。
4.3 對于任意尺度的單一模型
由于之前沒有一種方法專注于使用單一模型對任意比例因子的超分辨率，我們需要設(shè)計(jì)幾個(gè)基線。我們將我們的方法與這些基線進(jìn)行比較，以證明Meta-SR的優(yōu)越性。
假設(shè)我們想要用尺度r∈（1,4）放大LR圖像。在我們將其饋入網(wǎng)絡(luò)之前，我們可以用雙三次插值對它進(jìn)行放大。因此，第一個(gè)基線簡單地用雙三次插值將LR圖像放大為最終的HR圖像，稱為雙三次基線。第二種方法首先將LR圖像放大r次，然后將其輸入CNN以生成最終的HR圖像，分別稱為EDSR（x1）和RDN（x1）。這兩種方法非常耗時(shí)且難以投入實(shí)際使用。
第三個(gè)基線縮小生成的HR圖像。假設(shè)有一個(gè)網(wǎng)絡(luò)G實(shí)現(xiàn)k次upscale，因此，我們可以將LR圖像輸入到網(wǎng)絡(luò)G中以生成HR圖像。然后我們用比例因子r k縮小HR圖像以預(yù)測最終結(jié)果。如果k = 2，我們分別稱它們?yōu)镽DN（x2）和EDSR（x2）。對于比例r> k，我們必須在將LR圖像饋送到網(wǎng)絡(luò)之前將其放大。如果k = 4，那么它是第四個(gè)基線。我們分別稱它們?yōu)镽DN（x4）和EDSR（x4）。
為了證明權(quán)重預(yù)測和位置投影的優(yōu)越性，我們設(shè)計(jì)了第五個(gè)基線（BiConv）：我們使用插值來放大最終的特征圖，upscale模塊是所有比例因子的固定卷積層。第六個(gè)基線（Meta-Bi）將特征圖插值到所需的大小。我們使用權(quán)重預(yù)測網(wǎng)絡(luò)來預(yù)測每個(gè)比例因子的卷積濾波器的權(quán)重。我們一起訓(xùn)練所有這些模型的任意比例因子。
實(shí)驗(yàn)結(jié)果如表1所示。對于雙三次插值基線，簡單地用雙三次插值放大LR圖像不能向HR圖像引入任何紋理或細(xì)節(jié)。它的性能非常有限。對于RDN（x1）和EDSR（x1），它在大規(guī)模因子上具有低性能。升級后的輸入使其耗時(shí)。對于RDN（x4）和EDSR（x4），我們的Meta-RDN和RDN（x4）（或Meta-EDSR和EDSR（x4））之間的性能差異很大，因?yàn)楸壤蜃咏咏?.此外，EDSR（x4）并且當(dāng)標(biāo)度r> k時(shí)，RDN（x4）還必須在將LR圖像饋送到網(wǎng)絡(luò)之前對其進(jìn)行放大。
由于權(quán)重預(yù)測，Meta-Bi和我們的Meta-SR都可以為每個(gè)比例因子學(xué)習(xí)過濾器的最佳權(quán)重，而BiConv對所有比例因子共享相同的過濾器權(quán)重。實(shí)驗(yàn)結(jié)果表明，Meta-Bi明顯優(yōu)于BiConv，證明了權(quán)重預(yù)測模塊的優(yōu)越性。與此同時(shí)，我們的Meta-RDN也優(yōu)于MetaBi。對于特征圖上的插值，比例因子越大，有效的視圖視圖（FOV）越小。但是，每個(gè)比例因子在我們的MetaSR方法中具有相同的FOV。受益于提議的Meta-Upscale，我們的Meta-RDN幾乎可以在所有比例因子上實(shí)現(xiàn)比其他基線更好的性能。
4.4 推理時(shí)間
SISR是低級圖像處理任務(wù)，具有很高的實(shí)際應(yīng)用價(jià)值。在實(shí)際場景中，時(shí)間要求對SISR非常重要和嚴(yán)格。我們使用帶有Intel Xeon E5-2670v3@2.30GHz的Tesla P40測量計(jì)算效率。我們選擇B100 [20]作為測試數(shù)據(jù)集。在這里，我們不考慮圖像預(yù)處理時(shí)間。我們進(jìn)行實(shí)驗(yàn)來計(jì)算Meta-SR和基線中每個(gè)模塊的運(yùn)行時(shí)間。如圖2所示.與特征學(xué)習(xí)模塊相比，我們的重量預(yù)測模塊的運(yùn)行時(shí)間可以忽略不計(jì)。因?yàn)槲覀兊腗eta-Upscale模塊中只有兩個(gè)完全連接的層。
雖然當(dāng)我們與基線RDN（x1），RDN（x2）和RDN（x4）在比例r = 2上進(jìn)行比較時(shí)，我們的Meta-SR在單一尺度上的計(jì)算效率沒有優(yōu)勢。如果我們將比例因子增加到8或16，我們的Meta-SR比這些基線耗時(shí)少。此外，如果我們想要使用不同的比例因子（如普通圖像查看器）連續(xù)放大相同的圖像，我們的Meta-SR是最快的。由于我們的Meta-SR方法只需要為每個(gè)比例因子運(yùn)行Meta-Upscale模塊。RDN（x1）和RDN（x2）必須首先放大輸入圖像。然后，他們將每個(gè)比例因子的放大圖像提供給整個(gè)網(wǎng)絡(luò)。因此，我們聲稱我們的Meta-RDN比這些基線更有效并且具有更好的性能。
4.5 與 SOTA 方法的比較
我們將提出的meta-upscale模塊應(yīng)用到RDN 上，來替代典型的upscale 模塊。我們使用隨機(jī)比例因子r∈（1,4）在DIV2K訓(xùn)練圖像上訓(xùn)練我們的Meta-RDN。我們將Meta-RDN與相應(yīng)的基線RDN進(jìn)行比較[36]。為了公平比較，我們還嘗試微調(diào)我們的MetaRDN。然而，對每個(gè)單個(gè)整數(shù)比例因子進(jìn)行微調(diào)對最終性能的改善很少.RDN重新訓(xùn)練了每個(gè)比例因子的模型，使用不同的高級模塊，包括X2，X3，X4。我們測試我們的Meta-RDN在四個(gè)不同的基準(zhǔn)測試中具有PSNR和SSIM指標(biāo)。
如表3所示，與相應(yīng)的基線RDN相比，Meta-RDN實(shí)現(xiàn)了可比較甚至更好的結(jié)果[36]。由于提出的Meta-Upscale可以動態(tài)預(yù)測每個(gè)尺度的濾波器權(quán)重，由于權(quán)重預(yù)測，我們可以訓(xùn)練單個(gè)模型的多個(gè)比例因子，并在任意比例因子很好地工作。此外，我們的Meta-SR網(wǎng)絡(luò)只需要保存一個(gè)模型進(jìn)行測試，但典型的模型需要sav幾個(gè)型號。我們的Meta-SR網(wǎng)絡(luò)對于多個(gè)比例因子的SR更有效。
4.6視覺效果
在本節(jié)中，我們將在圖3和圖4中顯示視覺結(jié)果。如圖4所示，我們將RDN（x1），RDN（x2）和RDN（x4）與任意比例因子的超分辨率進(jìn)行比較。我們的Meta-SR在結(jié)構(gòu)部件方面具有更好的性能。由于RDN（x1），RDN（x2）和RDN（x4）對所有比例因子的濾波器權(quán)重相同，因此這些基線方法生成的SR圖像的紋理比我們的Meta-RDN差。由于權(quán)重預(yù)測，我們的Meta-SR可以為每個(gè)比例因子預(yù)測一組獨(dú)立權(quán)重。
5 總結(jié)
我們提出了一個(gè)名為MetaUpscale的新型高級模塊，用單個(gè)模型解決任意比例因子的超分辨率。建議的meta-upscale檔模塊可以動態(tài)預(yù)測濾波器的權(quán)重。對于每個(gè)比例因子，建議的Meta-Upscale模塊為高級模塊生成一組權(quán)重。通過在特征圖和濾波器之間進(jìn)行卷積運(yùn)算，我們生成任意大小的HR圖像。由于權(quán)重預(yù)測，我們可以訓(xùn)練單個(gè)模型用于任意比例因子的超分辨率。特別是，我們的Meta-SR可以使用多個(gè)比例因子連續(xù)放大相同的圖像。
總結(jié)
以上是生活随笔為你收集整理的【图像超分辨率】Meta-SR: A Magnification-Arbitrary Network for Super-Resolution的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： css中position是什么意思
- 下一篇： 【图像超分辨率】SR for RS vi