【图像超分辨率】Meta-SR: A Magnification-Arbitrary Network for Super-Resolution
Meta-SR: A Magnification-Arbitrary Network for Super-Resolution
- 摘要
- 1. 介紹
- 2. 相關工作
- 2.1 單圖像的超分辨率
- 2. 2 meta-learning
- 3. 方法
- 3.1. Meta-Upscale 的簡單描述
- 位置投影
- 權重預測
- 特征映射
- 3.2. Architecture Details of Meta-SR
- 4 實驗
- 4.1 數據集和評估方法
- 4.2 訓練細節
- 4.3 對于任意尺度的單一模型
- 4.4 推理時間
- 4.5 與 SOTA 方法的比較
- 4.6視覺效果
- 5 總結
摘要
由于深度卷積神經網絡（DCNN）的發展，最近對超分辨率的研究取得了很大成就。然而，長期以來忽略了任意比例因子的超分辨率。以前的研究人員認為超分辨率不同比例因子作為獨立任務。他們訓練具體在計算中效率低的每個比例因子的模型，并且先前的工作僅考慮幾個整數比例因子的超分辨率。
在這項工作中，我們提出了一種名為Meta-SR的新方法來首先解決使用單個模型超分辨任意比例因子（包括非整數比例因子）。在Meta-SR中，使用提出的Meta-Upscale 模塊代替傳統的上采樣模塊。對于任意比例因子，Meta Upscale模塊通過將比例因子作為輸入來動態預測上采樣的過濾器的權重并使用這些權重以生成任意大小的HR圖像。任何低分辨率圖像，我們的Meta-SR僅使用單個模型可以持續的放大在任意尺度的圖像。我們通過對單個圖像上廣泛使用的基準數據集的廣泛實驗來評估所提出的方法超分辨率。實驗結果顯示了我們的Meta-Upscale的優越性。總的來說，本文提出了一個 Meta-Upscale 代替傳統的上采樣，Meta Upscale模塊通過將比例因子作為輸入來動態預測上采樣的過濾器的權重并使用這些權重以生成任意大小的HR圖像。
1. 介紹
單圖像超分辨率（SISR）旨在從低分辨率（LR）圖像來重構視覺上自然的高分辨率圖像。它在安全和監控成像方面有很廣泛的應用[8,37]，醫學成像[23]，以及衛星和航空成像[32]。在現實世界的情景，這是非常普遍和必要的SISR使用用戶自定義比例因子放大LR圖像。與普通圖像查看器一樣，用戶可以通過滾動來任意放大觀看的圖像鼠標滾輪可查看所查看圖像的本地詳細信息。超分辨率的定制比例因子也可以是任何正數。它不應該固定為某些整數。因此，一種解決超分辨率任意比例因子的方法對于SISR有著更實際的用途。如果我們為每個正比例因子訓練特定模型，則不可能存儲所有這些模型而且計算效率低下。因此，更重要的是問題是我們能否使用單一模型去解決超分辨率任意比例因子的問題。
然而，眾所周知，大多數現有的SISR方法只考慮某些整數比例因子（X2，X3，X4）的超分辨率。并且這些方法將不同比例因子的超分辨率視為獨立任務。以前的工作很少討論如何實現任意比例因子的超分辨率。至于最新的SISR方法，如ESPCNN [22]，EDSR [18]，RDN和RCAN [35]，這些方法用sup-pixel卷積[18]放大網絡末端的特征圖。不幸的是，這些方法必須為每個比例因子設計一個特定的上采樣模塊。每個上采樣模塊只能使用固定的整數比例因子放大圖像。并且sup-pixel卷積僅適用于整數比例因子。這些缺點限制了使用SISR對現實世界的情景。雖然，我們可以通過適當地放大輸入圖像來實現非整數比例因子的超分辨率。然而，重復計算和升級輸入使得這些方法非常耗時并且難以投入實際使用。
為了解決這些缺點并使SISR更具實用性，需要一種用單一模型超分辨任意比例因子的有效且新穎的方法。 如果我們想用單個模型求解任意比例因子的超分辨率，則每個比例因子都需要一組用于上采樣濾波器的權重。 受meta-learn的啟發，我們提出了一個網絡來動態預測每個比例因子的濾波器權重。 因此，我們不再需要為每個比例因子存儲權重。 與存儲每個比例因子的權重相比，存儲小權重預測網絡更方便。
我們稱這種方法為Meta-SR。我們的Meta-SR有兩個模塊，即特征學習模塊和Meta-Upscale模塊。使用提出的meta-upscale模塊來取代傳統的上采樣模塊。對于生成的HR圖像上的每個像素（i; j），我們基于比例因子r將其投影到LR圖像上。投影坐標是LR圖像上的（[i/r],[j/r]）。我們的meta-upscale模塊將此坐標相關和與比例相關的矢量作為輸入，并預測濾波器的權重。對于所生成的SR圖像上的每個像素（i; j），在LR圖像上的對應投影坐標處的特征與濾波器的權重之間進行卷積運算，以在（i; j）上生成像素值。所提出的meta-upscale模塊可以通過將一系列與尺度相關的和與坐標相關的矢量作為輸入來動態地預測卷積濾波器的變量數量。通過這種方式，我們的meta-upscale模塊可以使用單個模型放大任意比例因子的特征圖。實際上，我們的Meta-Upscale模塊可以通過替換典型的上采樣模塊，并入大多數以前的方法[36,35,18]。
我們針對單個圖像超分辨率在多個基準數據集上進行了大量實驗，以評估我們的方法。 我們證明：
2. 相關工作
2.1 單圖像的超分辨率
早期的SISR方法是基于范例或字典的超分辨率[3,27,25]。 這些方法需要外部圖像的數據庫，并通過傳輸數據庫圖像中的相關補丁來生成高分辨率圖像。 性能受數據庫或字典的大小限制。這些傳統方法非常耗時且性能有限。
隨著深度學習的快速發展，人們提出了許多基于深度學習的方法，Dong等人首先提出了一種三層卷積神經網絡。 [4]稱為SRCNN。 SRCNN在進入網絡之前用雙三次插值對低分辨率圖像進行了升級。 Kim等人[14]增加了網絡的深度并使用了殘差學習來使得訓練穩定。 Kim等人[15]首先介紹了對SISR的遞歸學習，稱為DRCN。 泰等人[24]通過引入具有共享參數的遞歸塊來提出DRRN，以使訓練穩定。 泰等人還介紹了一個名為Memnet [25]的內存塊。 然而，這些網絡的輸入具有與最終高分辨率圖像相同的尺寸，這些方法是耗時的。
Shi等人[22]首先通過提出子像素卷積層提出了實時超分辨率算法ESPCNN。 ESPCNN [22]在網絡末端對圖像進行了upscale，以減少計算量。 Ledig[16]引入了殘差塊和對抗性學習[7,6]，使生成的圖像更加真實和自然。 Lim等人 [18]使用稱為EDSR的更深和更廣泛的剩余網絡。 EDSR [18]移除了BN層并使用殘余縮放來加速訓練。 Lim還首先訓練了多個尺度因子（X2，X3，X4）的單一模型，稱為MDSR。 MDSR針對每個比例因子具有不同的圖像處理塊和高級模塊。張等人。 [36]提出了殘余密集網絡（RDN），它結合了殘余塊的優點和密集的連接塊。然后Zhang等人 [35]將剩余渠道的注意力引入了SR框架。Wang等人 [28]提出了一種新穎的深空特征變換，以恢復以分類先驗為條件的紋理。 DBPN [10]和DSRN [9]都利用了低分辨率圖像和高分辨率圖像的相互依賴性。 DBPN利用迭代上采樣和下采樣層為每個階段提供錯誤反饋機制。 Jo等人。 [13]介紹了用于視頻超分辨率的動態上采樣濾波器。動態上采樣濾波器是局部地并且動態地生成的，這取決于LR幀中每個像素的時空鄰域。
與此工作不同，我們的Meta-Upscale模塊根據SISR的變化比例因子預測了卷積核的權重。此外，我們的Meta-Upscale可以生成變量數，并且卷積內核的變量權重取決于比例因子。我們的meta-upscale模塊的輸入不是使用時空特征塊，而是與尺度相關且與坐標相關的矢量。而且，我們的Meta-Upscale提出模塊來解決任意尺度。
2. 2 meta-learning
元學習或學習-學習是觀察不同機器學習方法如何在廣泛的學習任務中執行，然后從這種經驗或元數據中學習的科學。 元學習主要用于less-shot/zero-shot學習[1,21]和轉移學習[29]。 元學習的詳細調查可以在[17]中找到。 這里我們只討論與權重預測相關的工作。
權重預測是神經網絡中的元學習策略之一[17]。神經網絡的權重由另一個神經網絡預測，而不是直接從訓練數據集中學習。Cai等人[2]預測分類器的參數W適應新的類別而沒有反向傳播用于less-shot學習。根據支持集的記憶來預測參數。在物體檢測任務中，胡等人 [11]提出從box重量預測mask重量。楊等人[31]提出了一種新穎靈活的物體檢測錨定機制。可以從任意定制的先前框動態生成錨函數。在視頻超級分辨率中，Jo等人。 [13]提出了一種動態上采樣濾波器。動態上采樣濾波器是局部地并且動態地生成的，這取決于多個LR幀中的每個像素的時空鄰域。與此工作不同，我們利用元學習來預測每個比例因子的濾波器權重。我們不再需要為每個比例因子存儲濾波器的權重。我們的Meta-SR可以訓練單個模型以實現任意比例的超分辨率。它實用方便，高效。
最相關的工作是參數化圖像操作器[5]，它利用權重預測來動態調整圖像操作的深度網絡權重（圖像過濾或圖像恢復）。 與此項工作不同，我們的Meta-SR側重于通過將坐標和比例因子作為輸入來重新構建upscale模塊。
3. 方法
在本節中，我們將描述所提出的模型體系結構。 如圖1所示。 在我們的Meta-SR中，特征學習模塊提取低分辨率圖像的特征，而Meta-Upscale模塊則使用任意比例因子對特征圖進行upscale。 我們首先介紹我們的Meta Upscale，然后我們描述了它的架構細節。
圖1.基于RDN的Meta-SR實例[36]。 我們還稱網絡為Meta-RDN。 （a）由RDN [36]提出的殘差密集區塊。 （b）特征學習模塊，它為任意比例因子生成共享特征映射。（c）對于每個像素SR圖像，我們將其投影到LR圖像上。 建議的Meta Upscale模塊采用一系列與坐標相關且與尺度相關的模塊矢量作為輸入來預測卷積濾波器的權重。 通過進行卷積運算，我們的Meta-Upscale最終生成了HR圖像。
3.1. Meta-Upscale 的簡單描述
給定從相應的原始HR圖像IHR縮小的LR圖像ILR，SISR的任務是生成其ground truth為IHR的HR圖像ISR。 我們選擇RDN [36]作為我們的特色學習模塊。 如圖1（b）所示。 在這里，我們專注于描述 Meta Upscale模塊。
設FLR表示特征學習模塊提取的特征。 假設比例因子是r。 對于SR圖像上的每個像素（i; j），我們認為它是由LR圖像上的像素（i’; j’）的特征和相應濾波器的權重決定的。 從這個角度來看，upscale模塊可以看作映射ISR和FLR的映射函數。 首先，高級模塊應將像素（i; j）映射到像素（i’; j’）。 然后，高級模塊需要特定的濾波器來映射像素的特征（i’; j’）以生成該像素（i; j）的值。 我們將upscale模塊制定為：
其中ISR（i; j）表示SR圖像上（i; j）處的像素值。 FLR（i’; j’）表示LR圖像上的像素（i’; j’）的特征。 W（i; j）是像素（i; j）的濾波器的權重。 Φ（:)是用于計算像素的特征映射函數值。
總結：r: 網絡放大的比例因子（ i，j）: SR 圖像上的像素 （i’，j’）: LR圖像上的像素
由于SR圖像上的每個像素對應于濾波器。 對于不同的比例因子，濾波器的數量和濾波器的權重都與其他比例因子不同。 為了用單個模型求解任意比例因子的超分辨率，我們提出Meta Upscale模塊基于比例因子和坐標信息動態預測權重W（i; j）。
對于Meta-Upscale模塊，有三個重要功能。 即，位置投影，權重預測和特征映射。 如圖2所示。 位置投影將像素投影到LR圖像上。 并且權重預測模塊預測SR圖像上的每個像素的濾波器的權重。 最后，特征映射功能將LR圖像上的特征映射到預測的權重回到SR圖像來計算像素的值。
位置投影
對于SR圖像上的每個像素（i; j），位置投影是在LR圖像上找到（i’; j’）。 我們認為像素（i; j）的值由LR圖像上的（i’; j’）的特征決定。 我們使用以下投影運算符來映射這兩個像素：
其中T是轉換函數。 [ ]是向下取整功能。
位置投影可以看作是一種可變分數步幅[19]機制，它可以用任意比例因子放大特征圖。 如圖2所示，如果比例因子r是2，則每個像素（i’; j’）確定兩個點。 但是，如果比例因子是非整數，例如r = 1.5，則一些像素確定兩個像素，一些像素確定一個像素。 對于SR圖像上的每個像素（i; j），我們可以在LR圖像上找到一個獨特的像素（i’; j’），我們認為這兩個像素最相關。
用非整數采樣因子r = 1.5來高檔特征映射的示意圖。在這里，我們只顯示了一維案例以簡化。
權重預測
對于典型的upscale模塊，它預定義每個比例因子的過濾器數量，并從訓練數據集中學習W. 與典型的upscale模塊不同，我們的Meta-Upscale模塊使用網絡來預測過濾器的權重。 我們可以將權重預測表示為：
其中W（i; j）是SR圖像上像素（i; j）的濾波器權重，vij是與i相關的矢量;?（.）是權重預測網絡，并將vij作為輸入。 θ是權重預測網絡的參數。
至于像素（i; j）為?（.）的輸入，正確的選擇是對（i’; j’）的相對偏移，可以制定vij 如：
為了將多個比例因子一起訓練，最好將比例因子添加到vij中以區分不同比例因子的權重。 例如，如果我們想要使用比例因子2和4來放大圖像，我們將它們分別表示為ISR 2和ISR4。 ISR 2上的像素（i; j）將具有與ISR4上的像素（2i; 2j）相同的濾波器權重和相同的投影坐標。 那意味著ISR 2是I4SR的子圖像。 這會限制性能。 因此，我們將vij重新定義為：
特征映射
我們從FLR中提取LR圖像上的（i’; j’）特征。 我們用權重預測網絡預測濾波器的權重。 我們需要做的最后一件事是將特征映射到SR圖像上的像素值。 我們選擇矩陣乘積作為特征映射函數。 我們將Φ（:)表示為：
3.2. Architecture Details of Meta-SR
我們的Meta-SR網絡中有兩個模塊，即功能學習模塊和meta-upscale模塊。 大多數最先進的方法[22,36,18,16,34]可以被選為我們的特征學習模塊。 通過簡單地替換傳統的高級模塊（子像素卷積[22]），可以將建議的meta-upscale模塊應用于這些網絡。 我們選擇最先進的SISR網絡，稱為殘余密集網絡（RDN [36]）作為我們的特征學習模塊。 請注意，我們的Meta-SR也可以與EDSR或MDSR [18]或RCAN [35]一起使用。 對于RDN [36]，有3個卷積層和16個殘余密集塊（RDB）。 每個RDB有8個卷積層。 密集塊的增長率為64.提取的特征映射具有64個通道。 詳細結構如圖1所示。 更多細節可以在RDN [36]中找到.
對于Meta-Upscale模塊，它由幾個完全連接的層和幾個激活層組成。 每個輸入將輸出一組具有形狀的權重（inC; outC; k; k）。 這里inC是提取的特征圖的通道數，而文中的inC = 64。 outC是預測的HR圖像的通道數。 通常，對于彩色圖像，outC = 3，對于灰度圖像，outC = 1。 k表示卷積核的大小.
這里我們要描述所提出的meta-upscale模塊的參數，包括隱藏神經元的數量，完全連接層的數量，激活函數的選擇和卷積層的內核大小。 由于輸出大小（k2×inC×outC）與輸入大小（3）相比非常大，我們將隱藏神經元的數量設置為256.繼續增加隱藏神經元的數量沒有任何改善。 激活功能是ReLU。 我們進行實驗，發現完全連接層的最佳數量是2，速度和性能的平衡。 至于內核大小，3×3是最好的大小。 在大特征映射上進行5×5卷積運算更耗時。
4 實驗
4.1 數據集和評估方法
在NTIRE 2017單圖像超分辨率挑戰中，新發布了高質量的數據集DIV2K [26]。 DIV2K數據庫中有1000個圖像，800個圖像用于訓練，100個圖像用于驗證，100個圖像用于測試。 我們所有的模型都使用DIV2K訓練圖像集進行訓練。 為了測試，我們使用四個標準基準標記數據集：Set14 [33]，B100 [20]，Manga109 [12]和DIV2K [26]。 請注意，DIV2K測試集的基本事實不公開。 因此，我們在DIV2K驗證集上報告結果。 使用PSNR和SSIM評估超分辨率結果[30]。 按照[36]中的設置，我們只考慮PSNR和SSIM [30]在轉換的YCbCr顏色空間的Y通道上。至于產生低分辨率圖像的降解方法，在[18,36]之后，我們使用雙三次方 通過采用Matlab函數進行插值模擬LR圖像。
4.2 訓練細節
在單圖像超分辨率中，傳統的損耗函數是L2損失。在設置[18]之后，我們使用L1損失而不是L2來訓練我們的網絡以獲得更好的收斂。在訓練網絡期間，我們隨機提取大小為50 * 50的16 LR RGB patch作為批量輸入。按照[36]中的設置，我們通過水平或垂直翻轉并旋轉90°隨機增加補丁。Adam是優化器。所有層的學習速率初始化為10-4，每200個時期減少一半。所有實驗在4個GPU上并行運行。Meta-SR的訓練量表因子從1到4變化，步幅為0.1，比例因子的分布是均勻的。批次中的每個patch圖像具有相同的比例因子。我們的Meta-SR從頭開始使用Meta-Upscale模塊進行培訓。
表1.不同方法的任意upscale結果。EDSR基于殘余塊。RDN基于密集連接塊。測試數據集是B100 [20]。最佳結果是黑色。
4.3 對于任意尺度的單一模型
由于之前沒有一種方法專注于使用單一模型對任意比例因子的超分辨率，我們需要設計幾個基線。我們將我們的方法與這些基線進行比較，以證明Meta-SR的優越性。
假設我們想要用尺度r∈（1,4）放大LR圖像。在我們將其饋入網絡之前，我們可以用雙三次插值對它進行放大。因此，第一個基線簡單地用雙三次插值將LR圖像放大為最終的HR圖像，稱為雙三次基線。第二種方法首先將LR圖像放大r次，然后將其輸入CNN以生成最終的HR圖像，分別稱為EDSR（x1）和RDN（x1）。這兩種方法非常耗時且難以投入實際使用。
第三個基線縮小生成的HR圖像。假設有一個網絡G實現k次upscale，因此，我們可以將LR圖像輸入到網絡G中以生成HR圖像。然后我們用比例因子r k縮小HR圖像以預測最終結果。如果k = 2，我們分別稱它們為RDN（x2）和EDSR（x2）。對于比例r> k，我們必須在將LR圖像饋送到網絡之前將其放大。如果k = 4，那么它是第四個基線。我們分別稱它們為RDN（x4）和EDSR（x4）。
為了證明權重預測和位置投影的優越性，我們設計了第五個基線（BiConv）：我們使用插值來放大最終的特征圖，upscale模塊是所有比例因子的固定卷積層。第六個基線（Meta-Bi）將特征圖插值到所需的大小。我們使用權重預測網絡來預測每個比例因子的卷積濾波器的權重。我們一起訓練所有這些模型的任意比例因子。
實驗結果如表1所示。對于雙三次插值基線，簡單地用雙三次插值放大LR圖像不能向HR圖像引入任何紋理或細節。它的性能非常有限。對于RDN（x1）和EDSR（x1），它在大規模因子上具有低性能。升級后的輸入使其耗時。對于RDN（x4）和EDSR（x4），我們的Meta-RDN和RDN（x4）（或Meta-EDSR和EDSR（x4））之間的性能差異很大，因為比例因子接近1.此外，EDSR（x4）并且當標度r> k時，RDN（x4）還必須在將LR圖像饋送到網絡之前對其進行放大。
由于權重預測，Meta-Bi和我們的Meta-SR都可以為每個比例因子學習過濾器的最佳權重，而BiConv對所有比例因子共享相同的過濾器權重。實驗結果表明，Meta-Bi明顯優于BiConv，證明了權重預測模塊的優越性。與此同時，我們的Meta-RDN也優于MetaBi。對于特征圖上的插值，比例因子越大，有效的視圖視圖（FOV）越小。但是，每個比例因子在我們的MetaSR方法中具有相同的FOV。受益于提議的Meta-Upscale，我們的Meta-RDN幾乎可以在所有比例因子上實現比其他基線更好的性能。
4.4 推理時間
SISR是低級圖像處理任務，具有很高的實際應用價值。在實際場景中，時間要求對SISR非常重要和嚴格。我們使用帶有Intel Xeon E5-2670v3@2.30GHz的Tesla P40測量計算效率。我們選擇B100 [20]作為測試數據集。在這里，我們不考慮圖像預處理時間。我們進行實驗來計算Meta-SR和基線中每個模塊的運行時間。如圖2所示.與特征學習模塊相比，我們的重量預測模塊的運行時間可以忽略不計。因為我們的Meta-Upscale模塊中只有兩個完全連接的層。
雖然當我們與基線RDN（x1），RDN（x2）和RDN（x4）在比例r = 2上進行比較時，我們的Meta-SR在單一尺度上的計算效率沒有優勢。如果我們將比例因子增加到8或16，我們的Meta-SR比這些基線耗時少。此外，如果我們想要使用不同的比例因子（如普通圖像查看器）連續放大相同的圖像，我們的Meta-SR是最快的。由于我們的Meta-SR方法只需要為每個比例因子運行Meta-Upscale模塊。RDN（x1）和RDN（x2）必須首先放大輸入圖像。然后，他們將每個比例因子的放大圖像提供給整個網絡。因此，我們聲稱我們的Meta-RDN比這些基線更有效并且具有更好的性能。
4.5 與 SOTA 方法的比較
我們將提出的meta-upscale模塊應用到RDN 上，來替代典型的upscale 模塊。我們使用隨機比例因子r∈（1,4）在DIV2K訓練圖像上訓練我們的Meta-RDN。我們將Meta-RDN與相應的基線RDN進行比較[36]。為了公平比較，我們還嘗試微調我們的MetaRDN。然而，對每個單個整數比例因子進行微調對最終性能的改善很少.RDN重新訓練了每個比例因子的模型，使用不同的高級模塊，包括X2，X3，X4。我們測試我們的Meta-RDN在四個不同的基準測試中具有PSNR和SSIM指標。
如表3所示，與相應的基線RDN相比，Meta-RDN實現了可比較甚至更好的結果[36]。由于提出的Meta-Upscale可以動態預測每個尺度的濾波器權重，由于權重預測，我們可以訓練單個模型的多個比例因子，并在任意比例因子很好地工作。此外，我們的Meta-SR網絡只需要保存一個模型進行測試，但典型的模型需要sav幾個型號。我們的Meta-SR網絡對于多個比例因子的SR更有效。
4.6視覺效果
在本節中，我們將在圖3和圖4中顯示視覺結果。如圖4所示，我們將RDN（x1），RDN（x2）和RDN（x4）與任意比例因子的超分辨率進行比較。我們的Meta-SR在結構部件方面具有更好的性能。由于RDN（x1），RDN（x2）和RDN（x4）對所有比例因子的濾波器權重相同，因此這些基線方法生成的SR圖像的紋理比我們的Meta-RDN差。由于權重預測，我們的Meta-SR可以為每個比例因子預測一組獨立權重。
5 總結
我們提出了一個名為MetaUpscale的新型高級模塊，用單個模型解決任意比例因子的超分辨率。建議的meta-upscale檔模塊可以動態預測濾波器的權重。對于每個比例因子，建議的Meta-Upscale模塊為高級模塊生成一組權重。通過在特征圖和濾波器之間進行卷積運算，我們生成任意大小的HR圖像。由于權重預測，我們可以訓練單個模型用于任意比例因子的超分辨率。特別是，我們的Meta-SR可以使用多個比例因子連續放大相同的圖像。
總結
以上是生活随笔為你收集整理的【图像超分辨率】Meta-SR: A Magnification-Arbitrary Network for Super-Resolution的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： css中position是什么意思
- 下一篇： 【图像超分辨率】SR for RS vi