Multi-scale Residual Network for Image Super-Resolution

• • 摘要
  • 1 介紹
  • • 本文對應的解決方案
    • 本文的貢獻
  • 2 相關工作
  • • 2.1 單圖像的超分辨率（Single-image Super-resolution）
    • 2.2 特征提取塊（Feature Extraction Block）
  • 3 提出的方法
  • • 3.1 多尺度殘差塊（MSRB）
    • • 多尺度特征融合（Multi-scale Features Fusion）
      • 局部殘差學習（Local Residual Learning）
    • 3.2 層次特征融合結構(HFFS)
    • 3.3 圖像重建（Image Reconstruction）
  • 4 實驗
  • 總結

摘要

最近的研究表明，深度神經網絡可以顯著提高單幅圖像超分辨率的質量。目前的研究傾向于使用更深的卷積神經網絡來提高性能。然而，盲目地增加網絡的深度并不能有效地改善網絡。更糟糕的是，隨著網絡深度的增加，訓練過程中出現的問題也越來越多，需要更多的訓練技巧。
在本文中，我們提出了一種新型的多尺度殘差網絡(MSRN)來充分挖掘圖像特征，它的性能優于大多數最先進的方法。基于殘差塊，我們引入不同大小的卷積核來自適應地檢測不同尺度的圖像特征。同時，我們讓這些特征相互作用，以獲得最有效的圖像信息，我們稱這種結構為多尺度殘差塊（MSRB）。此外，每個MSRB的輸出都會被用作全局特征融合的層次特征。最后，所有這些特征被送到重建模塊，以恢復高質量的圖像。

1 介紹

作者從重構實驗開始，如重建了一些經典的SR模型，如SRCNN [1]， EDSR[9]和SRResNet[8]，發現現有的SR模型存在以下問題：

• 很難復現：大多數高級模型對網絡的細微變化敏感，需要很高的訓練技巧，同樣的模型也可以通過使用不同的訓練技巧實現不同的性能，如權重初始化、梯度截斷。數據規范化等。而其性能的提高很大程度是依賴與訓練的技巧，而不是模型。
• 架構的改變特征利用不足：大多數方法為了提高網絡的性能而盲目地增加網絡的深度，而忽略了充分利用LR圖像的特征。隨著網絡深度的增加，特征在傳輸過程中逐漸消失。如何充分利用這些特征，是網絡重構高質量圖像的關鍵。
• 可擴展性不足：對LR圖像進行預處理再輸入，增加了計算復雜性而且會產生可見的偽影；最近的方法直接在LR圖像放大重建，但其SR模型很難適應任意的縮放因子。

本文對應的解決方案

• 對于問題1，作者的模型不需要特殊的權重初始化方法或其他訓練技巧；
• 對于問題2，提出多尺度殘差塊MSRB（以檢測不同尺度下的特征，3.1節）和分級特征融合結構HFFS（充分利用輸入圖像的特征并有益于重構，3.2節）；
• 對于問題3，作者設計了一種良好的圖像重構結構，它可以很容易地擴展到任何向上擴展的因子，只需進行少量調整（3.2節和3.3節）。

本文提出了一種新的多尺度殘差網絡(MSRN)來充分利用圖像的特征：

• （1）使用MSRB來獲取不同尺度的圖像特征（局部多尺度特征）。
• （2）將每個MSRB的輸出組合起來進行全局特征融合。
• （3）將局部多尺度特征與全局特征相結合，最大限度地利用LR圖像特征，徹底解決特征在傳輸過程中消失的問題。
• （4）引入了一個以1×1卷積核為瓶頸層用于獲得全局特征融合。
• （5）本文還設計了一個簡單而高效重建結構可以很容易地實現多尺度的放大。

本文的貢獻

• 與以往的工作不同，本文提出了一種新型的多尺度殘差塊(MSRB)，它不僅可以自適應地檢測圖像特征，還可以實現不同尺度的特征融合。這是第一個基于殘差結構的多尺度模塊，易于訓練并超越現有的模塊。
• 將本文的工作擴展到計算機視覺任務中，結果超過了那些沒有深層網絡結構的SISR的最先進方法。此外，MSRB還可以用于其他修復任務中的特征提取。
• 本文提出了一個簡單的分層特征融合（HFFS）和圖像重建的架構。它可以很容易地擴展到任何升級因子。

2 相關工作

2.1 單圖像的超分辨率（Single-image Super-resolution）

這部分對此前的網絡模型，如SRCNN、FSRCNN、ESPCN、DRCN、DRNN、LapSRN、SRResNet和EDSR，這些網絡模型越來越深并且難以訓練。

2.2 特征提取塊（Feature Extraction Block）

基于殘差結構，本文引入了不同大小的卷積核，用于自適應檢測不同尺度下的圖像特征。同時，不同尺度的特征之間采用跳轉連接，使特征信息可以相互共享和重用。這有助于充分挖掘圖像的局部特征。此外，塊末的1×1卷積層可以作為瓶頸層，有助于特征融合，降低計算復雜度。

3 提出的方法

低分辨率圖像LR由高分辨率圖像HR經過雙三次插值得到，將圖像轉換為YCrCb彩色圖像但值在Y通道上訓練圖像，對于顏色通道為C的圖像，其卷積大小為W×H×C

最終目標是要學習低分辨率到高分辨率的映射函數，給定訓練集要解決以下問題：

本文使用的損失函數為L1函數，定義如下：

圖2是本文提出的模型的結構，將LR圖像作為輸入，通過網絡直接上采樣到高分辨率空間。模型可以分為兩部分：特征提取模塊和圖像重建模塊。其中，特征提取模塊由多尺度殘差塊（MSRB）和層次特征融合結構（HFFS）兩種結構組成。

網絡的詳細描述：使用LR圖像直接作為輸入。

第一層卷積 M_0，M0? 是用做初步的特征提取

之后的M1?到Mn? 的內部結構是一模一樣的，使用3×3和5×5卷積核進行多尺度特征提取，然后每個Mi?1? 到 Mi?使用殘差連接，構成MSRB塊，其包括多尺度特征融合和局部殘差學習。（這是文章最重要的部分，就是多尺度的概念，這里的多尺度指的是卷積核大小）

然后，將每個 Mi? 的輸出進行融合，使用1x1卷積將融合到的特征通道壓縮成我們 要的通道數量（與想要重建圖像的大小有關），即層次特征融合結構(HFFS)

最后，使用PixelShuffle(像素重組)ESPCN里的技術將圖像擴大尺寸，再經過一個卷積層，得到最后的重建圖像。

3.1 多尺度殘差塊（MSRB）

為了檢測出不同尺寸的圖像特征，本文提出了多尺度殘差塊（MSRB），包括兩個部分：多尺度特征融合和局部殘差學習。

設M表示送到MSRB的特征圖的數量（即通道數），因此：

第一個卷積層的輸入和輸出有M個通道，經過concat融合后（將3x3和5x5的卷積層的輸出通道串聯起來）

則第二個卷積層輸入或輸出有 2M 個通道；

然后再經過concat融合后，得到 4M 個通道 ，送到一個1×1 卷積層將這些特征映射的數量（通道的數量）減少到 M。

最后，將MSRB塊的輸入殘差連接到其輸出（即殘差連接，使得計算復雜度大大降低，有利于提高網絡的效率）。
其中，1、2、3為多尺度特征融合；4為局部殘差學習。
最終，MSRB的輸入和輸出具有相同數量的特征映射（即相同的通道數量）

多尺度特征融合（Multi-scale Features Fusion）

本文構建了一個雙路網絡（two-bypass network），不同的路徑使用不同的卷積核，這樣一來，這些路徑之間的信息可以相互共享，從而能夠檢測不同尺度的圖像特征，該操作可以定義為

將輸入MSRB的特征圖的數量設為為M個，所以第一卷積層的輸入和輸出有M個特征圖，而第二卷積層的輸入或輸出都有2M個特征圖。所有這些特征圖都會被連在一起，然后送到一個1×1的卷積層。這一層將這些特征圖的數量減少到M，因此MSRB的輸入和輸出具有相同數量的特征圖。這種獨特的架構允許多個MSRB一起使用。

局部殘差學習（Local Residual Learning）

為了使網絡更加復雜，在MSRB中采用了殘差學習，進一步將多尺度殘差塊描述為：

Mn和Mn-1分別表示MSRB的輸入和輸出，上式的運算是通過捷徑連接和元素的方式進行的。局部殘差學習的使用使得計算復雜度大大降低，同時，網絡的性能也得到了提高。

3.2 層次特征融合結構(HFFS)

對于SISR問題，輸入和輸出圖像是高度相關的；隨著網絡深度的增加，圖像的特征在傳輸過程中逐漸消失，可使用跳躍連接這一最簡單、最有效的方法來解決這樣問題；隨著深度的增加，網絡的空間表達能力逐漸下降，而語義表達能力逐漸增強；每個MSRB的輸出都包含不同的特性。因此，作者提出了一個簡單的分級特征融合結構（HFFS），將MSRB的所有輸出發送到網絡的末端進行重構。但帶來兩個問題：

MSRB的輸出特征圖包含了大量的冗余信息

直接將它們用于重構會大大增加計算復雜度
所以， 連接（ concatenation）操作之后，再使用具有1×1內核的卷積層，以自適應地從這些層次化特征中提取有用的信息。
在這項工作中，本文利用了一種簡單的層次化特征融合結構，將MSRB的所有輸出發送到網絡的末端進行重建。一方面，這些特征圖包含大量的冗余信息，另一方面，直接使用它們進行重建將大大增加計算復雜度。為了自適應地從這些分層特征中提取有用的信息，我們引入了一個瓶頸層，這對于1×1內核的卷積層來說是必不可少的。層次特征融合結構（HFFS）的輸出可以表述為：

其中Mi表示第i個MSRB的輸出，[M0,M1,M2…Mn]表示級聯操作。

3.3 圖像重建（Image Reconstruction）

之前的工作非常重視學習LR和HR圖像之間的映射函數，將LR圖像通過雙立方上采樣到與HR相同的維度。然而，這種方法引入了冗余信息，增加了計算復雜性。受其啟發，最近的工作傾向于使用未經放大的LR作為輸入圖像來訓練一個可以直接上采樣到HR維度的網絡。相反，很難找到一個SR模型，它只需對網絡架構進行微小的調整，就能遷移到任何上采樣因子。而且，這些網絡大多傾向于一個固定的上采樣因子（x4），沒有給出遷移到其他上采樣因子的具體指令。

PixelShuffle[2]和解卷積層在SISR任務中應用廣泛。如圖4所示，有幾種常見的重建模塊。以升標因子為×4為例，這些模塊均采用pixelShuffle或解卷積操作，以升標因子2為基準，逐步重建SR圖像。然而，隨著升標因子的增加（如×8），網絡變得更深，伴隨著更多不確定的訓練問題。此外，這些方法不能在奇數的升標因子上工作，而人們可能會期望升標因子的緩慢增長(如×2,×3,×4,×5)，而不是指數增長。

為此，我們提出了一種新的重建模塊(圖4(ours))，這是一種簡單、高效、靈活的結構。多虧了pixelshuffle[2]，我們的模塊可以通過輕微的調整遷移到任何上調因子。在表1.中，我們提供了關于重建結構的詳盡配置信息。在網絡中，對于不同的升標因子，只需要改變M的值，其變化可以忽略不計。實驗表明，這種結構在不同的升標因子上表現良好。

4 實驗

訓練和測試都是在YCbCr的亮度通道進行，上采樣因子為×2，×3，×4，×8

我們通過三種方式對訓練數據進行增強。(1)縮放(2)旋轉(3)翻轉。在每個訓練批次中，我們隨機提取16個LR補丁，大小為64×64，一個epoch有1000次反傳播的迭代。用ADAM優化器[22]訓練我們的模型，設置學習率lr=0.0001。在我們的最終模型中，使用8個多尺度殘差塊（MSRB，N = 8），每個MSRB的輸出有64個特征圖。同時，每個瓶頸層（1×1卷積層）的輸出有64個特征圖。

MSRB的優點：多尺度殘差塊可以自適應地檢測不同尺度的圖像特征，充分挖掘圖像的潛在特征。如圖9所示，我們將這些特征提取塊的輸出可視化。值得注意的是，激活是稀疏的(大多數值為零，如黑色所示的可視化)，一些激活圖可能全部為零。很明顯，MSRB的輸出包含了更多有效的激活圖，這進一步證明了該結構的有效性。

增加MSRB數量的好處：增加網絡的深度可以有效提高性能。在本工作中，增加MSRB的數量是獲得優良效果的最簡單方法。MSRN性能隨著MSRBs數量的增長而迅速提高。雖然使用更多的MSRB，網絡性能會進一步提升，但這會導致網絡更加復雜。在權衡網絡性能和網絡復雜度的同時，我們最終使用了8個MSRB，結果與EDSR接近，但模型參數數量只有它的七分之一。

總結

為了自適應檢測不同尺度的圖像特征，作者提出了一種高效的多尺度殘差塊

為了充分利用輸入圖像的多層次特征并有益于重構，提出了分級特征融合結構HFFS

為了很容易的向上擴展任意因子，作者利用PixelShuffle（像素重組）設計了一種新的重構模塊

結合三個模塊，作者提出了多尺度殘差網絡（multi-scale residual network, MSRN），獲得準確的SR圖像。

該模型比最先進的EDSR方法輕量許多（網絡的層數，深度，參數都比EDSR小很多），卻達到了與之相稱的性能。

總結

以上是生活随笔為你收集整理的【图像超分辨率】Multi-scale Residual Network for Image Super-Resolution的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。