? ? ? 點擊上方“AIWalker”，選擇加“星標”或“置頂”
? ?重磅干貨，第一時間送達

paper: https://csjcai.github.io/papers/RealSR.pdf
code: https://github.com/csjcai/RealSR

現有大多SISR方法是在模擬數據集(LR通過對HR執行簡單的雙三次下采樣得到)上進行訓練與評估。然而，真實世界的LR圖像往往更復雜，因此在模擬數據集上訓練的模型應用到真實數據是性能會出現下降。作者構建了一個真實超分數據集(LR-HR通過調整數碼相機的焦距得到，然后采用圖像配準算法進行不同分辨率圖像的對齊)。考慮到該數據中的降質核的非均勻性，作者提出一個機遇拉普拉斯金字塔的核預測網絡(LP-KPN)，它可以有效的學習逐像素核以重建HR圖像。作者通過實驗證實：相比模擬數據，基于RealSR的SISR具有更好的視覺效果。作者同時還提到：盡管該數據集僅采用了兩個相機采集(Canon 5D3, Nikon D810)，但其訓練模型在其他相機(Sony a7II)和手機采集的數據上的泛化性能仍然很好。

Abstract

有鑒于已有模擬數據訓練的SISR模型在真實場景的性能受限問題，作者認為構建一個真實超分數據集很有必要性。作者采用一種靈活而易于復現的方法構建了一個真實的RealSR數據集，對于同一場景采用同一相機以不同的焦距采集數據。

然而，除了視場角變化外，調整焦距還會導致其他挑戰：比如關心漂移，尺度因子變化、曝光時長以及光學畸變等。為解決這類問題，作者還提出一種有效的圖像配準算法以逐漸對齊圖像對，方便用于SISR模型的端到端訓練。

該RealSR數據集包含兩個數碼相機(Canon 5D3, Nikon D810)拍攝不同的室內與室外場景，為SISR的實際應用提供一個好的訓練與測試基準。相比已有的模擬數據集，RealSR數據的降質模型更為復雜(降質核實空間可變的，它隨景深變化而變化)。

在此基礎上，作者還訓練了一個基于核預測網絡的SISR模型。核預測網絡已被廣泛應用與圖像降噪、圖像去模糊以及視頻插幀領域。KPN的內存占用為隨著核尺寸增大而指數提升，在KPN基礎上，作者引入圖像處理中拉普拉斯金字塔方案得到本文的LP-KPN模型，它可以用小尺寸核學習更豐富的信息。下圖給出了所提數據集以及方法的效果示意圖。

該文的貢獻主要包含以下兩個方面：

• 構建了不同縮放尺度的RealSR數據集，首個具有更通用目的的真實SISR訓練與測試基準；

• 提出了LP-KPN模型，并在RealSR數據及上驗證了其他有效性與高效性。

Method

RealSR

上圖給出了透鏡成像原理，按照公式有以下：

數據采集過程中，固定與u，考慮到，此時有：因此，之間近似存在線性關系，通過提升焦距，相機可以采集更大更清晰的圖像，理論上可以通過控制合理的焦距選擇不同的尺度。在實際數據采集過程中，作者采用了4個不同的焦距：。最大焦距用于采集HR圖像，其他焦距用于采集不同尺度因子的LR圖像。作者還提到，采用28而非24焦距是因為焦距時的鏡頭畸變難以通過后處理校正。為確保數據的泛化性，該數據集同時包含室內與室外場景，數據包含豐富的紋理(超分的主要目的是復原/增強圖像的細節)。

圖像對齊

數據的采集是比較容易的，但因鏡頭焦距縮放會導致許多難以控制的畸變，這會導致像素不對齊問題。不同焦距采集的圖像往往存在不同程度的鏡頭畸變與不同的曝光，而且還會存在光心漂移線性。由于上述因素，現有的圖像配準方法難以直接得到不同角度圖像的像素級的對齊，為此，作者設計一種漸進對齊的圖像對齊方法，如下圖所示。

在圖像對齊過程中，裁剪中心區域(畸變比較輕，容易校正)校正其對應的LR圖像。由于不同焦距圖像的亮度、尺度差異，基于SURF、SIFT的圖像對齊方法難以得到像素級對齊。為得到精確的圖像對配準，作者設計了一種同時考慮亮度調整的像素級對齊方法。假設分別表示對應的HR圖像與LR圖像，它通過優化如下目標函數得到：

其中，表示仿射變換矩陣，C表示裁剪操作(確保LR與HR具有相同尺寸)，為亮度調整參數。

LP-KPN

上圖給出了作者所提出的網絡架構。假設分別表示LR與HR圖像，KPN以未輸入，輸出核張量，它在通道方向的向量可以變換為的卷積核，將其作用于LR圖像的每個像素的局部近鄰以生成HR輸出。該過程可以描述為：

其中，表示LR圖像在處的局部近鄰，表示內積運算。上式表明：輸出圖像的每個像素是其在輸入圖像對應位置的近鄰像素的加權線性組合。為獲得更好的性能，大尺寸核有助于利用豐富的近鄰信息，另一方面，核張量會隨著核尺寸增大而指數增加，進而導致高計算量與內存需求。

為得到Effective and Efficient的KPN，作者提出一種基于拉普拉斯金字塔的KPN架構。如同已有諸多SR方法，該方法僅處理YCbCr空間的Y通道。拉普拉斯金字塔將圖像分解為了不同層級的子圖像(不同的分辨率大小)，這些分解的子圖像可以精確的重建原始圖像。基于該特性，LR圖像的Y通道被分解為三個尺度圖像金字塔,該LP-KPN以三尺度LR圖像作為輸入，輸出對應的三個核張量,該可學習核張量按照前述公式作用于三個輸入圖像以復原HR圖像在不同層級的拉普拉斯分解子圖像。最后，采用拉普拉斯金字塔重建得到HR圖像。受益于拉普拉斯金字塔，這里的核尺寸等價于原始分辨率的感受野，相比于直接學習核，這種方法可以極大的降低計算復雜度。

LP-KPN的骨干部分把汗17個殘差模塊，為提升有效性，作者采用shuffle操作進行圖像下采樣與上采樣操作，首先以因子$1/4$進行下采樣，將其送入到骨干網絡中。需要注意的是：除了最后的基層，該網絡的大部分卷積模塊被三個尺度共享，這可以極大的減少模型的參數量。為得到不同尺度的核張量，在網絡的末端添加不同因子的上采樣單元以生成合適的核張量。該LP-KPN共計包含46的卷積層(遠少于其他SISR方法)，相關層參數配置如下所示。

Experiments

上表給出了作者所構建的RealSR數據集的信息，隨機從每個相機每個尺度數據對中選擇15對作為測試集，其他作為訓練集。評估指標選用PSNR/SSIM，評估YCBCr中的Y通道。在訓練過程中，輸入圖像塊為192x192，采用了隨機旋轉、隨機鏡像進行數據增廣，BatchSize=16，優化器選擇Adam，學習率為0.0001，共計訓練1000K迭代，訓練框架為Caffe+Matlab。

為驗證數據集的重要性，作者以DIV2K采用不同的降質方式(雙三次、多種降質)外加RealSR構成了三個數據集，同時采用了VDSR、SRResNet、RCAN三個有代表性模塊，在三個尺度層面進行超分，共計得到27個模型。其性能對比與視覺效果見下表與下圖。從中可以看出：相比其他兩種降質模型，采用相同超分模型下在RealSR數據集上訓練所得模型具有更好的性能。

為驗證所提網絡架構LP-KPN的有效性，作者將其與其他8個超分網絡進行了對比。其性能對比如下所示。從中可以看出：(1)?直接像素生成方法中RCAN下過最佳;(2) LP-KPN取得了最優的效果，甚至優于核尺寸為19的KPN網絡，同時具有更少的計算復雜度更快的推理速度。更多的實驗結果與數據分析詳見原文，這里不再過多贅述。

Conclusion

模擬數據訓練的超分模型難以泛化到真實圖像上是一個存在已久的問題。作者在這個方向上進行了探索與嘗試，構建了真實退化的超分數據集，采用Canon與Nikon相機采集了595對超分數據對，同時設計一個有效的圖像配準算法以確保圖相對之間的像素級對齊。

作者還基于拉普拉斯金字塔提出一個LP-KPN網絡架構，作者首先驗證了RealSR數據集的的重要性，同時在RealSR數據及上驗證了其所提架構的SOTA性能。

截止目前，作者所構建的RealSR數據集已經拓展到了V3版本，感興趣者可以去作者的開源代碼網絡下載。

參考代碼

作者所提供的代碼為caffe框架的prototxt以及相應caffemodel，都9102年了，現在還在用caffe的人真的很少了，故而本人參考其caffe代碼，將其用pytorch進行了架構重建，并半天時間將作者的CAFFE模型轉為了Pytorch，兩者結果完全一致。經親測，利用作者提供的模型超分的效果并不好(也就是并未達到作者論文中的效果，經多次核對，兩者結果卻是一致，這個可能與作者開源模型并非最佳有關吧)。

---

歡迎關注AIWalker公眾號，在這里您將得到獨家深度學習經驗分享與個人思考。想支持Happy繼續寫下去就點個贊關注一下吧！

總結

以上是生活随笔為你收集整理的matlab图像降噪_图像超分：RealSR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。