【图像超分辨率】Image Super-Resolution by Neural Texture Transfer
Image Super-Resolution by Neural Texture Transfer
- 摘要：
- 1.引言
- 2 相關工作
- 2.1 基于深度學習的SISR
- 2.2基于參考的超分辨率
- 3. 方法
- 3.1特征交換
- 3.2神經紋理傳遞
- 3.3 訓練目標
- 3.3.1重建損失
- 3.3.2感知損失
- 3.3.3對抗性損失
- 3.4 實施細節
- 4.數據集
- 5.實驗結果
- 5.1定量評價
- 5.2用戶研究的定性評價
- 5.3消融研究
- 5.3.1參考相似性的影響
- 5.3.2 特征交換層
- 5.3.3紋理損失的影響
- 6.結論
摘要：
低分辨率（LR）圖像存在顯著的信息損失，單圖像超分辨率（SISR）技術實現提升困難。
基于參照的超分辨率（RefSR）在給了與 LR 輸入有相似內容的參照（Ref）圖像時有很好的恢復高分辨率（HR）細節的潛力。但是，當 Ref 的相似程度更低時，RefSR 的性能會嚴重下降。這
論文的目標是釋放 RefSR 的潛力，即使提供了不相關的 Ref 圖像，仍能利用有更強穩健性的 Ref 圖像的更多紋理細節。受近期在圖像風格化方面的研究的啟發，將 RefSR 問題形式化為了神經紋理遷移問題。
我們設計了一種端到端的深度模型，能夠根據與 Ref 圖像的紋理相似性自適應地遷移 Ref 圖像的紋理，從而豐富 HR 細節。除了像之前的工作那樣在原始像素空間中匹配內容，我們的關鍵貢獻是在神經空間中執行的多層面匹配。
這種匹配方案有助于多尺度神經遷移，能讓模型從那些形義相關的Ref 圖塊中獲得更多好處，并在最不相關的 Ref 輸入上優雅地降級到SISR性能。
為 RefSR 的一般性研究構建了一個基準數據集，其中包含與LR 輸入配對的有不同層面相似度的 Ref 圖像。
1.引言
由于 SISR 問題不適定的本質，大多數已有方法在上采樣倍數較大（比如4 倍）時仍然會得到模糊的結果，尤其是當涉及到原始 HR 圖像中呈現出的但對應的 LR 圖像中不具備的精細紋理時。
近年來，與感知有關的約束（比如感知損失和對抗損失）已被引入到了 SISR問題的數學構建中，并為大倍數上采樣的視覺質量帶來了重大突破。但是，它們往往會產生幻覺式的假紋理，甚至會產生偽影。
不同于傳統 SISR，本論文探索了基于參照的超分辨率（RefSR）。RefSR 是利用來自 HR 參照圖像（Ref）的豐富紋理來補充 LR 圖像中缺失的細節，從而緩解不適定問題并在參照圖像的幫助下得到細節更豐富和更有真實感的紋理。
已有的 RefSR 方法是采用內部示例（self-example）或外部高頻信息來增強紋理。但是，這些方法都假設參照圖像與 LR 圖像有相似的內容和/或有良好的對齊。否則，它們的表現會有顯著的下降，甚至會比SISR 方法更差。
相對而言，Ref 圖像在我們的設定中則發揮著不同的作用：無需與 LR 圖像有良好的對齊或相似的內容。我們只希望將形義相關的紋理從 Ref 圖像遷移到輸出的 SR 圖像。理想情況下，在存在良好的 Ref 圖像時，穩健的RefSR 算法應當優于 SISR，并且在沒有提供 Ref 圖像或完全不含相關紋理時也能得到與 SISR 相當的表現。
受近期圖像風格化研究的啟發，我們提出了一種新的 RefSR 算法 Super Resolution by Neural Texture Transfer（神經紋理遷移超分辨率/SRNTT），能夠自適應地將紋理從Ref 圖像遷移到 SR圖像。
更具體而言，**SRNTT 會通過一個深度模型在特征空間中執行局部特征匹配以及將匹配的紋理遷移到最終輸出。這個紋理遷移模型會學習 LR 和 Ref 紋理之間的復雜的依賴關系，能夠在抑制不相似紋理的同時利用相似的紋理。**圖 1 中的示例展示了我們提出的 SRNTT 相比于兩種之前最佳研究（SRGAN（SISR 方向）和 CrossNet（RefSR 方向））的優勢。如果使用的參照圖像有相似的內容（即圖 1(a) 上），則 SRNTT 在合成更精細紋理方面顯著優于相比較的其它方法。即使使用的 Ref 圖像的內容無關（ 即圖 1(a) 下），SRNTT 的表現也與 SRGAN 相當（視覺質量相近，但偽影更少），這體現了 SRNTT 在使用不同程度內容相似性的不同 Ref 圖像時的適應性/穩健性。相對而言，CrossNet 會從無關的 Ref 圖像引入我們不想要的紋理，表現很糟糕。
圖 1：SRNTT（我們的方法）與 SRGAN（當前最佳的 SISR 方法）和CrossNet（當前最佳的 RefSR 方法）的比較。（a）兩張 Ref 圖像。其中上圖（U）與 LR 輸入（b）的右下角有相似的內容，下圖（L）與 LR 輸入區別明顯或內容不相關。（c）SRGAN 的結果。(d)(e)CrossNet分別使用兩張 Ref 圖像得到的結果。(f)(g) SRNTT 分別使用兩張Ref 圖像得到的結果。
為了比較公平以及幫助推動對一般性 RefSR問題的研究，我們提出了一個新的數據集 CUFED5，其中提供了訓練集和測試集，并有在內容、紋理、顏色、光照條件、視角等方面不同相似度的參照。本論文的主要貢獻如下：
- 我們探索了更一般的 RefSR 問題，突破了 SISR 的性能瓶頸（即缺乏紋理細節）并放寬了已有 RefSR 方法的約束（即對齊假設）。
- 我們為 RefSR 問題提出了一種端到端的深度模型 SRNTT，可通過多尺度神經紋理遷移基于任意給定參照恢復 LR圖像。
- 我們通過廣泛的實證研究展示了新提出 SRNTT 在視覺上的提升、有效性和適應性。 我們構建了一個基準數據集 CUFED5，可促進RefSR 方法在處理與 LR 輸入圖像有不同程度相似性的參照方面的進一步研究和性能評估。
2 相關工作
2.1 基于深度學習的SISR
SISR方法旨在最小化SR和HR圖像之間的MSE，這可能并不總是與人類的評價（即感知質量）一致[24，30]。因此，為了獲得更好的視覺質量，將知覺相關的限制因素納入其中。Johnson等人。[20] 證明了使用VGG增加知覺損失的有效性[32]。Ledig等人。[24]引入了來自生成性對抗網（GANs）的對抗性損失[11]以最小化SR圖像和HR圖像之間的感知相關距離。Sajjadi等人。[30]基于樣式傳輸的思想[9，10]進一步合并紋理匹配損失，以增強SR圖像中的紋理。所提出的SRNTT與[24，30]的關系更為密切，在[24，30]中，知覺相關的限制（即知覺喪失和對抗性喪失）被結合在一起，以恢復更具視覺合理性的SR圖像。
2.2基于參考的超分辨率
與僅使用單個LR圖像作為輸入的SISR相比，RefSR方法引入額外的圖像來輔助SR處理。通常，參考圖像需要具有與LR圖像相似的紋理和/或內容結構。Yue等人提出了一種更通用的利用參考文獻的方案。[39]，它可以立即從web上檢索相似的圖像，并進行全局注冊和局部匹配。然而，他們做了一個強有力的假設-參考必須與LR圖像很好地對齊。此外，用于面片混合的淺層模型使其性能高度依賴于引用的對齊程度。鄭等人。[41]提出了一種基于深度模型的RefSR方法，并采用光流來對齊輸入和參考。
然而，光流在匹配長距離通信中受到限制，因此無法處理嚴重失調的參考。提出的SRNTT采用了局部紋理（補丁）匹配的思想，能夠處理長距離的相關性。與現有的REFSR方法一樣，我們也將REF紋理融合到輸出席上，但是我們通過深度模型在多尺度特征空間中進行，這使得學習具有縮放、旋轉、甚至非剛性變形的引用的復雜傳遞過程。
3. 方法
我們提出的 SRNTT 的目標是：
給定參照圖像，根據低分辨率圖像估計得到更高分辨率的圖像，使得到的超分辨率圖像能根據參照圖像合成可信的紋理，同時在內容上保持與低分辨率圖像一致。
圖2 給出了 SRNTT的概況。
其中的主要思想是在特征空間中搜索與參照圖像匹配的特征，然后以多尺度的方式將匹配的特征遷移到超分辨率圖像，因為特征在面對顏色和光照條件變化時更為穩健。這種多尺度紋理遷移能同時考慮低分辨率圖像和參照圖像在形義（高層面）和紋理（低層面）上的相似性，從而能在抑制不相關紋理的同時遷移相關的紋理。
圖2：提出的基于特征交換和紋理遷移的SRNTT架構
除了和之前的 SR 方法一樣最小化輸出的超分辨率圖像和原始高分辨率圖像之間的像素和/或感知距離，我們還會進一步規范在超分辨率圖像和參照圖像的匹配紋理之間的紋理一致性，從而強制實現有效的紋理遷移。最終輸出的超分辨率圖像是以端到端形式得到的。
3.1特征交換
我們首先進行特征交換，在整個IRef中搜索可用于替換（或交換）ILR的紋理特征以增強SR恢復的局部相似紋理。特征搜索在HR空間坐標中進行，以使紋理直接傳輸到最終輸出ISR。
根據自示例匹配策略[7]，我們首先對ILR進行雙三次上采樣，得到與IHR具有相同空間大小的LR圖像ILR 。我們還依次對IRef采用相同因子的雙三次下采樣和上采樣，得到與ILR上采樣頻帶匹配的模糊參考圖像上采樣和下采樣IRef。
我們不需要估計全局變換或光流，而是匹配上采樣的ILR和上采樣下采樣的IRef中的局部補丁，這樣就不會對Ref圖像的全局結構產生約束，這是相對于CrossNet的一個關鍵優勢[41]。由于LR和Ref塊在顏色和光照上也可能不同，我們在神經特征空間φ（I）中匹配它們的相似性，以強調結構和紋理信息。我們使用內積來度量神經特征之間的相似性：
其中Pi（·）表示從神經特征圖中采樣第i個面片，si，j表示第i個LR面片和第j個Ref面片之間的相似性。Ref-patch特性被規范化以選擇所有j上的最佳匹配。相似性計算可以有效地實現為對所有LR-patch的一組卷積（或相關）操作，每個內核對應一個Ref-patch：
其中Sj是j-th Ref面片的相似圖，*表示相關運算。我們使用Sj（x，y）來表示以位置（x，y）為中心的LR面片和第j參考面片之間的相似性。LR和Ref塊都是從它們的圖像中密集采樣的。基于相似度得分，我們可以構造一個交換的特征映射M來表示紋理增強的LR圖像。以（x，y）為中心的M中的每個面片定義為：
其中ω（·，·）將面片中心映射到面片索引。注意，當IRef用于匹配（等式2）時，raw Ref IRef用于交換（等式3），以便保留來自原始引用的HR信息。由于LR斑塊的密集抽樣，我們取它們重疊區域的交換特征Pj?（φ（IRef））的平均值。結果交換的特征映射M用作下一個紋理傳輸階段的基礎。
3.2神經紋理傳遞
我們的紋理傳輸模型是通過將多個交換的紋理特征映射合并到對應于不同尺度的不同特征層的基本深度生成網絡中來設計的，如圖2所示（藍色框）。對于每個尺度或神經層l，使用上述方法構造交換特征映射Ml，紋理特征編碼器φl與當前尺度匹配。第5.3節中的燒蝕研究證實了多層轉移紋理的有效性。
我們使用剩余塊和跳過連接[14，15，24]來構建基本生成網絡。第1層的網絡輸出Ψl遞歸地定義為
其中Res（·）表示剩余塊，轉存失敗重新上傳取消表示信道級聯，↑2×表示使用亞像素卷積進行的2×放大[31]。最終SR結果圖像在L層之后生成，以達到目標HR分辨率：
圖3示出了在一個尺度上的紋理轉移的網絡結構，其中殘余塊從基于Ψl（即ILR）的Ml（即IRef）中提取相關紋理并將其與目標內容合并。
與傳統的SISR方法只減少ISR與地面真值IHR之間的差異不同，我們提出的SRNTT方法進一步考慮了ISR與IRef之間的紋理差異。也就是說，我們要求ISR的紋理與0在φl的特征空間中交換的特征映射Ml相似。具體地說，我們將texture-loss Ltex定義為
其中，Gr（·）計算Gram矩陣，λl是對應于層l的特征尺寸的歸一化因子。Sl*是所有LR塊的加權映射，計算為等式3中的最佳匹配分數。直觀地說，與ILR不同的紋理具有較低的權重，從而在紋理傳輸中得到較低的懲罰。通過這種方式，基于Ref圖像質量自適應地強制從IRef到ISR的紋理傳輸，導致如第5.3節所示的更健壯的紋理幻覺。
3.3 訓練目標
為了1）保持LR圖像的空間結構，2）提高SR圖像的視覺質量，3）利用Ref圖像豐富的紋理，我們的目標函數結合了重建損失Lrec、感知損失Lper、對抗損失Ladv和紋理損失Ltex。大多數SR方法都采用重建損失。知覺損失和對抗性損失提高了視覺質量。公式6中已經討論過的紋理損失具體見RefSR。
3.3.1重建損失
目的是獲得更高的峰值信噪比，通常用均方誤差（MSE）來衡量。在這篇論文中，我們采用的是L1-范數，
與最小均方誤差相比，1-常模將進一步提高ISR。此外，這與WGANGP的目標是一致的，后者將在對抗性損失中討論。
3.3.2感知損失
為了獲得更好的視覺質量，最近的研究工作[1，20，24，30]對知覺損失進行了研究。我們采用VGG19[32]的relu5 1層，
其中V和C分別表示特征圖的體積和通道數，φi表示從VGG19模型的隱藏層提取的特征圖的第i通道。k·kF表示Frobenius范數。
3.3.3對抗性損失
可以顯著提高合成圖像的清晰度/視覺質量[19，40]。在這里，我們采用WGAN-GP[12]，它通過懲罰梯度來改進WGAN，獲得更穩定的結果。由于WGAN中的Wasserstein距離是基于Ψ1-范數的，因此我們使用Ψ1-范數作為重建損失（等式7）。直觀地說，一致的目標將有助于優化過程。對抗性損失表示為：
其中D是1-Lipschitz函數的集合，Pr和Pg分別是模型分布和實分布。
3.4 實施細節
我們采用預先訓練的VGG19[32]模型進行特征交換，這是眾所周知的紋理表示能力[9，10]。特征層relu1 1、relu21和relu31在多個尺度上用作紋理編碼器φl。為了加快匹配過程，我們只在relu3 1層上進行匹配，并將對應關系投影到relu21層和relu11層，并在所有層上使用相同的對應關系。Lrec、Lper、Ladv和Ltex的權重分別為1、1e-4、1e-6和1e-4。Adam優化器的學習率為1e-4。該網絡經過2個階段的預訓練，僅應用Lrec。然后，所有的損失都要再訓練20個epoch。
我們的方法可以很容易地擴展到處理多個Ref圖像。在所有的RefSR實驗中，我們使用縮放和旋轉版本來增強每個IRef，以獲得更精確的紋理匹配結果。
4.數據集
對于 RefSR 問題，LR 和 Ref 圖像之間的相似性會顯著影響 SR 結果。一般而言，為了訓練和評估 RefSR 算法，應該提供與LR 圖像有不同程度的相似度的參照圖像。就我們所知，目前還沒有一個公開可用的這樣的數據集。因此，我們基于CUFED 數據集（包含 1883 個拍攝了日常生活中不同事件的相冊）構建了一個這樣的數據集，其中有不同相似度水平的參照圖像。每個相冊的大小在30 到 100 張圖像之間。在每個相冊中，我們都基于 SIFT 特征匹配收集了不同相似程度的圖像對——SIFT 特征匹配描述的是局部紋理特征，這與局部紋理匹配的目標一致。
SIFT，即尺度不變特征變換（Scale-invariant feature transform，SIFT），是用于圖像處理領域的一種描述。這種描述具有尺度不變性，可在圖像中檢測出關鍵點，是一種局部特征描述子
我們根據 SIFT 特征的最佳匹配數從高到低定義了四個相似度層級，即 L1、L2、L3、L4。從每組配對圖像中，我們都從一張圖像隨機裁剪 160×160 的圖塊作為原 HR 圖像，而對應的參照圖像則裁剪自其它圖像。通過這種方式，我們收集了13761 組配對的圖塊作為訓練集。對于測試數據集，每張 HR 圖像都與所有四個層級的參照圖像進行了配對，以便廣泛地評估基于參照的 SR 的方法的適應性。我們使用了與構建訓練數據集時相似的收集圖像對的方法。總體而言，測試集包含126 組樣本。每一組都包含一張 HR 圖像和四張分別為 L1、L2、L3、L4 層級的參照圖像。圖 4 展示了兩組來自測試集的樣本。我們將收集到的訓練集和測試集稱為 CUFED5，這能很大程度地促進對RefSR 的研究以及提供一個公平比較的基準。
圖 4：來自 CUFED5 測試集的樣本。從左到右分別是 HR 圖像和對應的 Ref 圖像。
為了評估在 CUFED5 上訓練的模型的泛化能力，我們在 Sun80 和 Urban100 上對其進行了測試。Sun80數據集有 80 張自然圖像，其中每一張都伴有一系列網絡搜索到的參照，Urban100 數據集則包含無參照的建筑圖像。
5.實驗結果
在這一部分中，我們進行了定量和定性的比較，以證明所提出的SRNTT在視覺質量和紋理豐富性方面的優勢。根據標準協議，我們從HR圖像中通過雙三次縮小（4×）獲得所有LR圖像。
表 1：不同 SR 方法在三個數據集上的 PSNR/SSIM 比較。不同方法按照 SISR（上）和 RefSR（下）進行了分組，各組的最佳數值用粗體標出。
5.1定量評價
我們將所提出的SRNTT與最新的SISR和RefSR算法2進行比較，如表1所示。比較的SISR方法有SRCNN[5]、SelfEx[16]、SCN[37]、DRCN[22]、LapSRN[23]、MDSR[25]、ENet[30]和SRGAN[24]，其中MDSR[25]在近兩年的PSNR中取得了最新的性能，而ENet[30]和SRGAN[24]被認為是視覺質量方面的最新水平。比較中還包括兩種RefSR方法，即Landmark[39]和最近提出的CrossNet[41]，這兩種方法的性能優于以前的RefSR方法。
為了進行公平比較，所有基于學習的方法都在所提出的CUFED5數據集上進行訓練，并分別在CUFED5、Sun80[33]和Urban100[16]上進行測試。為了公平比較PSNR/SSIM與那些主要最小化最小均方誤差的方法，例如SCN和MDSR，我們通過僅最小化均方誤差來訓練SRNTT的簡化版本，即SRNTT-Ψ2。請注意，表1顯示了在SISR（上塊）和RefSR（下塊）設置中的SRNTT-Ψ2的結果。具體地說，SISR設置下的SRNTT-Ψ2使用LR輸入作為參考。在CUFED5和Sun80數據集中，每個輸入對應于多個引用，所有這些引用都用于Landmark、SRNTT-Ψ2和SRNTT，而CrossNet使用產生最高PSNR的引用，因為CrossNet只接受一個引用。
在表1中，SRNTT-Ψ2在有參考文獻的CUFED5和Sun80上得分最高，而在沒有參考文獻的Urban100上得分最高。即使在所有數據集上都設置了SISR，SRNTT-Ψ2（SISR）的性能也與最新技術類似。所提出的SRNTT利用對抗性損失來提高視覺質量但降低PSNR，在PSNR方面優于ENet和SRGAN（甚至可與那些僅最小化MSE的方法相比），同時獲得更高的視覺質量（更精細的紋理和更少的偽影），如圖5中的示例所示。第5.2節將對視覺質量進行更全面的評估。如實例所示，SRNTT在從引用中恢復紋理方面優于CrossNet。主要原因是參考文獻與LR圖像之間存在較大的視差/失調，CrossNet無法處理。
在不喪失一般性的情況下，Sun80和Urban100的示例顯示在圖5中。在參考文獻的幫助下，SRNTT在Sun80上的性能優于其他SR方法。然而，在Urban100上，沒有人力資源部的參考資料。我們使用LR輸入作為參考，并實現了可以從LR圖像傳輸的內紋理。一般來說，SRNTT在參考文獻的幫助下將優于現有的SR方法，并且當沒有來自參考文獻的HR信息時，我們仍然可以達到最先進的SISR性能。第5.3節將通過分析不同相似度參考文獻的性能，進一步證明SRNTT的適應性。
圖 5：不同 SR 方法在 CUFED5（最上面三個示例）、Sun80（第四和五個示例）、Urban100（最后一個示例，其參照圖像是LR 輸入）上的結果的視覺比較。
5.2用戶研究的定性評價
為了評估SR圖像的視覺質量，我們進行了用戶研究，將SRNTT與SCN[37]、DRCN[22]、MDSR[25]、ENet[30]、SRGAN[24]、Landmark[39]和CrossNet[41]進行比較。我們為用戶提供成對比較，即SRNTT與other，并要求用戶選擇分辨率更高的一個。對于每個參考級別，從CUFED5數據集的測試結果中收集2400個投票。圖6示出了投票結果，其中贊成SRNTT的百分比表示與沿水平軸表示的算法相比更喜歡SRNTT的用戶的百分比。總的來說，SRNTT顯著優于其他算法，超過90%的用戶投票支持SRNTT。
圖 6：用戶研究結果。SRNTT 與水平軸上每種算法的比較，藍條表示支持對應算法的用戶數與支持SRNTT 的用戶數的百分比
5.3消融研究
5.3.1參考相似性的影響
LR和Ref圖像之間的相似性是RefSR方法成功的關鍵因素。本節研究了CrossNet[41]和所提出的SRNTT在不同參考水平下的性能。表2列出了六個參考級別的結果，其中“HR（warp）”表示通過從原始HR圖像隨機平移（四分之一到一半寬度/高度）、旋轉（10～30度）和縮放（1.2×～2.0×放大）獲得的參考。L1、L2、L3和L4是來自建議的CUFED5數據集的四個引用級別。“LR”是指使用LR輸入圖像作為參考（沒有外部參考）。與CrossNet相比，SRNTT-Ψ2在每個參考水平上都顯示出優越的結果。在“HR”水平上，SRNTT-Ψ2實現了顯著的改進，這表明了與使用光流的對準相比，逐塊匹配的優勢。與SRNTT和SRNTT-2相比，SRNTT在“HR”水平上的峰值信噪比更高，而在其他水平上則更低。這種現象強調了當給定高度相似的引用時，紋理丟失在恢復精細紋理方面的有效性。
為了進一步研究CrossNet和SRNTT之間的差距，我們進行了一個實驗，用光學替換特征交換如表2所示，與SRNTT相比，SRNTT-ow即使在HR級也表現出很大的退化，事實上，光學ow處理大視差/失調的局限性。隨著參考相似性水平的降低，SRNTT的PSNR/SSIM也逐漸降低，在LR級，SRNTT仍能達到與最先進的SISR算法相當的性能（表1）。我們觀察到，在LR水平上，SRNTT-ow的PSNR高于SRNTT，因為Ref與LR輸入相同。在這種情況下，光學元件很容易將Ref與LR對齊，而補丁匹配可能遺漏了一些匹配。
表2:CUFED5數據集上不同參考水平的PSNR/SSIM。PM表示是否使用基于補丁的匹配；GAN表示是否使用GAN和其他感知損失。
5.3.2 特征交換層
如第3節所述，多尺度的特征交換和傳輸將提高SRNTT的性能。表3顯示了與使用單一量表相比，使用多個量表的有效性。relu1/2/3表示VGG19的三層/刻度，即relu1 1、relu2 1和relu3 1，用于SRNTT中的特征交換。我們觀察到，隨著標度數目的減少，PSNR的性能降低。relu3得到的PSNR最低，因為relu3 1是一個更高級別的層，它攜帶的高頻信息更少，與relu11和relu21相比，對紋理傳輸的貢獻更少。對于每個參考水平，PSNR隨標度數量的增加遵循類似的趨勢。然而，有趣的是，relu3隨著參考相似度的降低呈現出先減小后增大的趨勢。這表明relu3在保持空間結構方面具有較強的自適應性，即抑制了來自參考的低相似度紋理，并且它傾向于更多地關注空間重建而不是紋理恢復。因此，基于深度模型的多尺度紋理傳輸在自適應學習內容與外部紋理之間復雜的傳輸過程時獲得了極大的動量。
表 3：在不同參照水平上為特征交換使用不同 VGG 層的 PSNR。
5.3.3紋理損失的影響
提出的SRNTT中使用的加權紋理損失是與大多數SR方法的一個關鍵區別。與那些風格轉換作品不同，在這些作品中，內容圖像被顯著地修改以承載來自風格圖像（即，參考）的紋理，所提出的SRNTT通過局部匹配、自適應神經傳遞和空間/知覺正則化來避免這種“風格化”。局部匹配保證了紋理的空間一致性，神經傳遞增強了紋理傳遞的適應性，而空間/感知正則化則在全局上增強了紋理的空間一致性。紋理損失的影響如圖7所示。在CUFED5上測試的SRNTT的信噪比分別為25.25和25.61。如果沒有紋理損失，則無法有效地將來自引用的內部紋理傳輸到輸出中。
圖 7：與圖 5 中同一樣本相比，禁用了紋理損失的 SR 結果的質量有所下降
6.結論
本文利用更一般的RefSR問題，其中引用可以是任意圖像。我們提出了SRNTT，一種端到端的網絡結構，它從參考圖像中執行多級自適應紋理傳輸，以恢復SR圖像中更合理的紋理。通過定量和定性實驗，驗證了SRNTT的有效性和適應性。此外，還構建了一個新的數據集CUFED5，以便于對RefSR方法進行評估。這也為今后的參考文獻檢索研究提供了一個基準。
總結
以上是生活随笔為你收集整理的【图像超分辨率】Image Super-Resolution by Neural Texture Transfer的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 马蜂窝旅游网怎么样
- 下一篇： 【图像超分辨率】RRSGAN: Refe