文章來源于極市平臺(tái)，作者Happy

paper: https://arxiv.org/abs/2006.16673

code: https://github.com/sczhou/IGNN（尚未開源）

導(dǎo)讀：該文可能是首次提出將圖神經(jīng)網(wǎng)絡(luò)嵌入到圖像超分領(lǐng)域中，其實(shí)它也是圖像塊自相似性的一種應(yīng)用，之前筆者分享過類似的方法(采用卷積方式進(jìn)行塊相似性搜索)，而這篇論文則是采用圖神經(jīng)網(wǎng)絡(luò)搜索塊相似性。這種塊相似性搜索技術(shù)與傳統(tǒng)方法中的搜索比較類似，可謂是傳統(tǒng)方法與深度學(xué)習(xí)相結(jié)合的又一個(gè)進(jìn)展。對(duì)圖像復(fù)原方向感興趣的小伙伴可以關(guān)注一下這篇論文。

Abstract

自然圖像中的非局部自相似性時(shí)一種非常有效的先驗(yàn)信息，在傳統(tǒng)圖像處理中被廣泛研究與應(yīng)用，比如非局部均值、BM3D等圖像降噪方法以及基于Self-Similarity圖像超分和圖像去模糊等等。然而該非局部自相似性在深度學(xué)習(xí)領(lǐng)域卻鮮少見諸于研究，現(xiàn)有深度非局部方法僅僅探索了同尺度的相似塊，因此圖像復(fù)原的性能會(huì)受限于同尺度信息的有限性，而其他尺度的信息可能包含更多有用的信息。

該文作者對(duì)自然圖像中的跨尺度塊相似塊(即相似塊可能出現(xiàn)在圖像的不同尺度)進(jìn)行探索，并提出一種新穎的Internal Graph Neural Network進(jìn)行跨尺度的相似塊探索，作者構(gòu)建了一種跨尺度圖用于為L(zhǎng)R圖像中的塊搜k近鄰相似塊，得到k個(gè)HR近鄰塊并采用自適應(yīng)集成方式進(jìn)行信息匯聚。因此，HR信息可以通過k個(gè)HR近鄰塊傳遞給LR圖像塊并輔助圖像紋理細(xì)節(jié)復(fù)原。

最后，作者通過實(shí)驗(yàn)證實(shí)了所提方法的SOTA性能。

Method

在這部分內(nèi)容中，首先介紹一下已有非局部方法的廣義形式，然后所提到的跨尺度圖匯聚模塊，最后介紹所提出的快尺度圖像神經(jīng)網(wǎng)絡(luò)(IGNN)。

Background

非局部匯聚策略被廣泛應(yīng)用于圖像復(fù)原領(lǐng)域，比如非局部均值和BM3D采用非局部相似性屬性進(jìn)行圖像降噪。在深度學(xué)習(xí)領(lǐng)域，非局部神經(jīng)網(wǎng)絡(luò)與k近鄰網(wǎng)絡(luò)被提出用于探索圖像的非局部自相似性。非局部塊的匯聚過程可以描述為：

如果我們將特征塊以及加權(quán)連接視作定點(diǎn)與邊的話，上述過程可以視作GNN。之前已有非局部方法進(jìn)行通尺度相似性探索，但是通尺度相似性對(duì)于圖像超分的性能提升極為有限。

Cross-Scale Graph Aggregation Module

在已有的非局部深度學(xué)習(xí)方法中，特征塊的大小往往相同。盡管它們?cè)趫D像降噪方面表現(xiàn)良好，但是它難以獲取高分辨率信息，對(duì)于超分的性能提升極為有限?？紤]到自然圖像的塊自相似性會(huì)跨尺度出現(xiàn)，作者提出一種跨尺度圖像神經(jīng)網(wǎng)絡(luò)。下圖給出了跨尺度圖匯聚模塊示意圖。

對(duì)于LR中的每個(gè)查詢塊(圖中黃色框)，從下采樣圖像中搜索k個(gè)最相似塊并進(jìn)行對(duì)應(yīng)的HR塊信息匯聚?？绯叨葔K的連接可以通過圖方式進(jìn)行建模，每個(gè)特征塊是一個(gè)定點(diǎn)，邊用來衡量塊之間的相似性。下圖給出了本文所提出的GraphAgg模塊示意圖，它包含兩個(gè)操作：Graph Construction與Patch Aggregation。

Graph Construction

首先對(duì)低分辨率圖像采用雙三次插值進(jìn)行s倍下采樣，得到，其中下采樣比例等于上期望的上采樣尺度。因此，所找到的k近鄰特征塊與期望的HR特征塊具有相同尺寸。

為得到k近鄰特征塊，首先采用VGG19的前三層對(duì)提取嵌入特征.參考傳統(tǒng)非局部方法中的塊匹配方法，對(duì)于中的查詢特征塊，首先按照歐式距離尋找k個(gè)近鄰塊，然后可以得到k個(gè)大小的來自特征塊。該過程見上圖中的紅色線過程，稱之為定點(diǎn)映射。

通過上述過程可以完成跨尺度k近鄰圖構(gòu)建，表示一個(gè)包含LR塊集合與HR近鄰塊集合的塊集合，表示邊集合。為度量頂點(diǎn)(即特征塊)之間的相似性，采用進(jìn)行度量并用于估計(jì)匯聚權(quán)值。

注：作在而非上進(jìn)行相似塊搜索可以減少被搜索空間；同時(shí)僅僅搜索k近鄰可以進(jìn)一步減少計(jì)算復(fù)雜。

Patch Aggregation

受啟發(fā)于Edge-Conditioned Convolution(ECN)，作者采用如下方式進(jìn)行相似塊匯聚：

其中?表示第r個(gè)近鄰HR特征塊，與此同時(shí)，作者還引入patch2img操作進(jìn)行輸出特征塊變化。作者提出采用一種自適應(yīng)ECN（即）估計(jì)頂點(diǎn)之間的匯聚權(quán)值(注：加權(quán)權(quán)值需要進(jìn)行歸一化哦)。

為充分利用，作者采用一個(gè)Downsampled-Embedding sub-Network,DEN進(jìn)行特征嵌入并與通過concat融合得到并用于后續(xù)網(wǎng)絡(luò)。

Adaptive Patch Normalization

作者觀察到：通過GraphAgg模塊得到的k個(gè)HR近鄰塊包含某些低頻成分(比如顏色、亮度等)。除了前述提到的自適應(yīng)加權(quán)外，受啟發(fā)與AdaIN，作者還提出一種自適應(yīng)塊歸一化(AdaPN)操作進(jìn)行近鄰塊對(duì)齊。該過程可以描述為：

通過該對(duì)齊操作，可以將緊鄰快的低頻信息進(jìn)行遷移同時(shí)保持高頻紋理信息不變。

Cross-Scale Internal Graph Neural Network

Experiments

為驗(yàn)證所提方法的有效性，作者在DIV2K數(shù)據(jù)集上進(jìn)行了訓(xùn)練，輸入塊大小為，同時(shí)采用隨機(jī)鏡像、旋轉(zhuǎn)等增廣。優(yōu)化器為Adam，初始學(xué)習(xí)率為0.0001,每200000迭代折半，合計(jì)訓(xùn)練800000迭代。損失函數(shù)為。在GraphAgg模塊中，k=5，搜索窗口設(shè)置為30.注：GraphAgg是一種“即插即用”的模塊，它可以輕易嵌入到其他超分網(wǎng)絡(luò)中。

下表給出了所提方法與其他SOTA方法的性能對(duì)比，取得了目前最佳的PSNR指標(biāo)。

此外，作者還進(jìn)行了一些消融實(shí)驗(yàn)分析。下圖對(duì)比了GraphAgg與常規(guī)非局部集成思路的對(duì)比?？梢钥吹?#xff1a;簡(jiǎn)單的平均方式會(huì)產(chǎn)生假性紋理，而所提方法則有效避免了該問題。

下面兩個(gè)表分別對(duì)比了(1)GraphAgg與其他非局部方法的性能；(2) GraphAgg插入不同位置的性能對(duì)比。

下面兩個(gè)表分別對(duì)比了(1)不同搜索方位下的性能對(duì)比；(2)不同近鄰數(shù)的性能對(duì)比?？梢钥吹?#xff1a;搜索范圍為30，近鄰為5即可取得非常好的性能，進(jìn)一步提升無明顯提升。

最后，作者對(duì)比AdaPN與ECN的作用與性能對(duì)比，見下表。

最后的最后，多附上幾個(gè)效果圖，沒辦法，論文效果太贊了。

Conclusion

雖然該文并非首個(gè)將圖像塊跨尺度自相似性引入到圖像超分領(lǐng)域，但其創(chuàng)新性的采用圖方式進(jìn)行最近鄰相似塊的搜索，同時(shí)進(jìn)一步將圖像超分的指標(biāo)刷到的新的高度。

目前作者尚未開源代碼，甚至期待開源并嘗試一番。筆者最近也是在嘗試非局部均值、雙邊濾波思想與圖像超分的融合之道，但尚未取得這么好的效果。但這篇論文提供了一個(gè)非常好的方案：采用圖神經(jīng)網(wǎng)絡(luò)嵌入圖像塊自相似性，好像看到了自己方案的前進(jìn)之路。

◎作者檔案

Happy，一個(gè)愛“胡思亂想”的AI行者

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯獲取一折本站知識(shí)星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請(qǐng)掃碼進(jìn)群：

總結(jié)

以上是生活随笔為你收集整理的【论文解读】图像超分最新记录！南洋理工提出图神经网络嵌入新思路，复原效果惊艳...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。