計算機視覺中存在許多的不適定問題ill-posed problem。先來看什么是適定問題well-posed problem，適定問題必須同時滿足三個條件：

• 1. a solution exists??????解必須存在
• 2. the solution is unique???????解必須唯一
• 3. the solution's behavior changes continuously with the initial conditions.?解能根據(jù)初始條件連續(xù)變化，不會發(fā)生跳變，即解必須穩(wěn)定

CV中的一些問題經(jīng)常不滿足于條件2和3,，比如圖像去噪（ImageDe-nosing），圖像恢復（Image Restorsion），圖像放大（Image Zooming），圖像修補（ImageInpainting），圖像去馬賽克（image Demosaicing），圖像超分辨(Image super-resolution)等。這些問題往往同時屬于反問題inverse problem，所以往往需要構建正向過程的模型，而這種逆推的解往往不是唯一的，即有多種可能性，每次只能選擇可能性最大的或者說最適合的那一個。

好比是通信中的維納濾波和信道均衡。

在超分辨率重建中，有兩個應用廣泛的衰退模型。一個是先使用模糊核卷積，然后以尺度s下采樣，然后對信號加一個高斯加性白噪聲。模糊濾波卷積核有很多種，比如高斯核，Motion blur和disk blur。如果使用這種模型就意味著我們需要知道卷積核的種類，即便知道了種類也有很多超參數(shù)是待定的。另一種是簡單地使用三次方插值，比如matlab中的resize函數(shù)就是這樣。這種模型使得SISR中的CNN方法發(fā)展很快，但是因為模型簡單，在很多情況下的效果也比較差。至于為什么三次插值的模型對DNN有幫助，需要看一下文獻2.

所以，需要做的是改進現(xiàn)有的模型，但是還需要新的模型對DNN也適用。新模型也使用了卷積，下采樣，加噪三要素，但是不同的是三者的先后順序不同。之前的模型是先卷積再下采樣，新的模型是先下采樣，再卷積。相比于模糊卷積核和加噪，下采樣之后的圖像仍然可以認為是clean image，所以可以將通常的超分辨重建問題轉化為先進行圖像去噪和純粹的超分辨重建，可以利用成熟的去噪方法來估計得到k。

有了退化模型，就可以基于模型和最大后驗概率MAP得到能量函數(shù)的表達式。能量函數(shù)energy function分為兩部分，一部分是保真項fidelity(likehood term)，一部分是正則項regularization(prior) term。對于判別學習的方法，預測模型對應能量函數(shù)；用于訓練的HR和LR數(shù)據(jù)則對應衰退模型，這就解釋了為什么基于三次插值衰退模型訓練的方法無法在真實數(shù)據(jù)中依然有較好的表現(xiàn)，因為真實數(shù)據(jù)的衰退方法更加復雜，且不同。

現(xiàn)在的目標函數(shù)是最小化能量函數(shù)。首先增加了一個輔助變量z，將原函數(shù)變成約束型函數(shù)。然后使用HQS方法或者ADMM方法求解。HQS方法又在函數(shù)中引入了一個二次懲罰項，懲罰參數(shù)越大，使得z越靠近下采樣之后的x。求解的過程是一個迭代的過程，分別對z和x求最小化。在假設卷積有圓形邊界限制circular boundary condition下，可以在頻域得到對z求最小化時的閉式解。

而當對x求最小化時，卷積已經(jīng)沒有了，這時求解對應的衰退模型其實就是下采樣+噪聲。注意這時對應的模型其實相比于傳統(tǒng)的三次下采樣模型只是加了一個噪聲，所以仍然可以很方便地使用DNN訓練。這個衰退模型的參數(shù)有兩個，一個是采樣的尺度參數(shù)，一個是噪聲的標準差。

總結一下，公式7和8是原問題的兩個子問題，公式7可以從頻域求解，注意這里包含了模糊卷積核k，減輕了卷積核的變形對結構的影響；公式8則進一步使用更簡單的衰退模型和DNN得到?jīng)]有模糊和噪聲的HR圖像。可以把公式8對應的求解看作是super-resolver prior，具體地可以使用SRMD網(wǎng)絡，因為它本身就包含noise level map，不用額外增加噪聲的輸入。在這篇文章里，他使用的是基于SRResNet的修改，得到SRResNet+，改變是首先增加了噪聲的輸入；特征圖的數(shù)目從64增加到96,；安裝文獻58的建議去除了BN層。

訓練時是對每個尺度因子分別訓練一個模型，HR圖像從DIV2K數(shù)據(jù)集中得到，LR是HR經(jīng)過下采樣和加噪的模型得到，噪聲圖像大小和LR尺寸一樣，所有的元素都是sigma，范圍從[0,50]

訓練時使用Adam優(yōu)化器，l1損失函數(shù)，學習率從e-4開始，每5e+5次迭代學習率減半。batchsize是16，LR的patch尺寸是48x48.

https://arxiv.org/pdf/1903.12529.pdf

總結

以上是生活随笔為你收集整理的即插即用+任意blur的超分辨率重建——DPSR的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。