引子

圖像復(fù)原是圖像處理中最重要的任務(wù)之一，其包括圖像去噪、去模糊、圖像修復(fù)、超分辨等， 都是底層視覺中被廣泛研究的問題。實(shí)際中我們得到的圖像往往是退化后的圖像（如帶噪聲圖像、模糊圖像、被采樣的圖像等）：
$$y=D(x)$$
其中，$y$表示觀察到的退化圖像，$x$是原始圖像，$D(?)$是退化函數(shù)，往往是未知的，在實(shí)際的計(jì)算中，常常使用成像物理模型近似。
一般有poisson模型和高斯模型：
$$Gaussian：y=Kx+b$$
$$Poisson:$$

高斯是普通成像較為常見的模型，而熒光顯微成像領(lǐng)域，則$Poisson$更為適合，因?yàn)閼?yīng)用科研級(jí)相機(jī)，高斯噪聲很小，并且$Poisson$模型本身符合熒光成像。$Poisson$模型中$b$為背景而非$Gaussian$中$b$是噪聲。
當(dāng)然還有$Gaussian和Poisson$混合噪聲模型。
圖像復(fù)原就是根據(jù)觀察到的退化圖像，估計(jì)原始未退化的圖像。這是一個(gè)病態(tài)問題，該問題的解往往不是唯一的。為了縮小問題的解空間，更好的逼近真實(shí)解，我們需要添加限制條件。這些限制條件來(lái)自自然圖像本身的特性,即自然圖像的先驗(yàn)信息。如果能夠很好地利用自然圖像的先驗(yàn)信息,就可以從退化的圖像上恢復(fù)原始圖像。

圖像復(fù)原

圖像復(fù)原任務(wù)通常表示成一個(gè)損失函數(shù)的形式：
$$x=argmi{n}_{x}f(x,y)+prior(x)$$
其中，$f(x,y)$表示數(shù)據(jù)保真項(xiàng)，使得估計(jì)出的原始圖像與退化圖像在內(nèi)容上保持一致。$prior(x)$則表示先驗(yàn)項(xiàng)，來(lái)自于自然圖像本身的特性。
這個(gè)損失函數(shù)可以從概率統(tǒng)計(jì)角度給予很好的解釋。根據(jù)最大后驗(yàn)概率估計(jì)原理，對(duì)原始圖像的估計(jì)可以表示為：
$$maxP(x|y)=maxP(y|x)P(x)$$
其中，$P(y|x)$表示從原始圖像$x$得到退化圖像$y$的概率，$P(x)$表示圖像x的先驗(yàn)概率。對(duì)上式取負(fù)對(duì)數(shù)，就可以得到圖像復(fù)原的損失函數(shù)了。

自然圖像先驗(yàn)

借助于不同的自然圖像先驗(yàn)信息，可以估計(jì)出不同的原始圖像。常用的自然圖像的先驗(yàn)信息有自然圖像的局部平滑性、非局部自相似性、稀疏性等特征 。下面分別做簡(jiǎn)單介紹。

局部平滑性

自然圖像相鄰像素點(diǎn)之間的像素值在一定程度上是連續(xù)變化的。從頻譜上觀察，自然圖像以低頻分量為主；從梯度直方圖上觀察，自然圖像梯度統(tǒng)計(jì)趨近于0。下圖為L(zhǎng)ena圖的梯度直方圖：

基于自然圖像梯度統(tǒng)計(jì)的觀察，許多先驗(yàn)條件都是針對(duì)圖像梯度設(shè)計(jì)的，如梯度的$L_2$范數(shù)約束、TV約束（梯度L1范數(shù)約束）、梯度$L_0$范數(shù)約束等等，都是非常常見的。最常見的應(yīng)用就是在去噪上，也就是基于全局優(yōu)化的濾波器的設(shè)計(jì)。
梯度$L_2$范數(shù)約束是基于梯度統(tǒng)計(jì)服從高斯分布得到的，大名鼎鼎的最小權(quán)重濾波（WLS）便是基于此設(shè)計(jì)的，但是對(duì)梯度的L2往往在抑制噪聲的過(guò)程中，將許多紋理也平滑掉了。TV約束是基于梯度統(tǒng)計(jì)服從拉普拉斯統(tǒng)計(jì)得到的，其對(duì)于噪聲魯棒性更好，對(duì)紋理細(xì)節(jié)的保留也優(yōu)于$L_2$范數(shù)約束。梯度$L_0$范數(shù)約束比起TV約束更強(qiáng)調(diào)局部一致性（TV約束相較而言更強(qiáng)調(diào)局部平滑性）。除此之外，在圖像去模糊中，還常用到超拉普拉斯先驗(yàn)，即認(rèn)為梯度分布的范數(shù)在(0,1]之間，其更加符合對(duì)自然圖像梯度統(tǒng)計(jì)的描述。

先驗(yàn)表示

$$梯度L_2范數(shù)prior(x)=\Vert ?{\Vert }_2^2$$
$$TV約束prior(x)=\Vert ?{\Vert }_1$$
$$梯度L_0約束prior(x)=\Vert ?{\Vert }_0$$
$$超拉普拉斯先驗(yàn)prior(x)=\Vert ?{\Vert }_{\alpha },0<\alpha \le 1$$

$L_1、L_2$是最常用的先驗(yàn)?zāi)Ｐ?#xff0c;所以以下對(duì)其展開描述：

正則化來(lái)源推導(dǎo)

$L_1{L}_2$的推導(dǎo)可以從兩個(gè)角度：
1.帶約束條件的優(yōu)化求解（拉格朗日乘子法）；
2.貝葉斯學(xué)派的：最大后驗(yàn)概率；
實(shí)際上都差不多。

1.1 基于約束條件的最優(yōu)化

對(duì)于模型權(quán)重系數(shù)$w$的求解釋通過(guò)最小化目標(biāo)函數(shù)實(shí)現(xiàn)的，也就是求解：

首先，模型的復(fù)雜度可以用VC（Vapnik-Chervonenkis Dimension）來(lái)衡量。它反映了模型的學(xué)習(xí)能力，VC維越大，則模型的容量越大。通常情況下，模型VC維與系數(shù)w的個(gè)數(shù)成線性關(guān)系：即：w數(shù)量越多，VC越大，模型越復(fù)雜。

為了限制模型的復(fù)雜度，我們要降低VC，自然的思路就是降低w的數(shù)量，讓w向量中的一些元素為0或者說(shuō)限制w中非零元素的個(gè)數(shù)。我們可以在原優(yōu)化問題上加入一些優(yōu)化條件：

其中約束條件中的$||w|{|}_0$是指$L_0$范數(shù)，表示的是向量w中非零元素的個(gè)數(shù)，讓非零元素的個(gè)數(shù)小于某一個(gè)C，就能有效地控制模型中的非零元素的個(gè)數(shù)，但是這是一個(gè)NP問題，不好解，于是我們需要做一定的“松弛”。為了達(dá)到我們想要的效果（權(quán)重向量w中盡可能少的非零項(xiàng)），我們不再嚴(yán)格要求某些權(quán)重w為0，而是要求權(quán)重w向量中某些維度的非零參數(shù)盡可能接近于0，盡可能的小，這里我們可以使用$L_1{L}_2$范數(shù)來(lái)代替$L_0$范數(shù)，即：

注意：這里使用$L_2$范數(shù)的時(shí)候，為了后續(xù)處理（其實(shí)就是為了優(yōu)化），可以對(duì)進(jìn)行平方，只需要調(diào)整C的取值即可。然后我們利用拉式乘子法求解：

其中這里的是拉格朗日系數(shù)，$\alpha >0$，我們假設(shè)的最優(yōu)解為${\alpha }^{?}$，對(duì)拉格朗日函數(shù)求最小化等價(jià)于：

上面和

等價(jià)。所以我們這里得到對(duì)$L_1{L}_2$正則化的第一種理解：
$$L1正則化?在原優(yōu)化目標(biāo)函數(shù)中增加約束條件{\Vert w\Vert }_1\le C$$

$$L2正則化?在原優(yōu)化目標(biāo)函數(shù)中增加約束條件\Vert w\Vert {}_2^2\le C$$

1.1 基于最大后驗(yàn)概率估計(jì)

在最大似然估計(jì)中，是假設(shè)權(quán)重w是未知的參數(shù)，從而求得對(duì)數(shù)似然函數(shù)（取了$log$）：

從上式子可以看出：假設(shè)$y^i$的不同概率分布，就可以得到不同的模型。

若我們假設(shè)：

的高斯分布，我們就可以帶入高斯分布的概率密度函數(shù)：

上面的C為常數(shù)項(xiàng)，常數(shù)項(xiàng)和系數(shù)不影響我們求解$max(l(w))$的解，所以我們可以令

我們就得到了$LinearRegursion$的代價(jià)函數(shù)。

在最大化后驗(yàn)概率估計(jì)中，我們將權(quán)重w看做隨機(jī)變量，也具有某種分布，從而有：

同樣取對(duì)數(shù)：

可以看出來(lái)后驗(yàn)概率函數(shù)為在似然函數(shù)的基礎(chǔ)上增加了$logP(w)，P（w）$的意義是對(duì)權(quán)重系數(shù)w的概率分布的先驗(yàn)假設(shè)，在收集到訓(xùn)練樣本$X，y$后，則可根據(jù)w在$X，y$下的后驗(yàn)概率對(duì)w進(jìn)行修正，從而做出對(duì)w的更好地估計(jì)。

若假設(shè)的先驗(yàn)分布為0均值的高斯分布，即

則有：

可以看到，在高斯分布下

的效果等價(jià)于在代價(jià)函數(shù)中增加L2正則項(xiàng)。若假設(shè)服從均值為0，參數(shù)為a的拉普拉斯分布，即：

則有：

可以看到，在拉普拉斯分布下$logP(w)$的效果等價(jià)在代價(jià)函數(shù)中增加$L_1$正項(xiàng)。

故此，我們得到對(duì)于$L_1，L_2$正則化的第二種理解：

$L_1$正則化可通過(guò)假設(shè)權(quán)重w的先驗(yàn)分布為拉普拉斯分布，由最大后驗(yàn)概率估計(jì)導(dǎo)出。

$L_2$正則化可通過(guò)假設(shè)權(quán)重w的先驗(yàn)分布為高斯分布，由最大后驗(yàn)概率估計(jì)導(dǎo)出。

非局部相似性

在自然圖像的不同位置，存在相似的紋理，且許多自然圖像自身的紋理存在規(guī)律性。這說(shuō)明自然圖像本身信息是冗余的，我們可以利用圖像的冗余信息對(duì)圖像缺失或被污染的部分進(jìn)行修復(fù)。

利用圖像非局部相似性首先要找到圖像中相似的紋理，最常用的方法是塊匹配，即把圖像分解成一個(gè)一個(gè)的小塊，每個(gè)小塊看作是一個(gè)單元，在圖像中尋找與其相似的一個(gè)或多個(gè)小塊。最經(jīng)典的塊匹配方法當(dāng)然非Barnes的PatchMatch方法莫屬。比起一個(gè)小塊一個(gè)小塊去比對(duì)，PatchMatch提供了一種近似的方法可以快速找到相似塊。
現(xiàn)在主流的去噪方法和圖像修復(fù)方法都是基于圖像的非局部相似性。在去噪方面，非局部均值（non local mean，NLM）是利用非局部相似性去噪的開山之作。在此基礎(chǔ)上發(fā)展而來(lái)的BM3D是應(yīng)用最廣泛，也是效果最好的去噪方法之一。關(guān)于這兩種方法的介紹可以參見這篇博客。后面在NLM基礎(chǔ)上也出現(xiàn)了一系列的改進(jìn)方法，如將非局部相似性與低秩方法結(jié)合借來(lái)的WNNM，MCWNNM等去噪方法都取得了不錯(cuò)的效果。
在圖像修復(fù)方面，塊匹配方法在單幀圖像缺失部分的修補(bǔ)方面占據(jù)了半壁江山。除此之外，還有基于Graph Cut進(jìn)行圖像修復(fù)的方法。但無(wú)一例外，所有這些方法都是利用了圖像的非局部自相似性。關(guān)于圖像修復(fù)可以參見這篇文章對(duì)這些方法的概述。另外，這篇文章還提到了一個(gè)有意思的觀察，即自然圖像中相似塊之間的偏移量集中在少數(shù)幾個(gè)偏移量上，這也從而說(shuō)明了自然圖像的紋理分布是存在一定周期性規(guī)律的。

稀疏性

稀疏性本身是指矩陣或向量中非零元素個(gè)數(shù)很少。對(duì)于自然圖像來(lái)說(shuō)，就是其可以用少量的幾個(gè)獨(dú)立成分來(lái)表示。即圖像可以通個(gè)某些線性變化變成稀疏信號(hào)。圖像的稀疏性是圖像可以用壓縮感知方法進(jìn)行恢復(fù)的先決條件。
壓縮感知進(jìn)行圖像恢復(fù)的過(guò)程如下圖所示，圖像經(jīng)過(guò)線性基變換$\Psi$可以變成稀疏向量$S$。對(duì)原始圖像進(jìn)行隨機(jī)采樣可以得到觀測(cè)向量$y$。利用觀測(cè)向量$y$和恢復(fù)矩陣$\Theta$（常常是冗余字典）可以恢復(fù)出原始圖像。

統(tǒng)計(jì)特性

統(tǒng)計(jì)特性是通過(guò)對(duì)大量圖像進(jìn)行學(xué)習(xí)得到的統(tǒng)計(jì)規(guī)律。這種特性比較抽象，一般對(duì)圖像進(jìn)行概率分布建模，將統(tǒng)計(jì)特性融合在概率模型的求解的參數(shù)里。一個(gè)比較常見的例子是EPLL先驗(yàn)（Expected Patch Log LIkelihood），其使用混合高斯模型從大量自然圖像塊中學(xué)習(xí)到先驗(yàn)知識(shí)。
基于監(jiān)督模型的深度學(xué)習(xí)方法也是利用神經(jīng)網(wǎng)絡(luò)去自學(xué)習(xí)自然圖像中的統(tǒng)計(jì)特性。

Deep image prior【題外話】

這是CVPR2018的文章。其也是通過(guò)神經(jīng)網(wǎng)絡(luò)獲取圖像先驗(yàn)，只不過(guò)與上面提到的用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量圖像中的統(tǒng)計(jì)特性不同，deep image prior認(rèn)為神經(jīng)網(wǎng)絡(luò)本身就是一種先驗(yàn)知識(shí)，網(wǎng)絡(luò)自身結(jié)構(gòu)限制了解的范圍。網(wǎng)絡(luò)會(huì)從退化圖像中提取特征以用于退化圖像的復(fù)原，且從結(jié)果可以看到，網(wǎng)絡(luò)會(huì)先學(xué)習(xí)到圖像中“未被破壞的，符合自然規(guī)律的部分”，然后才會(huì)學(xué)會(huì)退化圖像中“被破壞的部分”。

Deep Image Prior類似于自然圖像的非局部自相似性。關(guān)于Deep Image Prior的介紹可以參見這里。

參考：

https://www.jianshu.com/p/ed8a5b05c3a4

http://www4.comp.polyu.edu.hk/~cslzhang/paper/IR_lecture.pdf

http://www4.comp.polyu.edu.hk/~cslzhang/paper/SPM_IR.pdf

https://blog.csdn.net/zbwgycm/article/details/81187774

https://blog.csdn.net/m0_38045485/article/details/82147817

總結(jié)

以上是生活随笔為你收集整理的图像先验分布详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。