前言：

????? Tibshirani(1996)提出了Lasso( The Least Absolute Shrinkage and Selectionator operator ) 算法。這種算法通過構造一個懲罰函數獲得一個精煉的模型；通過最終確定一些指標的系數為零，LASSO算法實現了指標集合精簡的目的。這是一種處理具有復共線性數據的有偏估計。Lasso的基本思想是在回歸系數的絕對值之和小于一個常數的約束條件下，使殘差平方和最小化，從而能夠產生某些 嚴格等于 0 的回歸系數，得到解釋力較強的模型。R統計軟件的Lars算法的軟件包提供了Lasso算法。根據模型改進的需要，數據挖掘工作者可以借助于Lasso算法，利用AIC準則和BIC準則精煉簡化統計模型的變量集合，達到降維的目的。因此，Lasso算法是可以應用到數據挖掘中的實用算法。

??????? LASSO方程是一個圖像處理中經典的目標方程

?????? 第二項的1范數限制了x的稀疏性。

??????? 比如在圖像去模糊的問題中，已知模糊的圖像b，和模糊函數R，我們想恢復去模糊的圖像I。這些變量的關系可以表達成I*R=b，其中*為卷積。在理想狀態下，b沒有任何噪音，那么這個問題就很簡單。基于卷積定理，兩個函數在時域的卷積相當于頻域的相乘，那么我們只需要求出b和R的傅里葉變換，然后相除得到I的傅里葉變換，再將其恢復到時域。但是一般來說模糊圖像b含有噪聲，這使得頻域中的操作異常不穩定，所以更多時候，我們希望通過以下方程求得I

??????? 其中模糊算子R表現成矩陣形式，I和b表示為1維向量，函數p作為規范項。我們將I小波分解，I=Wx,其中W為小波基，x為小波基系數。我們知道圖像的小波表示是稀疏的，那么目標方程就變成了LASSO的形式

????? 其中A=RW。現在的問題是，這個方程由于L1范數的存在，不是處處可微的，如果用 subgradient 的方法，收斂的速度會很慢。

ISTA(Iterative Shrinkage-Thresholding Algorithm)

?????? 這個算法可以解決以上f+g形式的最小化問題，但ISTA適用于以下形式問題的求解：1.目標方程是f+g的形式2.f和g是凸的，f是可導的，g無所謂3.g需要足夠簡單（可拆分的，可以做坐標下降的coordinate descent）我們首先看對f做一般的遞歸下降

??????? 這種形式的遞歸下降可以寫成等價的以下形式(general form)

?????? 因為在我們的問題中除了f還有一個非平滑的g存在，一個簡單的想法是改變迭代公式成以下形式(也就是直接把g加到后面)

??????? 通過基本的代數，消去和x無關的常數項，每一步的迭代公式就變成了

??????? 這時我們可以看到，假如g是一個開拆分的函數(比如L1范數)，我們就可以對每一維分別進行坐標下降，也就是將N維的最小值問題，轉化成N個1D的最小值問題。我們發現，如果的話，那么這個問題有解析解,即每步的迭代可以寫成：

?????? 其中稱作shrinkage operator。

FISTA(FAST Iterative Shrinkage-Thresholding Algorithm)

?????? FISTA其實就是對ISTA應用Nestrerov加速。一個普通的Nestrerov加速遞歸下降的迭代步驟是：

1.??

2.??

3. ?

4.??

?????? 應用到FISTA上的話，就是把第3步換成ISTA的迭代步驟。可以證明FISTA可以達到的收斂速度。（t是迭代次數）通過下面的實驗可以看到，同樣迭代了300次，左圖(ISTA)仍未收斂，圖像仍然模糊。而右圖(FISTA)已經基本還原了去模糊的原圖。

總結

以上是生活随笔為你收集整理的LASSOS方程--图像降噪的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。