1：解決的問題模型如下：

?
或者約束條件可以適當(dāng)?shù)乃沙?#xff0c;即為如下模型：?
?
當(dāng)然約束條件取范數(shù)，數(shù)據(jù)獲取的比較準(zhǔn)確，結(jié)果逼近的效果更好，防止過擬合。如果取?范數(shù)，則是獲取的數(shù)據(jù)，受到污染比較嚴(yán)重。并且?本身就是稀疏的。這也是人的經(jīng)驗(yàn)對(duì)于模型的成功也是很重要的。?
2：幾類優(yōu)化算法?
(1)梯度投影算法Gradient Projection Methods?
原問題可以變?yōu)槿缦聠栴}：?
?
下面介紹兩種方法對(duì)其進(jìn)行處理。?
i)上式又等價(jià)于：?

?
所以就有如下記號(hào)和約定：?
?
更新?時(shí)沿著負(fù)梯度的方向下降最快。但是只是局部最小值。?
?
其中?是步長(zhǎng)，可以用線搜索的方法來(lái)確定最優(yōu)步長(zhǎng)。?
下介紹第二種方法 truncated Newton interior-point method.?
ii)上式又等價(jià)于：?
?
利用內(nèi)點(diǎn)法的把約束條件給罰到目標(biāo)函數(shù)上去。?
在這里我們對(duì)約束條件利用logarithmic barrier函數(shù)進(jìn)行改寫。?
?
在這里，我們可以看到當(dāng)?越接近的時(shí)候，函數(shù)值會(huì)變得越大。當(dāng)?無(wú)限趨近于時(shí)，則函數(shù)值無(wú)限趨于無(wú)窮大。所以只有當(dāng)?趨近于0時(shí)候，函數(shù)值才趨近于一個(gè)常數(shù)。?
所以上式可以等價(jià)于如下模型：?

然后利用牛頓算法進(jìn)行求解計(jì)算。

(2)迭代閾值收縮算法 Iterative Shrinkage-Thresholding Methods?
對(duì)于一般的模型：?
?
其中：

對(duì)?二次近似。則問題轉(zhuǎn)變成如下：?
?
可以適用迭代閾值算法。關(guān)于l_{1}范數(shù)最優(yōu)化的迭代閾值算法的證明可以參見我的另一篇博客

(3)近端梯度算法 Proximal gradient method?
其處理的模型如下：?
?
其中是連續(xù)可微的，微分函數(shù)滿足利普希茨條件成立：?
?
其中相當(dāng)于代替的二階偏導(dǎo)。?
那么可以進(jìn)行如下算法來(lái)解決問題：?
?
說(shuō)明：?
第一步的更新：按照沿著負(fù)梯度的方向下降最快?
第二步的更新：有數(shù)值解，進(jìn)行軟閾值操作。?
(4)交替方向法 Alternating Direction Methods?
其實(shí)利用的是拉格朗日算法，來(lái)進(jìn)行更新出來(lái)。解決的模型如下：?
?
其拉格朗日函數(shù)如下：?
?
問題變?yōu)榉謩e最小化。?
說(shuō)明：?
更新時(shí)，固定，直接求導(dǎo)，有數(shù)值解。?
更新?時(shí)，固定經(jīng)過化簡(jiǎn)，可以運(yùn)用軟閾值進(jìn)行操作計(jì)算。?
更新時(shí)，固定，直接求導(dǎo)，有數(shù)值解。

總結(jié)

以上是生活随笔為你收集整理的l1范数最小化快速算法【文献阅读】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。