ADMM算法求解二次項(xiàng)目標(biāo)函數(shù)+l1正則項(xiàng)問(wèn)題

問(wèn)題描述

$$\underset{x}{\min }f(x)+\lambda ||x|{|}_1??????（1）$$
其中，f(x)為二次項(xiàng)函數(shù)，λ＞0，x是$R^n$上的列向量。

分析

由于(1)帶l1范數(shù)不可導(dǎo)，考慮將(1)轉(zhuǎn)化為以下問(wèn)題(2)：

$$\begin{gathered} \min f(x)+g(z) \\ x?z=0 \end{gathered}$$
其中，
$$g(z)=\lambda ||z|{|}_1$$
則增廣拉格朗日函數(shù)為
$$L(x,z,y)=f(x)+g(z)+y^T(x?z)+\frac{n}{2}||x?z|{|}_2^2$$
迭代算法為
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}L(x,z^k,y^k) \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}L(x^{k+1},z,y^k) \\ {y}^{k+1}:=y^k+n(x^{k+1}?z^{k+1}) \end{gathered}$$

簡(jiǎn)化

令$r=x?z$，則
$$\begin{gathered} y^T(x?z)+\frac{n}{2}||x?z|{|}_2^2=y^{T}r+\frac{n}{2}||r|{|}_2^2 \\ =\frac{n}{2}||r+\frac{1}{n}y|{|}_2^2?\frac{n}{2}||\frac{1}{n}y|{|}_2^2 \\ =\frac{n}{2}||x?z+u|{|}_2^2?\frac{n}{2}||u|{|}_2^2 \\ (u=\frac{1}{n}y） \end{gathered}$$
迭代算法可轉(zhuǎn)化為
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}f(x)+\frac{n}{2}||x?z^k+u^k|{|}_2^2 \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}g(z)+\frac{n}{2}||x^{k+1}?z+u^k|{|}_2^2 \\ {u}^{k+1}:=u^k+x^{k+1}?z^{k+1} \end{gathered}$$

問(wèn)題的求解

1.x-update的求取

對(duì)于x-update，由于f(x)是二次項(xiàng)目標(biāo)函數(shù)，不妨假設(shè)
$$f(x)=\frac{n}{2}||Ax?b|{|}_2^2$$A為n階方陣，b是與x同規(guī)模的矩陣。
那么x-update的求解即尋求超定線性方程組
$$\begin{gathered} Ax?b=0 \\ x?z^k+u^k=0 \end{gathered}$$的最小二乘解。此外，還可以通過(guò)以下方法求取x-update
$$f(x)+\frac{n}{2}||x?z^k+u^k|{|}_2^2=\frac{n}{2}(||Ax?b|{|}_2^2+||x?z^k+u^k|{|}_2^2)$$
對(duì)x求導(dǎo)，并令導(dǎo)數(shù)為0，有
$$A^{T}Ax?A^{T}b+x?z^k+u^k=(A^{T}A+I)x?(A^{T}b+z^k?u^k)=0$$
即$$（A^{T}A+I)x=A^{T}b+z^k?u^k$$

2.z-update的求取

對(duì)于z-update的求取，
$$g(z)+\frac{n}{2}||x^{k+1}?z+u^k|{|}_2^2={\Sigma }_{i=1}^n（\lambda |z_i|+\frac{n}{2}(x^{k+1}?z+u^k{)}^2)$$
對(duì)于第i個(gè)分量
當(dāng)$x_i^{k+1}+u_i^k>\frac{\lambda }{n}$時(shí)，$z_i^{k+1}=x_i^{k+1}+u_i^k?\frac{\lambda }{n}$；
當(dāng)$x_i^{k+1}+u_i^k<?\frac{\lambda }{n}$時(shí)，$z_i^{k+1}=x_i^{k+1}+u_i^k+\frac{\lambda }{n}$；
其他，$z_i^{k+1}=0.$

3.u-update的求取

$$u^{k+1}=u^k+x^{k+1}?z^{k+1}$$

總結(jié)

以上是生活随笔為你收集整理的ADMM算法求解二次项目标函数+l1正则项问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。