ADMM算法求解二次項目標函數+l1正則項問題

問題描述

$$\underset{x}{\min }f(x)+\lambda ||x|{|}_1??????（1）$$
其中，f(x)為二次項函數，λ＞0，x是$R^n$上的列向量。

分析

由于(1)帶l1范數不可導，考慮將(1)轉化為以下問題(2)：

$$\begin{gathered} \min f(x)+g(z) \\ x?z=0 \end{gathered}$$
其中，
$$g(z)=\lambda ||z|{|}_1$$
則增廣拉格朗日函數為
$$L(x,z,y)=f(x)+g(z)+y^T(x?z)+\frac{n}{2}||x?z|{|}_2^2$$
迭代算法為
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}L(x,z^k,y^k) \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}L(x^{k+1},z,y^k) \\ {y}^{k+1}:=y^k+n(x^{k+1}?z^{k+1}) \end{gathered}$$

簡化

令$r=x?z$，則
$$\begin{gathered} y^T(x?z)+\frac{n}{2}||x?z|{|}_2^2=y^{T}r+\frac{n}{2}||r|{|}_2^2 \\ =\frac{n}{2}||r+\frac{1}{n}y|{|}_2^2?\frac{n}{2}||\frac{1}{n}y|{|}_2^2 \\ =\frac{n}{2}||x?z+u|{|}_2^2?\frac{n}{2}||u|{|}_2^2 \\ (u=\frac{1}{n}y） \end{gathered}$$
迭代算法可轉化為
$$\begin{gathered} x^{k+1}:=\underset{x}{\mathrm{argmin}}f(x)+\frac{n}{2}||x?z^k+u^k|{|}_2^2 \\ {z}^{k+1}:=\underset{z}{\mathrm{argmin}}g(z)+\frac{n}{2}||x^{k+1}?z+u^k|{|}_2^2 \\ {u}^{k+1}:=u^k+x^{k+1}?z^{k+1} \end{gathered}$$

問題的求解

1.x-update的求取

對于x-update，由于f(x)是二次項目標函數，不妨假設
$$f(x)=\frac{n}{2}||Ax?b|{|}_2^2$$A為n階方陣，b是與x同規模的矩陣。
那么x-update的求解即尋求超定線性方程組
$$\begin{gathered} Ax?b=0 \\ x?z^k+u^k=0 \end{gathered}$$的最小二乘解。此外，還可以通過以下方法求取x-update
$$f(x)+\frac{n}{2}||x?z^k+u^k|{|}_2^2=\frac{n}{2}(||Ax?b|{|}_2^2+||x?z^k+u^k|{|}_2^2)$$
對x求導，并令導數為0，有
$$A^{T}Ax?A^{T}b+x?z^k+u^k=(A^{T}A+I)x?(A^{T}b+z^k?u^k)=0$$
即$$（A^{T}A+I)x=A^{T}b+z^k?u^k$$

2.z-update的求取

對于z-update的求取，
$$g(z)+\frac{n}{2}||x^{k+1}?z+u^k|{|}_2^2={\Sigma }_{i=1}^n（\lambda |z_i|+\frac{n}{2}(x^{k+1}?z+u^k{)}^2)$$
對于第i個分量
當$x_i^{k+1}+u_i^k>\frac{\lambda }{n}$時，$z_i^{k+1}=x_i^{k+1}+u_i^k?\frac{\lambda }{n}$；
當$x_i^{k+1}+u_i^k<?\frac{\lambda }{n}$時，$z_i^{k+1}=x_i^{k+1}+u_i^k+\frac{\lambda }{n}$；
其他，$z_i^{k+1}=0.$

3.u-update的求取

$$u^{k+1}=u^k+x^{k+1}?z^{k+1}$$

總結

以上是生活随笔為你收集整理的ADMM算法求解二次项目标函数+l1正则项问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。