首先給出ADMM計(jì)算框架。背景知識查閱網(wǎng)絡(luò)，這里不做贅述。實(shí)際是為了“分布式”地解決一類問題。

問題表述：

min?f(x)+g(z)????s.t.?Ax+Bz=c????(1)minf(x)+g(z)s.t.Ax+Bz=c(1)
其中： x∈Rn,?z∈Rm,?A∈Rp×n,?B∈Rp×m,?c∈Rp,?f:Rn→R,?g:Rm→R.x∈Rn,z∈Rm,A∈Rp×n,B∈Rp×m,c∈Rp,f:Rn→R,g:Rm→R.
xx 和 zz 是優(yōu)化問題的自變量， min?f(x)+g(z)minf(x)+g(z) 是目標(biāo)函數(shù)， Ax+Bz=cAx+Bz=c 是約束條件（的合集）。

其增廣拉格朗日函數(shù)：

Lρ(x,z,y)=f(x)+g(z)+yT(Ax+Bz?c)+(2/ρ)∥Ax+Bz?c∥2FLρ(x,z,y)=f(x)+g(z)+yT(Ax+Bz?c)+(2/ρ)‖Ax+Bz?c‖F(xiàn)2
所謂拉格朗日法，就是多設(shè)一個自變量 yy，稱為拉格朗日算子（又稱對偶變量），所謂增廣，就是添加了懲罰函數(shù)（帶ρρ 那項(xiàng)）。

然后就是ADMM計(jì)算框架的核心步驟了，根據(jù)以下步驟重復(fù)迭代：

xk+1zk+1yk+1:=argminxLρ(x,zk,yk):=argminzLρ(xk+1,z,yk):=yk+ρ(Axk+1+Bzk+1?c)xk+1:=arg?minxLρ(x,zk,yk)zk+1:=arg?minzLρ(xk+1,z,yk)yk+1:=yk+ρ(Axk+1+Bzk+1?c)
又設(shè) u=(1/ρ)yu=(1/ρ)y，對 Ax+Bz?cAx+Bz?c 配方，可以得到更便于計(jì)算的形式：
xk+1zk+1uk+1:=argminx(f(x)+(ρ/2)∥Ax+Bzk?c+uk∥22):=argminz(g(z)+(ρ/2)∥Axk+1+Bz?c+uk∥22):=uk+(Axk+1+Bzk+1?c)xk+1:=arg?minx(f(x)+(ρ/2)‖Ax+Bzk?c+uk‖22)zk+1:=arg?minz(g(z)+(ρ/2)‖Axk+1+Bz?c+uk‖22)uk+1:=uk+(Axk+1+Bzk+1?c)
這就是ADMM算法的主要內(nèi)容了 1。不做過多解釋，更多資料查閱參見腳注。

在工程實(shí)際中就是套用不同的f(x),?g(x)f(x),g(x) 以及約束條件Ax+Bz=cAx+Bz=c 而已。

其次是一致性和收斂性的問題
（未完待續(xù)）

---

---

[http://mullover.me/2016/01/19/admm-for-distributed-statistical-learning/] ?

總結(jié)

以上是生活随笔為你收集整理的ADMM算法框架（未完待续 持续更新）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。