UA SIE545 優(yōu)化理論基礎(chǔ)4 對偶理論簡介6 求解對偶問題的梯度算法

這一講我們介紹求解對偶問題的另一個(gè)算法——梯度算法(gradient method)。

假設(shè)原問題為
$$\underset{x\in X}{\min }f(x)s.t.g(x)\le 0,h(x)=0$$

假設(shè)$f,g,h$是連續(xù)函數(shù)，$X$是緊集。根據(jù)定義，這個(gè)優(yōu)化的對偶問題是
$$\underset{u\ge 0}{\max }\theta (u,v)=\underset{u\ge 0}{\max }\underset{x\in X}{\min }f(x)+u^{T}g(x)+v^{T}h(x)$$

假設(shè)$\theta$可微。考慮對偶問題可行域中的點(diǎn)$(\bar{u},\bar{v})$，記
$$\bar{x}=\underset{x\in X}{\mathrm{argmin}}f(x)+{\bar{u}}^{T}g(x)+{\bar{v}}^{T}h(x)$$

則
$$?\theta (\bar{u},\bar{v})=[g(\bar{x}),h(\bar{x}){]}^T$$

引理 如果$(d_u,d_v)$非零，則它是一個(gè)feasible ascent direction，其中
$$(d_u,d_v)=[\hat{g}(\bar{x}),h(\bar{x}){]}^T,{\hat{g}}_i(\bar{x})=\{\begin{array}{l}{g}_i(\bar{x}),{\bar{u}}_i>0\\ \max (0,g_i(\bar{x})),{\bar{u}}_i=0\end{array}$$

評注
i）我們先從直覺上理解一下這個(gè)結(jié)果，如果$\bar{u}$每一個(gè)分量都滿足${\bar{u}}_i>0$，那么$(d_u,d_v)$就是$\theta$的梯度，這時(shí)算法思路就是無約束優(yōu)化的梯度下降；如果${\bar{u}}_i=0$，說明當(dāng)前位置已經(jīng)位于可行域的邊界了，我們必須限制這個(gè)feasible ascent direction使它不會(huì)把我們帶到${\bar{u}}_i<0$的區(qū)域，因此需要定義${\hat{g}}_i(\bar{x})=\max (0,g_i(\bar{x}))$。

ii）與梯度下降類似，在有了這個(gè)feasible ascent direction之后，我們可以用line search的思路去找最優(yōu)的下降步長，
$$\underset{\lambda }{\max }\{\theta (\bar{u}+\lambda d_u,\bar{v}+\lambda d_v):\bar{u}+\lambda d_u\ge 0,\lambda \ge 0\}$$

獲得下一組$(\bar{u},\bar{v})$然后重復(fù)這個(gè)過程，下面證明的第一部分給出了最優(yōu)值的判定準(zhǔn)則。

證明

i）如果$(d_u,d_v)$為零向量，則$(\bar{u},\bar{v})$就已經(jīng)是對偶問題的解了。

因?yàn)閷ε紗栴}的目標(biāo)函數(shù)是concave function，所以對偶問題的KKT point就是最優(yōu)解，我們只需說明$(\bar{u},\bar{v})$滿足KKT條件即可，也就是$?z_1$滿足
$$\begin{gathered} ?{?}_u\theta (\bar{u},\bar{v})?z_1=0 \\ ?{?}_v\theta (\bar{u},\bar{v})=0 \\ {z}_1^T\bar{u}=0,z_1\ge 0 \end{gathered}$$

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$d_v=0$，我們知道${?}_v\theta (\bar{u},\bar{v})=h(\bar{x})=0$，并且為了使$d_u=0$，需要${?}_u\theta (\bar{u},\bar{v})=g(\bar{x})\le 0$，以及$g(\bar{x}{)}^T{z}_1=0$，因此存在$z_1=?g(\bar{x})$滿足上述條件，所以$(\bar{u},\bar{v})$是對偶問題的解。

ii）如果$(d_u,d_v)$非零，在評注i）中我們已經(jīng)說明了$(d_u,d_v)$是一個(gè)feasible direction，下面我們說明它也是一個(gè)ascent direction，計(jì)算
$$\begin{gathered} ?\theta (\bar{u},\bar{v}{)}^{T}d={?}_u\theta (\bar{u},\bar{v}{)}^T{d}_u+{?}_v\theta (\bar{u},\bar{v}{)}^T{d}_v \\ =g^T(\bar{x})\hat{g}(\bar{x})+h(\bar{x}{)}^{T}h(\bar{x}) \end{gathered}$$

顯然它是大于零的。因此它是一個(gè)feasible ascent direction。

---

例 用梯度方法求解下列優(yōu)化的對偶問題
$$\begin{gathered} \min x_1^2+x_2^2 \\ s.t.?x_1+x_2+4\le 0 \\ {x}_1+2x_2?8\le 0 \end{gathered}$$

假設(shè)初始值為$(u_1,u_2)=(0,0)$。

解
我們先寫出對偶問題的目標(biāo)函數(shù)
$$\begin{gathered} \theta (u_1,u_2)=\min \{x_1^2+x_2^2+u_1(?x_1?x_2+4) \\ +u_2(x_1+2x_2?8)\} \end{gathered}$$

第一次循環(huán)：$(u_1,u_2)=(0,0)$
$\theta (u_1,u_2)=\theta (0,0)=0$，此時(shí)$x_1=x_2=0$，因此
$$(d_1,d_2)=(\max (0,4),\max (0,?8))=(4,0)$$

此時(shí)
$$\theta (u_1+\lambda d_1,u_2+\lambda d_2)=?8{\lambda }^2+16\lambda$$

當(dāng)$\lambda =1$時(shí)上式取最大值，因此下一次迭代使用$(u_1,u_2)=(4,0)$。

第二次循環(huán)：$(u_1,u_2)=(4,0)$
類似第一次循環(huán)的操作，可以計(jì)算出$(d_1,d_2)=(0,0)$，因此$(4,0)$是對偶問題的最優(yōu)解。

總結(jié)

以上是生活随笔為你收集整理的UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。