UA SIE545 優化理論基礎4 對偶理論簡介6 求解對偶問題的梯度算法

這一講我們介紹求解對偶問題的另一個算法——梯度算法(gradient method)。

假設原問題為
$$\underset{x\in X}{\min }f(x)s.t.g(x)\le 0,h(x)=0$$

假設$f,g,h$是連續函數，$X$是緊集。根據定義，這個優化的對偶問題是
$$\underset{u\ge 0}{\max }\theta (u,v)=\underset{u\ge 0}{\max }\underset{x\in X}{\min }f(x)+u^{T}g(x)+v^{T}h(x)$$

假設$\theta$可微。考慮對偶問題可行域中的點$(\bar{u},\bar{v})$，記
$$\bar{x}=\underset{x\in X}{\mathrm{argmin}}f(x)+{\bar{u}}^{T}g(x)+{\bar{v}}^{T}h(x)$$

則
$$?\theta (\bar{u},\bar{v})=[g(\bar{x}),h(\bar{x}){]}^T$$

引理 如果$(d_u,d_v)$非零，則它是一個feasible ascent direction，其中
$$(d_u,d_v)=[\hat{g}(\bar{x}),h(\bar{x}){]}^T,{\hat{g}}_i(\bar{x})=\{\begin{array}{l}{g}_i(\bar{x}),{\bar{u}}_i>0\\ \max (0,g_i(\bar{x})),{\bar{u}}_i=0\end{array}$$

評注
i）我們先從直覺上理解一下這個結果，如果$\bar{u}$每一個分量都滿足${\bar{u}}_i>0$，那么$(d_u,d_v)$就是$\theta$的梯度，這時算法思路就是無約束優化的梯度下降；如果${\bar{u}}_i=0$，說明當前位置已經位于可行域的邊界了，我們必須限制這個feasible ascent direction使它不會把我們帶到${\bar{u}}_i<0$的區域，因此需要定義${\hat{g}}_i(\bar{x})=\max (0,g_i(\bar{x}))$。

ii）與梯度下降類似，在有了這個feasible ascent direction之后，我們可以用line search的思路去找最優的下降步長，
$$\underset{\lambda }{\max }\{\theta (\bar{u}+\lambda d_u,\bar{v}+\lambda d_v):\bar{u}+\lambda d_u\ge 0,\lambda \ge 0\}$$

獲得下一組$(\bar{u},\bar{v})$然后重復這個過程，下面證明的第一部分給出了最優值的判定準則。

證明

i）如果$(d_u,d_v)$為零向量，則$(\bar{u},\bar{v})$就已經是對偶問題的解了。

因為對偶問題的目標函數是concave function，所以對偶問題的KKT point就是最優解，我們只需說明$(\bar{u},\bar{v})$滿足KKT條件即可，也就是$?z_1$滿足
$$\begin{gathered} ?{?}_u\theta (\bar{u},\bar{v})?z_1=0 \\ ?{?}_v\theta (\bar{u},\bar{v})=0 \\ {z}_1^T\bar{u}=0,z_1\ge 0 \end{gathered}$$

因為$d_v=0$，我們知道${?}_v\theta (\bar{u},\bar{v})=h(\bar{x})=0$，并且為了使$d_u=0$，需要${?}_u\theta (\bar{u},\bar{v})=g(\bar{x})\le 0$，以及$g(\bar{x}{)}^T{z}_1=0$，因此存在$z_1=?g(\bar{x})$滿足上述條件，所以$(\bar{u},\bar{v})$是對偶問題的解。

ii）如果$(d_u,d_v)$非零，在評注i）中我們已經說明了$(d_u,d_v)$是一個feasible direction，下面我們說明它也是一個ascent direction，計算
$$\begin{gathered} ?\theta (\bar{u},\bar{v}{)}^{T}d={?}_u\theta (\bar{u},\bar{v}{)}^T{d}_u+{?}_v\theta (\bar{u},\bar{v}{)}^T{d}_v \\ =g^T(\bar{x})\hat{g}(\bar{x})+h(\bar{x}{)}^{T}h(\bar{x}) \end{gathered}$$

顯然它是大于零的。因此它是一個feasible ascent direction。

---

例 用梯度方法求解下列優化的對偶問題
$$\begin{gathered} \min x_1^2+x_2^2 \\ s.t.?x_1+x_2+4\le 0 \\ {x}_1+2x_2?8\le 0 \end{gathered}$$

假設初始值為$(u_1,u_2)=(0,0)$。

解
我們先寫出對偶問題的目標函數
$$\begin{gathered} \theta (u_1,u_2)=\min \{x_1^2+x_2^2+u_1(?x_1?x_2+4) \\ +u_2(x_1+2x_2?8)\} \end{gathered}$$

第一次循環：$(u_1,u_2)=(0,0)$
$\theta (u_1,u_2)=\theta (0,0)=0$，此時$x_1=x_2=0$，因此
$$(d_1,d_2)=(\max (0,4),\max (0,?8))=(4,0)$$

此時
$$\theta (u_1+\lambda d_1,u_2+\lambda d_2)=?8{\lambda }^2+16\lambda$$

當$\lambda =1$時上式取最大值，因此下一次迭代使用$(u_1,u_2)=(4,0)$。

第二次循環：$(u_1,u_2)=(4,0)$
類似第一次循環的操作，可以計算出$(d_1,d_2)=(0,0)$，因此$(4,0)$是對偶問題的最優解。

總結

以上是生活随笔為你收集整理的UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。