UA SIE545 優化理論基礎4 對偶理論簡介4 求解對偶問題的割平面算法

這一講我們介紹一個求解對偶問題的算法——割平面算法(cutting plane algorithm)。

假設原問題為
$$\underset{x\in X}{\min }f(x)s.t.g(x)\le 0,h(x)=0$$

假設$f,g,h$是連續函數，$X$是緊集。根據定義，這個優化的對偶問題是
$$\underset{u\ge 0}{\max }\theta (u,v)=\underset{u\ge 0}{\max }\underset{x\in X}{\min }f(x)+u^{T}g(x)+v^{T}h(x)$$

我們可以等價地把這個優化改寫成：
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le \theta (u,v)=\underset{x\in X}{\min }f(x)+u^{T}g(x)+v^{T}h(x) \\ u\ge 0 \end{gathered}$$

進一步，
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le f(x)+u^{T}g(x)+v^{T}h(x),?x\in X \\ u\ge 0 \end{gathered}$$

當給定$x$的值時，這個優化就是一個簡單的線性規劃，為了讓這種替代可行，我們希望$X$是一個有限集，這樣才能在有限步內結束循環。但一般$X$都不會是有限集，這時我們可以先給定一個$x$的初值，然后在每一次做完這個優化后，再去求解${\min }_{x\in X}f(x)+u^{T}g(x)+v^{T}h(x)$這個問題，從而得到一個新的$x$，這樣就避免了去遍歷無限集$X$。基于這個思想，我們可以定義下面的算法：

初始化：定義$k=1$，選擇初值$x_0$使得$x_0\in X$, $g(x_0)\le 0,h(x_0)=0$

求解Master Program：$$\begin{gathered} (z_k,u_k,v_k)=\underset{z,u,v}{\mathrm{argmax}}z \\ s.t.z\le f(x)+u^{T}g(x)+v^{T}h(x),?x=x_0,x_1,?,x_{k?1} \\ u\ge 0 \end{gathered}$$

求解subproblem: $$x_k=\underset{x\in X}{\mathrm{argmin}}f(x)+u_k^{T}g(x)+v_k^{T}h(x)$$

停止準則：如果$$z_k=\theta (u_k,v_k)=f(x_k)+u_k^{T}g(x_k)+v_k^{T}h(x_k)$$則停止循環，返回$(u_k,v_k)$；如果$z_k>\theta (u_k,v_k)$, 賦值$k=k+1$，回到第二步。

---

例 用割平面法求解下面的優化的對偶問題
$$\begin{gathered} \underset{(x_1,x_2)\in X}{\min }f(x_1,x_2)=(x_1?2{)}^2+\frac{x_2^2}{4} \\ s.t.g(x_1,x_2)=x_1?\frac{7}{2}{x}_2?1\le 0 \\ X=\{(x_1,x_2):2x_1+3x_2=4\} \end{gathered}$$

找一個初始值$x_0=(\frac{5}{4},\frac{1}{2})$，

第一次循環：

求解Master Problem
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le f(x_0)+u^{T}g(x_0)+v^{T}h(x_0)=\frac{5}{8}?\frac{3}{2}u \\ u\ge 0 \end{gathered}$$

最優解為$(z_1,u_1)=(\frac{5}{8},0)$。

求解subproblem
$$\begin{gathered} x_1=\underset{x\in X}{\mathrm{argmin}}f(x)+u_k^{T}g(x)+v_k^{T}h(x) \\ =\underset{x\in X}{\mathrm{argmin}}f(x)=(2,0) \end{gathered}$$

判斷是否停止
$z_1=\frac{5}{8}>\theta (u_1)=f(x_1)=0$，所以算法繼續。

第二次循環：
求解Master Problem
$$\begin{gathered} \underset{z,u,v}{\max }z \\ s.t.z\le f(x_0)+u^{T}g(x_0)+v^{T}h(x_0)=\frac{5}{8}?\frac{3}{2}u \\ z\le f(x_1)+u^{T}g(x_1)+v^{T}h(x_1)=u \\ u\ge 0 \end{gathered}$$

最優解為$(z_2,u_2)=(\frac{1}{4},\frac{1}{4})$。

。。。。

然后按步驟繼續循環即可！

總結

以上是生活随笔為你收集整理的UA SIE545 优化理论基础4 对偶理论简介4 求解对偶问题的割平面算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。