UA SIE545 優化理論基礎4 對偶理論簡介5 對偶的幾何解釋

前四講我們建立了弱對偶與強對偶的概念與理論，這一講我們試圖從直觀上理解對偶。

---

強對偶的幾何解釋

考慮下面的優化
$$\begin{gathered} \min (x?2{)}^2 \\ s.t.x\ge 0 \end{gathered}$$

從幾何上，這個優化想在數軸的非負半軸找一個距離$x=2$最近的點。下面我們寫出對偶問題，
$$\theta (u)=\inf \{(x?2{)}^2?ux:x\ge 0\}=?(u+2{)}^2+4$$

取得inf的$x$滿足$x=u+2$，因此對偶問題為
$$\underset{u\ge 0}{\max }\theta (u)=\underset{u\ge 0}{\max }[?(u+2{)}^2+4]$$

我們在原優化問題的空間中討論，記$y=(x?2{)}^2$，這是原優化問題的目標函數，在空間${\mathbb{R}}^2$中，Lagrange函數是一族拋物線
$$\{(x,y):y=(x?2{)}^2?ux,u\ge 0\}$$

另外，我們可以把對偶問題理解為一個單參數映射，
$$\left[\begin{array}{c}x\\ y\end{array}\right](u)=\left[\begin{array}{c}u+2\\ ?(u+2{)}^2+4\end{array}\right],u\ge 0$$

它其實就是${\mathbb{R}}^2$中的一條參數曲線，消去參數$u$，我們可以得到曲線的表達式為
$$y=?x^2+4,x\ge 2$$

它就是對偶問題目標函數在原優化問題參數空間中的表示。在下圖中，黑色虛線表示原優化問題的Lagrange函數，這是一簇拋物線；紅線是對偶問題的目標函數在原優化問題參數空間中的表示，當然按定義域它應該取$x\ge 2$的部分。紅色的線穿過黑色的線的最小值，這是由對偶問題的定義決定的，也就是由$\theta (u)=\inf \{(x?2{)}^2?ux:x\ge 0\}$決定的。紅線的最大值在(2,0)處取得，第一條黑線($y=(x?2{)}^2,x\ge 0$)的也是，因此這個優化的對偶是強對偶。

---

Duality Gap的幾何解釋

考慮下面的線性規劃
$$\begin{gathered} \min ?2x_1+x_2 \\ s.t.x_1+x_2?3=0 \\ (x_1,x_2)\in \{(0,0),(0,4),(4,4),(4,0),(1,2),(2,1)\} \end{gathered}$$

在之前的博客的例4中，我們導出了對偶問題的目標函數為
$$\theta (v)=?\begin{array}{l}?4+5v,v\le ?1\\ ?8+v,?1\le v\le 2\\ ?3v,v\ge 2\end{array}$$

我們在原問題的參數空間中作圖：紅色標注的點是集合$X$，藍色虛線是約束$x_1+x_2?3=0$，它們的交集$(1,2),(2,1)$是可行域，淺藍實線的截距是$(1,2)$對應的目標函數值，紫色實線的截距是$(2,1)$對應的目標函數值，我們要找最小值，所以應該取$(2,1)$作為最優點，最小值就是紫色實線的截距-3，在圖上由綠色標記的點表示；現在看對偶問題的目標函數，它的值應該對應到圖上$\{?2x_1+x_2=b\}$這組平行直線的截距，這個分段函數表示截距有三個取值范圍，當$v\le ?1$時，取值范圍是截距小于等于-9，如下圖淺綠色區域；當$?1\le v\le 2$時，取值范圍是截距在-9到-6之間，如下圖淺紅色區域，當$v\ge 2$時，取值范圍是截距小于等于-6，也就是淺綠色和淺紅色區域的并。顯然當$v=2$是對偶問題目標函數最大且最大值為-6，在圖上標記為淺藍色點，淺藍色點與綠色點之間的距離3就是Duality Gap。

總結

以上是生活随笔為你收集整理的UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。