UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap
UA SIE545 優化理論基礎4 對偶理論簡介2 弱對偶與Duality Gap
上一講我們定義了Lagrange對偶，這一講我們介紹第一個重要結論——弱對偶定理(Weak duality theorem)。
我們先回顧一下Lagrange對偶的定義：考慮優化問題P：
min?f(x)s.t.g(x)≤0,h(x)=0,x∈X\min f(x) \\ s.t. \ g(x) \le 0, h(x) = 0, x \in Xminf(x)s.t.?g(x)≤0,h(x)=0,x∈X
定義其對偶問題為優化D：
sup?u,vθ(u,v)s.t.u≥0\sup_{u,v} \theta(u,v) \\ s.t. u \ge 0u,vsup?θ(u,v)s.t.u≥0
其中
θ(u,v)=inf?x∈X?(x,u,v)=inf?x∈Xf(x)+uTg(x)+vTh(x)\theta(u,v)=\inf_{x \in X}\phi(x,u,v) =\inf_{x \in X} f(x)+u^Tg(x)+v^Th(x)θ(u,v)=x∈Xinf??(x,u,v)=x∈Xinf?f(x)+uTg(x)+vTh(x)
Weak duality theorem 假設xˉ\bar xxˉ是優化問題P的可行解，(u,v)(u,v)(u,v)是優化問題D的可行解，則f(xˉ)≥θ(u,v)f(\bar x)\ge \theta(u,v)f(xˉ)≥θ(u,v)。
評注 這個結果直覺上是來自我們上一講例1導出Lagrange對偶的過程的，我們導出對偶問題的目標是要找一個目標函數最小值的一個“有價值”的下界，所以從直覺上講對偶問題目標函數的最優值當然比原問題的目標函數最優值更小。
證明
直接摘錄上面的定義，
θ(u,v)=inf?x∈Xf(x)+uTg(x)+vTh(x)≤f(x)+uTg(x)+vTh(x),?x∈X≤f(xˉ)\theta(u,v)=\inf_{x \in X} f(x)+u^Tg(x)+v^Th(x) \\ \le f(x)+u^Tg(x)+v^Th(x) ,\forall x \in X \le f(\bar x)θ(u,v)=x∈Xinf?f(x)+uTg(x)+vTh(x)≤f(x)+uTg(x)+vTh(x),?x∈X≤f(xˉ)
最后這個不等號是因為u≥0u \ge 0u≥0, g(x)≤0g(x) \le 0g(x)≤0而h(x)=0h(x)=0h(x)=0。
證畢
可以說弱對偶定理并不是一個很令人驚嘆的結果，因為我們從直覺、從定義就可以發現這個事實。但弱對偶定理還有四個有趣的推論：
推論1
inf?{f(x):x∈X,g(x)≤0,h(x)=0}≥sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} \\ \ge \sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}≥sup{θ(u,v):u≥0}
這個推論可以看成是用公式來表示的弱對偶定理，并沒有提供額外的信息。
推論2
如果f(xˉ)=θ(uˉ,vˉ)f(\bar x)=\theta(\bar u,\bar v)f(xˉ)=θ(uˉ,vˉ)，uˉ≥0,xˉ∈{x∈X:g(x)≤0,h(x)=0}\bar u \ge 0,\bar x \in \{x \in X:g(x) \le 0,h(x)=0\}uˉ≥0,xˉ∈{x∈X:g(x)≤0,h(x)=0}，則xˉ\bar xxˉ和uˉ,vˉ\bar u,\bar vuˉ,vˉ分別是優化P與優化D的解。
這個推論可以從推論1直接得到，如果xˉ\bar xxˉ不是最優解就違背了下確界的定義，如果uˉ,vˉ\bar u,\bar vuˉ,vˉ不是最優解就違背了上確界的定義。
推論3
如果inf?{f(x):x∈X,g(x)≤0,h(x)=0}=?∞\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\}=-\inftyinf{f(x):x∈X,g(x)≤0,h(x)=0}=?∞
則θ(u,v)=?∞,?u≥0\theta(u,v)=-\infty,\forall u \ge 0θ(u,v)=?∞,?u≥0。
小于負無窮大量，那就是負無窮了，這個也能直接從弱對偶定理推出。
推論4
如果sup?{θ(u,v):u≥0}=+∞\sup\{\theta(u,v):u \ge 0\}=+\inftysup{θ(u,v):u≥0}=+∞，則優化P沒有可行解。因為根據推論1，inf?f\inf finff就大于無窮大量的。
推論1點出了弱對偶中“弱”這個字的內涵，因為對偶問題目標函數最優值只是原問題目標函數最優值的下界，所以它實際上能告訴我們的信息非常弱，下一講我們會介紹強對偶定理，強對偶意味著原問題與對偶問題最優值是相等的，也就是推論1中的不等式會取等
inf?{f(x):x∈X,g(x)≤0,h(x)=0}=sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\}=\sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}=sup{θ(u,v):u≥0}這樣的對偶能提供的信息就非常強了。當
inf?{f(x):x∈X,g(x)≤0,h(x)=0}>sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\}>\sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}>sup{θ(u,v):u≥0}
時，稱二者之差為Duality gap。下面的兩個例子分別是關于強對偶與Duality gap的。
例3 考慮優化問題
min?(x?2)2+(y?2)2s.t.x≤0,y≤0\min (x-2)^2+(y-2)^2 \\ s.t. x \le 0,y \le 0min(x?2)2+(y?2)2s.t.x≤0,y≤0
這個問題的幾何含義是在第三象限內找一個距離(2,2)(2,2)(2,2)最近的點。我們先寫出它的對偶問題，定義
?(x,y,u1,u2)=(x?2)2+(y?2)2+2u1x+2u2y\phi(x,y,u_1,u_2)=(x-2)^2+(y-2)^2+2u_1x+2u_2y?(x,y,u1?,u2?)=(x?2)2+(y?2)2+2u1?x+2u2?y
選擇x,yx,yx,y最小化這個函數，不難發現x=2?u1,y=2?u2x=2-u_1,y=2-u_2x=2?u1?,y=2?u2?，因此
θ(u1,u2)=?[(u1?2)2+(u2?2)2]+8\theta(u_1,u_2)=-[(u_1-2)^2+(u_2-2)^2]+8θ(u1?,u2?)=?[(u1??2)2+(u2??2)2]+8
對偶問題為
max??[(u1?2)2+(u2?2)2]+8s.t.u1≥0,u2≥0\max -[(u_1-2)^2+(u_2-2)^2]+8 \\ s.t. u_1 \ge 0,u_2 \ge 0max?[(u1??2)2+(u2??2)2]+8s.t.u1?≥0,u2?≥0
我們一眼就能看出對偶問題和原問題的最優值是相同的，因此這個原問題的對偶是一個強對偶。
例4 考慮下面的線性規劃
min??2x1+x2s.t.x1+x2?3=0(x1,x2)∈{(0,0),(0,4),(4,4),(4,0),(1,2),(2,1)}\min -2x_1+x_2 \\ s.t. x_1+x_2-3 = 0 \\ (x_1,x_2) \in \{(0,0),(0,4),(4,4),(4,0),(1,2),(2,1)\}min?2x1?+x2?s.t.x1?+x2??3=0(x1?,x2?)∈{(0,0),(0,4),(4,4),(4,0),(1,2),(2,1)}
因為可行域是一個有限集，我們很容易驗證(2,1)(2,1)(2,1)是最優點，并且最優值為-3。下面考慮它的對偶問題，
θ(v)=min?x∈X{?2x1+x2+v(x1+x2?3)}={?4+5v,v≤?1?8+v,?1≤v≤2?3v,v≥2\theta(v)=\min_{x \in X}\{-2x_1+x_2+v(x_1+x_2-3)\} \\ = \begin{cases} -4+5v, v \le -1 \\ -8+v , -1 \le v \le 2 \\ -3v, v \ge 2 \end{cases}θ(v)=x∈Xmin?{?2x1?+x2?+v(x1?+x2??3)}=???????4+5v,v≤?1?8+v,?1≤v≤2?3v,v≥2?
它的最大值在v=2v=2v=2處取得，為-6，它是小于原問題的最優值-3的，它們的差值3就是Duality gap。
總結
以上是生活随笔為你收集整理的UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH523A 实分析3 积分理
- 下一篇： UA MATH563 概率论的数学基础