UA SIE545 优化理论基础4 对偶理论简介3 强对偶
UA SIE545 優化理論基礎4 對偶理論簡介3 強對偶
上一講介紹了弱對偶，弱對偶滿足
inf?{f(x):x∈X,g(x)≤0,h(x)=0}≥sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} \ge \sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}≥sup{θ(u,v):u≥0}
如果這個式子取等，那就是強對偶，原問題與對偶問題的最優值相等。相比弱對偶，我們肯定是更希望有強對偶的，這一講我們討論什么樣的優化問題，它的Lagrange對偶是強對偶。
Strong Duality Theorem
假設XXX是非空凸集，f,gf,gf,g是凸函數，h(x)h(x)h(x)是仿射函數(或者可以寫成h(x)=Ax?bh(x)=Ax-bh(x)=Ax?b的形式)，使得下面的條件成立：
?x^∈X,g(x^)<0,h(x^)=0,0∈inth(X)\exists \hat x \in X,g(\hat x)<0,h(\hat x)=0,0 \in int\ h(X)?x^∈X,g(x^)<0,h(x^)=0,0∈int?h(X)則下面的結論成立
inf?{f(x):x∈X,g(x)≤0,h(x)=0}=sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} =\sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}=sup{θ(u,v):u≥0}
另外，如果inf?{f(x):x∈X,g(x)≤0,h(x)=0}<∞\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\}<\inftyinf{f(x):x∈X,g(x)≤0,h(x)=0}<∞，并且xˉ\bar xxˉ和uˉ,vˉ\bar u,\bar vuˉ,vˉ分別為原問題與對偶問題的最優解，則
uˉTg(xˉ)=0\bar u^Tg(\bar x)=0uˉTg(xˉ)=0
這一講我們先完成這個定理的證明，之后再討論強對偶的實際應用。
在正式證明這個定理之前，我們先介紹一個非常重要的Farkas定理類型的引理，這個引理將提供強對偶定理的證明框架。
引理 假設XXX是一個非空凸集，α,g\alpha,gα,g是兩個凸函數，hhh是一個仿射函數，如果System 1無解，則System 2有解。
System 1：α(x)<0,g(x)≤0,h(x)=0,?x∈X\alpha(x)<0,g(x) \le 0,h(x)=0,\exists x \in Xα(x)<0,g(x)≤0,h(x)=0,?x∈X
System 2: u0α(x)+uTg(x)+vTh(x)≥0,?x∈X,(u0,u)≥0,(u0,u,v)≠0u_0\alpha(x)+u^Tg(x)+v^Th(x) \ge 0,\forall x \in X,(u_0,u) \ge 0,(u_0,u,v) \ne 0u0?α(x)+uTg(x)+vTh(x)≥0,?x∈X,(u0?,u)≥0,(u0?,u,v)?=0
證明
這是比較典型的Farkas定理類型的結論，所以證明方法是比較標準的，主要思路仍然是分離定理，參考UA SIE545 優化理論基礎1 例題2 Farkas定理與相關結論。
定義集合，
A={(p,q,r):p>α(x),q≥g(x),r=h(x),?x∈X}A = \{(p,q,r):p>\alpha(x),q \ge g(x),r = h(x),\exists x \in X\}A={(p,q,r):p>α(x),q≥g(x),r=h(x),?x∈X}
假設System 1無解，則(0,0,0)?A(0,0,0) \notin A(0,0,0)∈/?A。因為α,g\alpha,gα,g是凸函數，hhh是仿射函數，而XXX也是凸集，不難驗證AAA也是凸集。根據凸集與點的分離，?(u0,u,v)\exists (u_0,u,v)?(u0?,u,v),
u0p+uTp+vTr≥0,?(p,q,r)∈Aˉu_0p+u^Tp+v^Tr \ge 0,\forall (p,q,r) \in \bar Au0?p+uTp+vTr≥0,?(p,q,r)∈Aˉ
我們先固定一個使(p,q,r)∈A(p,q,r) \in A(p,q,r)∈A的xxx，接下來我們觀察集合AAA的構造，很明顯p,qp,qp,q可以任意大，因此u0,uu_0,uu0?,u必須非負才能保證上面這個不等式成立。另外，我們可以驗證(p,q,r)=[α(x),g(x),h(x)]∈clA(p,q,r)=[\alpha(x),g(x),h(x)] \in cl A(p,q,r)=[α(x),g(x),h(x)]∈clA，因此
u0α(x)+uTg(x)+vTh(x)≥0u_0\alpha(x)+u^Tg(x)+v^Th(x) \ge 0u0?α(x)+uTg(x)+vTh(x)≥0
其中(u0,u)≥0,(u0,u,v)≠0(u_0,u) \ge 0,(u_0,u,v) \ne 0(u0?,u)≥0,(u0?,u,v)?=0，所以System 2有解。
證畢
下面我們正式開始證明強對偶定理。
證明
先定義一個記號，γ=inf?{f(x):x∈X,g(x)≤0,h(x)=0}\gamma = \inf\{f(x):x \in X,g(x) \le 0,h(x)=0\}γ=inf{f(x):x∈X,g(x)≤0,h(x)=0}，假設γ<+∞\gamma<+\inftyγ<+∞，需要注意一下的是如果γ=?∞\gamma=-\inftyγ=?∞，根據弱對偶，
inf?{f(x):x∈X,g(x)≤0,h(x)=0}≥sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} \ge \sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}≥sup{θ(u,v):u≥0}
sup?{θ(u,v):u≥0}=?∞\sup\{\theta(u,v):u \ge 0\}=-\inftysup{θ(u,v):u≥0}=?∞，在某種程度上，因為這個結果非常平凡，相當于什么都沒告訴我們，所以某種程度上我們可以認為
inf?{f(x):x∈X,g(x)≤0,h(x)=0}=sup?{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} = \sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}=sup{θ(u,v):u≥0}
是成立的。
下面討論∣γ∣<∞|\gamma|<\infty∣γ∣<∞。定義System 1如下：
f(x)?γ<0,g(x)≤0,h(x)=0,x∈Xf(x)-\gamma<0,g(x) \le 0,h(x)=0,x \in Xf(x)?γ<0,g(x)≤0,h(x)=0,x∈X
按γ\gammaγ的定義，f(x)?γf(x)-\gammaf(x)?γ肯定是不成立的，因此System 1無解。現在使用前面敘述的引理，u0[f(x)?γ]+uTg(x)+vTh(x)≥0,?x∈Xu_0[f(x)-\gamma]+u^Tg(x)+v^Th(x) \ge 0,\forall x \in Xu0?[f(x)?γ]+uTg(x)+vTh(x)≥0,?x∈X
其中(u0,u)≥0,(u0,u,v)≠0(u_0,u) \ge 0,(u_0,u,v) \ne 0(u0?,u)≥0,(u0?,u,v)?=0。接下來我們利用這個不等式(下文稱之為(1)式)導出想要的結論，具體操作分為三步：
我們先用反證法完成第一步，假設u0=0u_0=0u0?=0，定理的假設提到
?x^∈X,g(x^)<0,h(x^)=0,0∈inth(X)\exists \hat x \in X,g(\hat x)<0,h(\hat x)=0,0 \in int\ h(X)?x^∈X,g(x^)<0,h(x^)=0,0∈int?h(X)
代入(1)式，
u0[f(x^)?γ]+uTg(x^)+vTh(x^)=uTg(x^)≥0u_0[f(\hat x)-\gamma]+u^Tg(\hat x)+v^Th(\hat x) = u^Tg(\hat x) \ge 0u0?[f(x^)?γ]+uTg(x^)+vTh(x^)=uTg(x^)≥0
因為g(x^)<0,u≥0g(\hat x)<0,u \ge 0g(x^)<0,u≥0，因此要使uTg(x^)≥0u^Tg(\hat x) \ge 0uTg(x^)≥0成立，除非u=0u=0u=0。這時，如果我們再使用一次(1)式，并代入u0=0,u=0u_0=0,u=0u0?=0,u=0，會得到vTh(x)≥0,?x∈Xv^Th(x) \ge 0,\forall x \in XvTh(x)≥0,?x∈X。因為0∈inth(X)0 \in int\ h(X)0∈int?h(X)，這說明h(X)h(X)h(X)是XXX的線性子空間，選擇x∈Xx \in Xx∈X使得h(x)=?λv,λ>0h(x)=-\lambda v,\lambda>0h(x)=?λv,λ>0，則
vTh(x)=?λ∥v∥2≤0,?vv^Th(x)= -\lambda \left\| v\right\|^2 \le 0,\forall vvTh(x)=?λ∥v∥2≤0,?v
考慮到vTh(x)≥0,?x∈Xv^Th(x) \ge 0,\forall x \in XvTh(x)≥0,?x∈X，要使上式成立除非v=0v=0v=0，也就是說假設u0=0u_0=0u0?=0，我們導出了u,vu,vu,v也都是零向量，這與定理假設矛盾。因此，u0>0u_0>0u0?>0。
接下來我們完成第二步。使用(1)式，兩邊除以u0u_0u0?可以得到
f(x)+uˉTg(x)+vˉTh(x)≥γ,?x∈Xf(x)+\bar u^Tg(x)+\bar v^Th(x) \ge \gamma,\forall x \in Xf(x)+uˉTg(x)+vˉTh(x)≥γ,?x∈X
記這個不等式為(2)式。進而
θ(uˉ,vˉ)=inf?{f(x)+uˉTg(x)+vˉTh(x):x∈X}≥γ\theta(\bar u,\bar v)=\inf\{f(x)+\bar u^Tg(x)+\bar v^Th(x): x \in X\} \ge \gammaθ(uˉ,vˉ)=inf{f(x)+uˉTg(x)+vˉTh(x):x∈X}≥γ
根據弱對偶定理，θ(uˉ,vˉ)≤γ\theta(\bar u,\bar v) \le \gammaθ(uˉ,vˉ)≤γ，因此θ(uˉ,vˉ)=γ\theta(\bar u,\bar v)=\gammaθ(uˉ,vˉ)=γ。
最后我們完成第三步。假設xˉ\bar xxˉ是一個原問題的最優解，也就是xˉ∈X,g(xˉ)≤0,h(xˉ)=0,f(xˉ)=γ\bar x \in X,g(\bar x) \le 0,h(\bar x)=0,f(\bar x)=\gammaxˉ∈X,g(xˉ)≤0,h(xˉ)=0,f(xˉ)=γ。利用(2)式，取x=xˉx = \bar xx=xˉ，
uˉTg(xˉ)≥0\bar u^Tg(\bar x) \ge 0uˉTg(xˉ)≥0
因為uˉ≥0,g(xˉ)≤0\bar u\ge 0,g(\bar x) \le 0uˉ≥0,g(xˉ)≤0，因此uˉTg(xˉ)=0\bar u^Tg(\bar x)=0uˉTg(xˉ)=0。
證畢
總結
以上是生活随笔為你收集整理的UA SIE545 优化理论基础4 对偶理论简介3 强对偶的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA SIE545 优化理论基础4 对偶
- 下一篇： 初等数学O 集合论基础 第一节 集合及其