UA SIE545 優化理論基礎3 Fritz-John與Kuhn-Tucker理論總結 帶等式約束與不等式約束的極值問題

對于函數$f:X\to Y$，我們希望$X$是一個凸的度量空間（或者拓撲空間），$Y$是一個定義了良序的內積空間。$N_{?}(x)$表示中心為$x$，半徑為$?$的領域，下面先列出幾個會用到的概念。

Global minimum If $\bar{x}\in X$, $?x\in X$, $f(\bar{x})\le f(x)$, then $\bar{x}$ is a global minimum. If equality in $f(\bar{x})\le f(x)$ will never hold, then $\bar{x}$ is strict global minimum.

Local minimum If $\bar{x}\in X$, $??>0$, $?x\in N_{?}(\bar{x})$, $f(\bar{x})\le f(x)$, then $\bar{x}$ is a local minimum. If equality in $f(\bar{x})\le f(x)$ will never hold, then $\bar{x}$ is strict local minimum.

Pseudoconvex $?x_1,x_2\in X$ such that $?f(x_1{)}^T(x_2?x_1)\ge 0$, we have $f(x_2)\ge f(x_1)$.

Quasiconvex $?x_1,x_2\in X,\lambda \in [0,1]$ such that $$f(\lambda x_1+(1?\lambda )x_2)\le \max (f(x),f(y))$$

---

${\min }_{x\in S}f(x)$，其中$S$是$X$的子集。

Cone of feasible directions at $\bar{x}\in clS$,
$$D=\{d=0:?\delta >0,?\lambda \in (0,\delta ),\bar{x}+\lambda d\in S\}$$

Each $d\in D$ is called feasible direction.

Cone of improving direction at $\bar{x}\in clS$,
$$F=\{d:?\delta >0,?\lambda \in (0,\delta ),f(\bar{x}+\lambda d)<f(\bar{x})\}$$Each $d\in F$ is called improving direction.

---

無約束極值問題
$$\underset{x\in X}{\min }f(x)$$

Let $\bar{x}\in X$ be a candidate point. PSD = positive semi-definite, PD = positive definite.

First order necessary condition:
$$?f(\bar{x})=0$$

Second order necessary condition:
$$H(\bar{x})PSD$$

Second order sufficient condition:
$$H(\bar{x})PD$$

For convex optimization, sufficient and necessary condition:
$$?f(\bar{x})=0$$

---

含等式約束與不等式約束的極值問題
$$\begin{gathered} \underset{x\in X}{\min }f(x) \\ s.t.g(x)\le 0 \\ h(x)=0 \end{gathered}$$

Let $L$ be Lagrange function:
$$L(x)=f(x)+u^{T}g(x)+v^{T}h(x)$$

Fritz-John (FJ First order necessary condition):
$$\begin{gathered} u_0^T?f(\bar{x})+u^T?g(\bar{x})+v^T?h(\bar{x})=0 \\ {u}^{T}g(\bar{x})=0 \\ (u_0,u)\ge 0,(u_0,u,v)=0 \end{gathered}$$

Karush-Kuhn-Tucker (KKT first order necessary condition):
$$\begin{gathered} g(\bar{x})\le 0 \\ ?f(\bar{x})+u^T?g(\bar{x})+v^T?h(\bar{x})=0,u\ge 0 \\ {u}^{T}g(\bar{x})=0 \end{gathered}$$

and $?g(\bar{x})$ and $?h(\bar{x})$ are linearly independent. 第一個條件叫primal feasibility（PF）、第二個條件dual feasibility（DF），第三個條件約束的是complementary slacks (CS)，最后一個條件叫constraint qualification，保證KKT與FJ等價。

KKT second-order necessary condition:
$$HL(\bar{x})PSD$$

KKT second-order sufficient condition:
$$HL(\bar{x})PD$$

---

例 考慮下面的優化問題
$$\begin{gathered} \min f(x_1,x_2)=(x_1?1{)}^2+x_2^2 \\ s.t.g(x_1,x_2)=2k{x}_1?x_2^2\le 0,k>0 \end{gathered}$$

因為
$$Hf(x_1,x_2)=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right],Hg(x_1,x_2)=\left[\begin{array}{cc}0& 0\\ 0& ?2\end{array}\right]$$

顯然$f$是凸函數但$g$不是，因此這個優化不是凸優化，那么如何計算這個優化的最優解呢？

解
注意到目標函數是圓，約束的邊界是拋物線，所以可以用作圖法求解，非常簡單讀者可以自行嘗試。我們來討論一下代數解法，考慮KKT條件，但需要注意這個問題非凸，所以KKT條件并不是充分條件。因為
$$?g(x_1,x_2)=2\left[\begin{array}{c}k\\ ?x_2\end{array}\right],k>0$$

也就是說$?g(x_1,x_2)$非零，所以$?g(\bar{x})$ and $?h(\bar{x})$ are linearly independent這個條件成立，因此KKT是必要條件。

定義Lagrange函數：
$$\begin{gathered} L(x_1,x_2,u)=f(x_1,x_2)+ug(x_1,x_2) \\ =(x_1?1{)}^2+x_2^2+u(2k{x}_1?x_2^2) \end{gathered}$$

寫出KKT條件：
$$?\begin{array}{l}2(x_1?1)+2ku=0\\ 2x_2?2u{x}_2=0\\ ug(x_1,x_2)=u(2k{x}_1?x_2^2)=0\\ g(x_1,x_2)=2k{x}_1?x_2^2\le 0\\ u\ge 0\end{array}$$

接下來做分類討論：

$u=0$, 則$x_2=0$, $x_1=1$, not feasible ($x_1=1,x_2=0?g(x_1,x_2)>0$)

$u>0$, 第二個方程說明$2x_2(u?1)=0$，如果$x_2=0$，則$x_1=0,u=1/k$；如果$x_2=0$, 則$u=1$，那么$x_1=1?k$, $x_2=\pm \sqrt{2k(1?k)}$

現在我們有了三組可能的解，但還需要根據$k$的值做分類討論：

$k>1$，只有$(0,0)$是KKT point，因此$(0,0)$是最優解；

$k\le 1$, $(0,0),(1?k,\sqrt{2k(1?k)}),(1?k,?\sqrt{2k(1?k)})$都是KKT point，我們需要通過比較它們對應的目標函數的取值來確定誰是最優解

$$\{\begin{array}{l}f(0,0)=1\\ f(1?k,\pm \sqrt{2k(1?k)})=2k?k^2\end{array}$$

因為
$$2k?k^2?1=?(k?1{)}^2\le 0$$

所以$(1?k,\sqrt{2k(1?k)}),(1?k,?\sqrt{2k(1?k)})$是最優點。

總結

以上是生活随笔為你收集整理的UA SIE545 优化理论基础3 Fritz-John与Kuhn-Tucker理论总结 带等式约束与不等式约束的极值问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。