直觀理解KKT條件

等高線

從等高線講起。如果我們要優化$f(x,y)=x^{2}y$這個函數，給定約束為，$x^2+y^2=1$，我們希望在滿足約束的情況下使得f最大。也就是說，我們希望找到一個最“上方”的平面z，并且該平面要在可行域范圍內。這個優化函數的可視化為：

為了更好的演示，我們一般使用等高線，等高線就是考慮俯視圖：

顯然，隨著z越來越大，他離我們的圓越來越遠，而如果我們縮小z，我們就能找到一個點，恰好與圓相切，這個值就是最優值：

梯度總是垂直于等高線

現在我們考慮目標函數$f(x,y)=xy$，其梯度為$<?f/?x,?f/?y>=<y,x>$。舉個例子，我們選擇一個點，比如$x=2,y=1$，此時梯度為$<1,2>$，將這個向量畫在圖上，就得到下圖白色的直線：

我們發現梯度總是垂直于等高線的，為什么？首先梯度的直觀理解應該是，在這個平面上增長最快的方向，那如果我們考慮兩個很相近的平面，$z=2,z=2.1$:

那么因為兩個平面相隔足夠小，所以它們的登高線應該幾乎是是平行的，于是，這個登高線增長最快的方向，顯然就是往與它垂直的方向走（從2走到2.1的方向）。

KKT條件

對于優化問題
$$\begin{gathered} ma{x}_{x}f(x) \\ s.t.h_j(x)=0,j=1,\dots ,q \\ {g}_i(x)\le 0,i=1,\dots ,p \end{gathered}$$
其KKT條件（必要條件）為，若$x^{?}$是最優解則一定滿足一下條件
$$\begin{gathered} ?f(x^{?})=\sum _j{\lambda }_j?h_j(x^{?})+\sum _i{\mu }_i?g_i(x^{?}) \\ {\mu }_i\ge 0,if{g}_i(x^{?})<0then{\mu }_i=0 \end{gathered}$$
這個條件，可以直接理解為拉格朗日法的推廣，就是轉換成無約束問題，然后那個無約束的目標函數的梯度等于0.

為了理解這個東西，我們來個簡單的例子，
$$\begin{gathered} maxf(x,y)=x^{2}y \\ s.t.x^2+y^2=1 \end{gathered}$$
其中$h(x,y)=x^2+y^2?1=0$。回想一下，我們之前提到，等高線與約束相切的時候是可以得到最優值的。那么這個相切怎么定義呢？實際上，利用梯度總是垂直于登高線的性質，兩條線相切，那么在相切點上，$f$的梯度，以及約束$h$的梯度，應該是平行的！這意味著：
$$?f(x^{?})=\lambda ?h(x^{?})$$
這不就是KKT條件嘛！這個垂直的狀態就如下圖所示：

那個g的梯度其實就是那個約束的梯度，對于事實上，對于約束我們也可以畫出類似的等高線圖：

最后我們來算一下，這個平行的梯度在哪個位置：
$$\begin{array}{l}f(x,y)=x^{2}y\\ h(x,y)=x^2+y^2?1\\ x^2+y^2=1\\ ?f=<2xy,x^2>\\ ?h=<2x,2y>\end{array}$$
我們希望找到成比例的梯度：
$$\begin{array}{rl}& ?f=\lambda ?h\\ ?& \{\begin{array}{l}2xy=2\lambda x\\ x^2=2\lambda y\end{array}\end{array}$$
聯合等式：
$$\begin{array}{l}2xy=2\lambda x\\ x^2=2\lambda y\\ x^2+y^2=1\end{array}$$

我們可以求出$y^2=\frac{1}{3},x^2=\frac{2}{3}$，將這個值帶到目標函數里，$x^{2}y=\frac{2}{3}\sqrt{\frac{1}{3}}=\frac{2\sqrt{3}}{9}$，這個就是目標函數的最優解啦！到這里我們只考慮了等式約束，也就是$h=0$的情況，沒有考慮$g_j(x)\le 0$ 的情況，其實，到這里已經很好理解了，如果最優值的點是落在$g_j(x)<0$處的話，那么我們是沒有必要讓這個$g_j$的梯度也跟$f$的梯度垂直，因為落在里面的時候在各個方向都可以任意的移動，并不會受到約束，所以我們如果$g_j(x)<0$，那么我們令其對應的${\mu }_j=0$。

參考資料

Gradient and contour maps

Lagrange multipliers, using tangency to solve constrained optimization

總結

以上是生活随笔為你收集整理的直观理解KKT条件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。