從拉格朗日乘數法到KKT條件

最近看論文遇到了Karush–Kuhn–Tucker （KKT）條件，想搞清楚這是個什么東東，因此就把這個東西認真學習一下并且分享出來，希望對大家有用。學習KKT就不得不先學習一下拉格朗日乘數法，于是不得不重新翻出被記憶塵封的高數~~

1.拉格朗日乘數法

在數學最優問題中，拉格朗日乘數法是一種尋找變量受一個或多個條件所限制的多元函數的極值的方法。這種方法將一個有n 個變量與k 個約束條件的最優化問題轉換為一個有n + k個變量的方程組的極值問題，其變量不受任何約束。這種方法引入了一種新的標量未知數，即拉格朗日乘數：約束方程的梯度（gradient）的線性組合里每個向量的系數。

以二元函數為例：

設給定二元函數

$$\begin{gathered} maxz=f(x,y) \\ s.t.\phi (x,y)=0 \end{gathered}$$

為尋找z=f(x,y)在附加條件下的極值點，先做拉格朗日函數

$$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$$

其中$\lambda$為參數。令$F(x,y,\lambda )$對$x$和$y$和$\lambda$的一階偏導數等于零，即

$$F_x^{\prime }={?}_x^{\prime }(x,y)+\lambda {\phi }_x^{\prime }(x,y)=0$$

$$F_y^{\prime }={?}_y^{\prime }(x,y)+\lambda {\phi }_y^{\prime }(x,y)=0$$

$$F_{\lambda }^{\prime }=\phi (x,y)=0$$

由上述方程組解出$x,y$及$\lambda$，如此求得的$(x,y)$，就是函數$z=?(x,y)$在附加條件$\phi (x,y)=0$下的可能極值點。
若這樣的點只有一個，由實際問題可直接確定此即所求的點。

下面這篇博客可以很好的幫助理解：

支持向量機（SVM）課前準備（一）–拉格朗日乘子法 - be·freedom - 博客園 (cnblogs.com)

2.KKT條件

先給出一個KKT條件的實例，我們優化的目標是：

$$\begin{gathered} minimizef(x) \\ s.t.k_i=0 \\ {g}_j\le 0,i,j=1,2,3,... \end{gathered}$$
其中，KKT條件如下：

$$\begin{gathered} ?f+\sum {\lambda }_i{k}_i+{\omega }_j{g}_j=0.......(1) \\ {k}_i=0......(2) \\ {g}_j=0......(3) \\ {u}_j\ge 0......(4) \\ {u}_j{g}_j=0......(5) \end{gathered}$$
公式1、2、3容易理解。

公式4、5，通過一個簡單例子說明：

$$\begin{gathered} minimizef(x) \\ s.t.g_1(x)=a?x\le 0 \\ {g}_2(x)=x?b\le 0 \end{gathered}$$

$g_i$添加一個 ≥0 的松弛變量$a_1^2,b_1^2$。得到
$$\begin{gathered} g_1(x)=a?x+a_1^2 \\ {g}_2(x)=x?b+b_1^2 \end{gathered}$$

由此，我們將不等式轉化為等式約束，應用拉格朗日乘子法。

拉格朗日方程如下：

$$L(x_1,a_1,b_1,u_1,u_2)=f(x)+u_1(a?x+a_1^2)+u_2(x?b+b_1^2)...(1)$$
對方程求偏導如下：

$$?\begin{array}{l}\frac{?F}{?x}=\frac{?f}{?x}+u_1\frac{d{g}_1}{dx}+u_2\frac{d{g}_2}{dx}=\frac{?f}{?x}?u_1+u_2=0...(2)\\ \frac{?F}{?u_1}=a?x+a_1^2=g_1+a_1^2=0...(3)\\ \frac{?F}{?u_2}=x?b+a_1^2=g_2+b_1^2=0...(4)\\ \frac{?F}{?a_1}=2u_1{a}_1=0...(5)\\ \frac{?F}{?b_1}=2u_2{b}_1=0...(6),u_1\ge 0,u_2\ge 0\end{array}$$

那么現在開始解方程組

首先考慮 式5，

當$u1=0，a1=0$時，即$g_1$ 對$f(x)$無約束

當$u1=0，a1=0$時，即 $g_1$對$f(x)$有約束，且根據式3可知，$g_1$ 也等于0。

式6同理。注意，不等式對f(x)有約束效果時，不等式等于零。

此時，方程組簡化成

$$?\begin{array}{l}\frac{?f}{?x}+u_1\frac{d{g}_1}{dx}+u_2\frac{d{g}_2}{dx}=0\\ u_1{g}_1(x)=0,u_2{g}_2(x)=0,\\ {\mu }_1\ge 0,{\mu }_1\ge 0.\end{array}$$

推廣，對于多個不等式約束，有

$$\begin{gathered} minf(x) \\ s.t.g_j(x)\le 0(j=1,2,...,m) \end{gathered}$$

我們有

$$?\begin{array}{l}\frac{?f(x^{?})}{?x}+{\sum }_{j=1}^m{u}_j\frac{d{g}_j(x^{?})}{d{x}^{?}}=0\\ u_j{g}_j(x^{?})=0(j=1,2,...,m),\\ {\mu }_j\ge 0(j=1,2,...m).\end{array}$$

上述不等式稱之為KKT條件，與本文一開始略有不同的是沒有了等式的約束（不用在此糾結，我們關心的是不等式的約束問題），其中$u_j$稱之為KKT乘子

總結

以上是生活随笔為你收集整理的从拉格朗日乘数法到KKT条件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。