最優邊界分類器（最大間隔分類器）(續學習筆記五)

在線性分類器中，我們要找到一個邊界線，使得幾何間隔最大，即：

||w||在幾何間隔中是無關緊要的，這里取1，使得幾何間距和函數間距一致。

但是這個并不是一個凸函數最優求解問題，無法使用求解軟件進行求解。下面進行變形，首先先將幾何間距化為函數間距，由于幾何間距是函數間距的化歸后的結果，所以函數間距可以取任意值而不影響最后結果，所以另函數間距為1，那么又可以將其變形為。通過這樣的轉化，就可以使用二元規劃（QP）方式進行求解。

拉格朗日對偶（Lagrange duality）

假如想進行一下問題求解，可以構造lagrange算子，，beta稱為lagrange乘數，進行以下運算，，就可以解決要求解的問題了。

原始問題(primal optimization problem)

此時的lagrange算子變成了。

定義。如果違反了原始問題的任意一個約束，那么原始問題的結果就變成了無窮大。所以可以寫成

，所以就是原始問題的求解了。同時定義

?

對偶問題(dual problem)

對偶優化問題即為對偶問題與原始問題的差別在于max和min的位置不同。同時定義。

通常情況下在某些特定的情況下，兩者取同一值。所以可以使用對偶問題的求解代替原始問題的求解。

兩者相等的條件是：令f是一個凸函數，h_i是一個仿射函數(有截距的線性函數)，g_i是嚴格可執行的(意味著存在一些w使得對于所有的i來說，g_i(w)<0成立)。

在這種情況下存在w*,alpha*,beta*。使得w*是原始問題的解，alpha*,beta*是對偶問題的解，同時p*=d*=L(lagrange算子)。并且w，alpha,beta還要滿足KKT條件

如果，alpha*_i>0,那么就蘊含著g_i(w*)=0(此時的g_i(w*)是一個活動約束)。

繼續最優邊界分類器

?求解最優邊界時，即進行

令，。如果，alpha_i>0，那么函數間隔就為1。函數間隔為1的點稱為支持向量。對于最優邊界的lagrange算子可以寫成。相應的對偶問題為

theta_D(alpha)=min_w,b L(w,b,alpha)。那么求出對偶問題的過程為

?

?將結果帶入lagrange算子中，可以得到。此時對偶問題已經表示了出來，要進行對偶最優化求解，對偶最優化求解可以描述為

這是關于alpha的求解過程，求出了alpha后，根據可以求出w，求出alpha與w后，也可以求出b

另外，我們要的預測函數為根據可以得到

有時候要使用到的樣本維數會很高，有時甚至是無限維。使用kernel可以進行高維度樣本內積的計算。

轉載于:https://www.cnblogs.com/xxp17457741/p/8386418.html

總結

以上是生活随笔為你收集整理的吴恩达“机器学习”——学习笔记六的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。