SVM數學過程

• 概念
• • 超平面
  • 正確分類點
  • 輸入空間到輸出空間的映射函數
  • 誤分類點
  • SVM
• 計算
• • Lagrange乘子法
  • KKT

概念

超平面

$$w_1{x}_1+w_2{x}_2+w_3{x}_3+\dots +w_n{x}_n+b=0$$
可簡化成: $$wx+b=0$$

正確分類點

正例：$$wx+b>0$$
負例：$$wx+b<0$$

輸入空間到輸出空間的映射函數

$$y=sign(wx+b)$$
其中，
$$sign(x)=\{\begin{array}{ll}+1& x<0\\ ?1& x>0\end{array}$$

誤分類點

誤分類點有兩種情況：一種是被本來是正例，但是被分到負例；另一種是本來是正例，也被分到正例了，但是它比支持向量更近于超平面，它卻不是支撐超平面的支持向量，有違支持向量機的定義。
這兩種誤分類情況的映射函數是這樣的，第一種是$$wx+b>0$$，卻被認為$$wx+b<0$$，所以在映射函數中，被應用于第二種情況，即取-1，故此時$$y=正數?負數<0$$，$$映射函數<0$$；第二種情況是本來是正例，但是是比支持向量更近于超平面的正例，故y>0，但不滿足$$y_i(w{x}_i+b)>=1$$這樣的條件。這個條件是整個模型中所有樣本點均需滿足的約束條件。我們所定義的支持向量滿足：$$y_i(w{x}_i+b)=1$$，超平面$$y_i(w{x}_i+b)=0$$即$$wx+b=0$$，故在近于支持向量的樣本點處應有：$$0<y_i(w{x}_i+b)<1$$，通過映射函數，相當于取絕對值，還是它本身，這不滿足$$y_i(w{x}_i+b)>=1$$的條件，所以我們給它一個閾值。之后再談。以上便是兩種誤分類點的映射函數?？偨Y：正確分類點滿足$$映射函數>=1$$；誤分類點$$映射函數(?\infty ，0)\cup (0,1)$$。

SVM

在此基礎上，來談SVM。SVM是通過最優化最大間隔的一種模型。有一個概念：間隔$$Margin$$約束條件是$$所有樣本點映射函數>=1$$，即在我們的理想狀態下，所有樣本點都被我們所找出的超平面正確分類了。
下面是計算過程：于是會用到拉格朗日乘子法：已知目標函數，函數間隔；已知約束條件：所有樣本點映射函數>=1；我們需要最大化函數間隔；后來發現不太行，調整一下，變成KTT。

計算

Lagrange乘子法

如上文，用Lagrange乘子法，是基于有目標函數，有約束條件，且需要求的是目標函數的極值的前提。

這種方式是基于梯度求解，所以只能解決局部最優解問題。

文字表述：
把每個乘，加上原目標函數，得到新的目標函數。假設原目標函數中共有w個變量，則現在一共有w+n個變量，對新目標函數中的w+n個變量分別求導，得到w+n個式子，令其分別為0，其實就是多變量函數求極值問題$$f^{‘}(x_1)=0f^{‘}(x_2)=0\dots \dots f^{‘}(x_n)=0$$，則可求出當原w個變量分別為何值時，可得到目標函數的極值。
數學表述：

$$約束條件s.t.g(x_1、x_2、x_3\dots \dots x_w)=0有n個等式$$
$$求目標函數極值：min/maxf$$
$$新目標函數：L(x)=f(x)+a_1\dots a_{n}g(x)有w+n個變量$$
$$求導L^{\prime }(x)=0(w個)L^{\prime }(a)=0(n個)有w+n個等式$$

思考：
多變量函數求極值問題，為什么分別對變量求導可以求出總體函數的極值？
在該方法中，有w個乘子，對每個約束條件進行乘法運算，那么，是否可以一視同仁，將原目標函數也進行乘法運算，補充w+n個乘子呢？或者沒有必要這樣做。暫時不知道。

KKT

但是，Lagrange乘子法的約束條件須是等式，而我們的約束條件是所有樣本點映射函數>=1，所以不能完全用這種方法。于是，我們可以將不等式轉化為等式，即KKT?？山鉀Q等式或不等式約束的一般優化問題。
不等式和等式其實很像，是維度問題；如二維直角坐標系中，等式是一維的$$x=1一條直線$$，不等式是二維的$$x\ge 1一個平面$$我們可以把$$x\ge 1$$看作$$x=1+t$$，把不等式轉化為等式情況，再用Lagrange乘子法，即可。

Lagrange乘子法中，a可被稱作優化變量；KKT中，t可被稱作松弛變量。
文字表述：
對每個不等式約束條件通過加入松弛變量轉化為等式約束條件。如Larange乘子法一樣，分別對原變量，優化變量，松弛變量求導。即可得解。
數學表述：



$$求目標函數極值：min/maxf$$

$$新目標函數：L(x)=f(x)+a_1\dots a_{n}g(x)+b_1\dots b_{m}h(x,t)有w+n+m個變量$$
$$求導L^{\prime }(x)=0(w個)L^{\prime }(a)=0(n個)L^{\prime }(t)=0(m個)有w+n+m個等式$$

綜上，KKT方法可以解決SVM問題。

總結

以上是生活随笔為你收集整理的SVM数学过程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。