支持向量機(jī)SVM——間隔最大化

• • 1.超平面
  • 2.函數(shù)間隔和幾何間隔
  • 3.間隔最大化

本文主要參考《機(jī)器學(xué)習(xí)》、《統(tǒng)計學(xué)習(xí)方法》。
支持向量機(jī)主要分類三類：線性可分支持向量機(jī)（數(shù)據(jù)線性可分時），線性支持向量機(jī)（數(shù)據(jù)近似線性可分），非線性支持向量機(jī)（數(shù)據(jù)線性不可分）。這里先考慮最簡單的情況，即當(dāng)數(shù)據(jù)線性可分時。

1.超平面

對于2分類的邏輯回歸而言，假設(shè)特征數(shù)為2，那么我們訓(xùn)練模型的過程通過梯度下降不斷更新參數(shù)迫近全局最優(yōu)解，擬合出一條直線作為決策邊界，使得以這個決策邊界劃分出來的分類結(jié)果誤差最低。

當(dāng)特征數(shù)量超過2，這個時候我們用來分割不同類別的“線”就成為了一個面，簡稱超平面（hyperplane），超即是多維的意思（二維就是一條線，三維就是一個面，多維就是超平面）。劃分超平面可用如下線性方程表示：
$$w^{T}x+b=0$$
其中$w=(w_1,w_2,...,w_d{)}^T$是法向量，$b$是位移。（向量一般用列向量表示）

如果我們要用一條直線來將下面這張圖中的兩種類別（“+”和“-”）分開，可看到可分離的直線是有多條的，如下圖所示：

直觀上我們應(yīng)該選紅色的這條線，感覺它是“最能”分開這兩種類的。因為如果選擇黑色的線，那么可能存在一些點剛好越過黑色的線，導(dǎo)致被錯誤分類，但是紅線的容錯率會更好，也就不容易出錯。

例如下面這種情況，如果我選擇綠色的線，如果新來一個需要預(yù)測的樣本（藍(lán)色的點）本來屬于“+”，但是卻會被分到“-”這一類，但是紅線就不會，即紅線所產(chǎn)生的分類結(jié)果是最魯棒的，對未見示例的泛化能力最強(qiáng)。

紅色的這條決策邊界就是通過間隔最大化求得的，并且是唯一。在了解間隔最大化之前先了解一下函數(shù)間隔和幾何間隔的概念。

2.函數(shù)間隔和幾何間隔

一般來說，一個點距離超平面的遠(yuǎn)近可以表示分類預(yù)測的確信程度。例如圖中A、B、C三個點，都在超平面的正類一側(cè)，但是點A距離超平面較遠(yuǎn)，就比較確信預(yù)測是正確的，而C距離超平面較近，所以預(yù)測C為正類就不那么確信。

(1)函數(shù)間隔：對于給定訓(xùn)練集和超平面（w，b），定義超平面（w，b）關(guān)于樣本點$(x_i,y_i)$的函數(shù)間隔為：
$$\widehat{r_i}=y_i(w^T{x}_i+b)$$
定義超平面$(w,b)$關(guān)于訓(xùn)練集的函數(shù)間隔為超平面關(guān)于訓(xùn)練集中所有樣本點的函數(shù)間隔的最小值：
$$\hat{r}=mi{n}_{(i=1,..,N)}\widehat{r_i}$$
可以看到當(dāng)$w,b$成比例變化時，超平面沒有改變但是函數(shù)間隔變了，因此可以對$w,b$做相應(yīng)的約束，就得到了幾何間隔。

(2)幾何間隔：對于給定訓(xùn)練集和超平面（w，b），定義超平面（w，b）關(guān)于樣本點$(x_i,y_i)$的集合間隔為：
$$r_i=\frac{y_i(w^T{x}_i+b)}{||w||}$$
定義超平面$(w,b)$關(guān)于訓(xùn)練集的函數(shù)間隔為超平面關(guān)于訓(xùn)練集中所有樣本點的幾何間隔的最小值：
$$r=mi{n}_{(i=1,..,N)}{r}_i$$

這里的幾何間隔就是點到平面的距離公式，因為y為1或-1，且當(dāng)前數(shù)據(jù)集線性可分，所以和$\frac{|w^T{x}_i+b|}{||w||}$是等價的。

3.間隔最大化

因為當(dāng)$w,b$成比例變化時，函數(shù)間隔也會成比例變化，而幾何間隔是不變的，所以要考慮幾何間隔最大化，即我們要求解間隔最大化的超平面的問題就變成了求解如下帶約束的優(yōu)化問題：
$$\{\begin{array}{l}ma{x}_{w,b}r\\ s.t.\frac{y_i(w^T{x}_i+b)}{||w||}\ge r,i=1,2,..,N\end{array}$$

上面的約束條件表示對于訓(xùn)練集中所有樣本關(guān)于超平面的幾何距離都至少是r。又因為函數(shù)間隔和幾何間隔之間存在這樣的關(guān)系：$r=\frac{\hat{r}}{||w||}$，所以上面的優(yōu)化問題可以寫成如下形式：
$$\{\begin{array}{l}ma{x}_{w,b}\frac{\hat{r}}{||w||}\\ s.t.y_i(w^T{x}_i+b)\ge \hat{r},i=1,2,..,N\end{array}$$

又因為當(dāng)$w,b$成比例變?yōu)?span id="ozvdkddzhkzd" class="katex--inline">$\lambda w,\lambda b$，函數(shù)間隔變?yōu)?span id="ozvdkddzhkzd" class="katex--inline">$\lambda \hat{r}$($\lambda >0$)，雖然改變了函數(shù)間隔但是不等式約束依然滿足，并且超平面也沒有變，所以$\hat{r}$的取值并不影響目標(biāo)函數(shù)的優(yōu)化，因此為了方便計算可以令$\hat{r}=1$，并且由于最大化$\frac{\hat{r}}{||w||}$和最小化$\frac{||w|{|}^2}{2}$是等價的，所以優(yōu)化問題可以寫成如下形式：
$$\{\begin{array}{l}mi{n}_{w,b}\frac{||w|{|}^2}{2}\\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,..,N\end{array}$$
并且使得上面等式成立的點也被稱為支持向量（support vector）

下一篇 [支持向量機(jī)SVM(2)——拉格朗日乘數(shù)法]

總結(jié)

以上是生活随笔為你收集整理的支持向量机SVM(1)——间隔最大化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。