文章目錄

• SVM--線性
• • 兩個問題：
  • • 定義
  • 支持向量機的優(yōu)化問題(凸優(yōu)化問題、二次規(guī)劃問題)
  • 二次規(guī)劃問題
  • • 梯度下降

支持向量機–SVM

支持向量機的發(fā)明人--Vapink 樣本數(shù)很少的情況下使用支持向量機算法會得到一個比較好的結(jié)果

SVM–線性

概念：能畫一條直線將訓練樣本集分為兩類，如下圖class1與class2 這樣的樣本集被稱為--線性可分樣本集（Linear Separable） 樣本集無法畫一條直線將其分開--非線性可分樣本集(Non-Linear Separable)

線性可分樣本集若存在一條直線可以分開兩類別的樣本，那么一定會存在無數(shù)條直線可以將其分開

兩個問題：

1.有以下三條線，那條線是最好的？

(2)號線，(2)號線的容錯率是最大的

\\

2.怎么有一個標準來定義(2)號線？

定義一個標準（性能指標），（2）號線的性能指標最大 將線平行的向兩側(cè)移動，直到某個樣本在直線上為止，兩條線的距離為d，d為性能指標 使得樣本到直線最小距離的最大，且該直線到兩不同標簽樣本點最近距離一樣（處在中間，到兩側(cè)距離都為d/2）

d：間隔(Margin)

直線向兩側(cè)移動擦到的向量（樣本點）叫支持向量（畫出直線的方法只與支持向量有關(guān)，這也就是為什么支持向量能應(yīng)用在小樣本的訓練上）

定義

$$\begin{gathered} 定義訓練數(shù)據(jù)與標簽(x_1,y_1),(x_2,y_2),(x_3,y_3)....(x_n,y_n) \\ x為向量，y為標簽，X=\begin{array}{c}?\begin{array}{c}{x}_{11}\\ x_{12}\\ x_{13}\end{array}?\end{array}\text{\hspace{1em}?} \\ {x}_1,x_2,x_3為樣本特征\left(通常在實際中樣本特征有很多，表示有很多維度\right) \\ {y}_i表示標簽，為了推導方便y_i取\pm 1 \end{gathered}$$
2.
$$\begin{gathered} 線性模型:\left(W,b\right),{\mathbf{W}}^{?}X+b=0\left(超平面\right) \\ W=\begin{array}{c}?\begin{array}{c}{w}_{11}\\ w_{12}\\ w_{13}\end{array}?\end{array}\text{\hspace{1em}?},b為常數(shù) \\ 通過訓練的數(shù)據(jù)，在限定模型的下算出待定參數(shù)W和b，當確定W和b取值后這個算法就完成了 \end{gathered}$$
3.一個訓練集線性可分(Linear Separable)是指：
$$\begin{gathered} \left\{(x_i,y_i)\right\},i=1～n \\ ?(W,b),使:對?i=1～n,有: \\ (1)若y_i=+1,則{\mathbf{W}}^{?}X+b\ge 0 \\ (2)若y_i=?1,則{\mathbf{W}}^{?}X+b<0 \\ 即,y_i\begin{array}{c}\left[\begin{array}{c}{\mathbf{W}}^{?}{X}_i+b\end{array}\right]\end{array}\text{\hspace{1em}?}\ge 0 \end{gathered}$$
使得間隔最大的超平面是如何構(gòu)造的？

支持向量機的優(yōu)化問題(凸優(yōu)化問題、二次規(guī)劃問題)

$$\begin{gathered} 1.最小化(\frac{1}{2})||W|{|}^2 \\ 2.限制條件(Subjectto):y_i\begin{array}{c}\left[\begin{array}{c}{\mathbf{W}}^{?}{x}_i+b\end{array}\right]\end{array}\text{\hspace{1em}?}\ge 1(i=1～n)(支持向量到超平面的距離為1，則所有其他向量到超平面距離大于1，標簽y_i保證距離為正，y_i=\pm 1) \end{gathered}$$

$$\begin{gathered} 事實一:{\mathbf{W}}^{?}x+b=0與a{\mathbf{W}}^{?}x+b=0是在同一平面，a\in R^{+} \\ 若(W，b)滿足公式，則(aW,ab)也滿足公式(1) \\ 事實二:點到平面的距離公式: \\ 平面:w_{1}x+w_{2}y+b=0(w_1{x}_1+w_2{x}_2+b=0,即[w1,w2]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]+b=0),則(x_0,y_0)到此平面的距離為: \\ d=\frac{|w_1{x}_0+w_2{y}_0+b|}{\sqrt{w_1^2+w_2^2}} \\ 向量X_0到超平面{\mathbf{W}}^{?}x+b=0([w_1,w_2,...w_n]向量X_0到超平面{\mathbf{W}}^{?}x+b=0([w_1,w_2,...w_n]?\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ x_n\end{array}?+b=0)的距離: \\ d=\frac{|{\mathbf{W}}^{?}{X}_0+b|}{||W||} \end{gathered}$$

$$\begin{gathered} 我們可以用a去縮放(W,b)?>(aW,ab)最終使在(所有)支持向量X_0上有: \\ |{\mathbf{W}}^{?}{X}_0+b|=1(分子為1)，例如: \\ d=\frac{|{{\mathbf{W}}_1}^{?}{X}_0+b_1|}{||W_1||}=\frac{|{\mathbf{a}{\mathbf{W}}_1}^{?}{X}_0+a{b}_1|=1}{||a{W}_1||}=\frac{1}{||W||} \\ 此時，支持向量機與平面的距離只與||W||有關(guān): \\ d=\frac{1}{||W||} \end{gathered}$$

二次規(guī)劃問題

二次規(guī)劃： 1.目標函數(shù)是二次項 2.限制條件一次項 （圖像為二元函數(shù)） 要么無解，要么只有一個極值

梯度下降

我的另一篇博客–梯度下降

總結(jié)

以上是生活随笔為你收集整理的支持向量机SVM--线性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。