按照自己的理解初步的推導(dǎo)一下的SVM的原理，持續(xù)還會(huì)有更新，不斷地加入新的內(nèi)容。
SVM是一種二分類方法，是一種可以解決線性、非線性的分類算法，SVM的核心觀點(diǎn)是在兩類數(shù)據(jù)間找到一個(gè)線性“超平面”，使其與兩類數(shù)據(jù)間隔最遠(yuǎn)，接下來我們按照這個(gè)思路對(duì)SVM進(jìn)行推導(dǎo)，敘述大致思路，省略數(shù)學(xué)計(jì)算。
我們率先討論線性可分問題，即可用一條線性直線（在二維空間，三維空間是線性平面，更高維是超平面，為便于表示我們假設(shè)二維空間）將兩類分開，如下所示，定義$f(x)=w^{T}x+b$分類函數(shù)，$w$代表權(quán)重，$x$代表數(shù)據(jù)特征，$b$代表偏置，$w^{T}x+b=0$代表分類直線，當(dāng)結(jié)果大于0時(shí)代表在分類直線上方，當(dāng)結(jié)果小于0時(shí)代表在分類直線下方。

首先我們需要對(duì)間隔有一個(gè)定義，先給出一個(gè)間隔定義，名為函數(shù)間隔，functional margin。定義$y$為每個(gè)數(shù)據(jù)的實(shí)際類別($label$)，用+1和-1分別表示兩類，圖中圈圈為正類別+1，叉叉為負(fù)類別-1。
對(duì)每個(gè)函數(shù)點(diǎn)，定義${\gamma }_i=y^{(i)}f(x)$，用$label$乘以分類函數(shù)結(jié)果，當(dāng)數(shù)據(jù)為正類，$y^i$和$f(x)$均為正值，相乘結(jié)果為正，相反，當(dāng)數(shù)據(jù)為負(fù)類，相乘結(jié)果為仍為正值，這樣，我們就定義了一個(gè)恒正的間隔值，成為函數(shù)間隔。接著，對(duì)于每一個(gè)函數(shù)點(diǎn)，我們?nèi)∫粋€(gè)最小值，代表這組數(shù)據(jù)的函數(shù)間隔，
$${\gamma }_f=\min {\gamma }_{i(i=1,2,3,...,n)}$$
可是僅僅使用函數(shù)間隔來表示是不夠的，因?yàn)楫?dāng)成比例的改變$w$和$b$，比如改變?yōu)?span id="ozvdkddzhkzd" class="katex--inline">$2w$何$2b$，此時(shí)分割平面的位置沒有改變，而函數(shù)間隔卻改變了，這樣是不嚴(yán)謹(jǐn)?shù)?#xff0c;我們需要加入約束條件，使其規(guī)范化。

定義圖中的$\gamma$的為幾何間隔，geometrical margin，$w$實(shí)際上為法向量，我們對(duì)其進(jìn)行推導(dǎo)，根據(jù)已知條件列出方程組，
$$\{\begin{array}{c}{x}_1=x_0+{\gamma }_i\frac{w}{||w||}\\ w^T{x}_0+b=0\end{array}$$求得結(jié)果為$${\gamma }_i=\frac{f(x)}{||w||}$$
因?yàn)榫嚯x非負(fù)性，將結(jié)果乘以$y_i$，得到$${\gamma }_i=\frac{y_{i}f(x)}{||w||}$$對(duì)所有函數(shù)點(diǎn)，取最小值$${\gamma }_g=\min \frac{y_{i}f(x)}{||w||}(i=1,2,3,...,n)=\frac{{\gamma }_f}{||w||}$$可以看出，幾何間隔實(shí)際上就是函數(shù)間隔除以$||w||$。
我們的目的是尋找一個(gè)最大間隔分類器，因此我們要讓函數(shù)間隔最大化，即
$$max{\gamma }_g$$
為簡(jiǎn)化計(jì)算，我們令函數(shù)間隔${\gamma }_f=1$，最后的求解即為
$$\max \frac{1}{||w||},s.t.y_i(w^T{x}_i+b)\ge 1，i=1,...,n$$
未完待續(xù)

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的简述SVM的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。