問題定義： 給出一些樣本，包含兩類。svm試圖找到一個(gè)超平面，將數(shù)據(jù)分開，并且每種樣本到超平面的距離的最小值最大。

輸入樣本：$\{x_{i},y_{i}| 1\leq i\leq n \}$,$y_{i}\in \{-1,1\}$

超平面定義:$w^{T}x+b=0$

設(shè)某一個(gè)采樣點(diǎn)$x^{(i)}$到超平面的距離為$\gamma^{(i)}$,那么從$x^{(i)}$作方向?yàn)閣的射線，其與超平面的交點(diǎn)為B，采樣點(diǎn)到B的距離為$\gamma^{(i)}$，那么B可以用這樣的向量表示$B=x^{(i)}-\gamma^{(i)}\frac{w}{||w||}$。

由于B在超平面上，所以有:$w^{T}(x^{(i)}-\gamma^{(i)}\frac{w}{||w||})+b=0$
我們從中解得$\gamma^{(i)}=(\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||}$。當(dāng)$y^{(i)}=1$時(shí)此值為正數(shù)，否則為負(fù)數(shù)，所以我們將其乘以$y^{(i)}$，那么此時(shí)$\gamma^{(i)}=y^{(i)}((\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||})$

現(xiàn)在令$||w||=1$,按照我們問題定義中的描述，我們要解決的問題是這樣的：$max_{w,b,\gamma }$ $\gamma$，使得(1)$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$,(2)$||w||=1$

由于$||w||=1$的限制不利于求解，所以我們將求解換成如下的描述$max_{w,b,\gamma }$ $\frac {\gamma}{||w||}$，使得$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$。此時(shí)$w$的大小可以任意取。

進(jìn)一步我們令$\gamma=1$,那么現(xiàn)在變?yōu)?max_{w,b}$ $\frac {1}{||w||}$，使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$

最后，將求解問題變成$min_{w,b}$ $\frac{1}{2}||w||^{2}$，使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$。

總結(jié)

以上是生活随笔為你收集整理的SVM学习笔记1-问题定义的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。