1. 簡述

??? SVM涉及的東西很多，如果要理解全面的話，要理解經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信風(fēng)險(xiǎn)，VC維理論，推導(dǎo)出最優(yōu)化公式，最優(yōu)化求解的拉格朗日解法，核函數(shù)，等等方面的內(nèi)容，當(dāng)前對SVM理解太少，平時(shí)主要使用其工具包，這里記錄一下推導(dǎo)出SVM最優(yōu)化公式的部分，主要參考是維基百科，感覺維基百科在這部分的說明比較清楚簡單。

2. 推導(dǎo)

??· 已知信息
????樣本數(shù)據(jù)：xi是特征向量，yi是標(biāo)注，p是特征向量的維數(shù)，n是樣本數(shù)量。
????
????目標(biāo)：是尋找最大間隔超平面，一方面保證將所有的樣本分開，另一方面超平面兩側(cè)的沒有樣本的間隔最大。
??·?推導(dǎo)
????假設(shè)超平面為w·x + b = 0?（一般使用w的轉(zhuǎn)置，這里輸入不方便使用w代替）
????超平面一般使用超平面族表示即w·x+b=1與w·x+b=-1。
????如果樣本數(shù)據(jù)線性可分，就可以找到這樣的兩個(gè)超平面使得，這兩個(gè)平面之間沒有樣本點(diǎn)，并且這兩個(gè)超平面之間的距離是最大的。對于兩個(gè)平面之間沒有樣本點(diǎn)，相當(dāng)于yi (w·xi+b) > 1, i=1,2,...,n. 兩個(gè)超平面之間的距離=2/|w|，最大化這個(gè)間隔相當(dāng)于最小化|w|。
????因此尋找能夠分開所有樣本的間隔最大的兩個(gè)超平面可以描述為：
????min? |w|,
????s.t. yi (w·xi+b)>1, 其中i=1,2,...,n
??·?為了求解方便，可以進(jìn)一步化為
????min 1/2 |w*w|
??? s.t. yi (w·xi+b)>1, 其中i=1,2,...,n

3. 參考

??? 維基百科_支持向量機(jī)???
??? http://en.wikipedia.org/wiki/Support_vector_machine
????http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA

總結(jié)

以上是生活随笔為你收集整理的支持向量机-SVM-最优化公式推导记录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。