1. 簡述

??? SVM涉及的東西很多，如果要理解全面的話，要理解經驗風險與置信風險，VC維理論，推導出最優化公式，最優化求解的拉格朗日解法，核函數，等等方面的內容，當前對SVM理解太少，平時主要使用其工具包，這里記錄一下推導出SVM最優化公式的部分，主要參考是維基百科，感覺維基百科在這部分的說明比較清楚簡單。

2. 推導

??· 已知信息
????樣本數據：xi是特征向量，yi是標注，p是特征向量的維數，n是樣本數量。
????
????目標：是尋找最大間隔超平面，一方面保證將所有的樣本分開，另一方面超平面兩側的沒有樣本的間隔最大。
??·?推導
????假設超平面為w·x + b = 0?（一般使用w的轉置，這里輸入不方便使用w代替）
????超平面一般使用超平面族表示即w·x+b=1與w·x+b=-1。
????如果樣本數據線性可分，就可以找到這樣的兩個超平面使得，這兩個平面之間沒有樣本點，并且這兩個超平面之間的距離是最大的。對于兩個平面之間沒有樣本點，相當于yi (w·xi+b) > 1, i=1,2,...,n. 兩個超平面之間的距離=2/|w|，最大化這個間隔相當于最小化|w|。
????因此尋找能夠分開所有樣本的間隔最大的兩個超平面可以描述為：
????min? |w|,
????s.t. yi (w·xi+b)>1, 其中i=1,2,...,n
??·?為了求解方便，可以進一步化為
????min 1/2 |w*w|
??? s.t. yi (w·xi+b)>1, 其中i=1,2,...,n

3. 參考

??? 維基百科_支持向量機???
??? http://en.wikipedia.org/wiki/Support_vector_machine
????http://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA

總結

以上是生活随笔為你收集整理的支持向量机-SVM-最优化公式推导记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。