ML之SVM：SVM算法的簡(jiǎn)介、應(yīng)用、經(jīng)典案例之詳細(xì)攻略

?

?

目錄

SVM算法的簡(jiǎn)介

1、SVM模型分類—線性可分、線性、非線性

2、SVM的決策邊界

3、SVM中的核函數(shù)

4、SVM算法推導(dǎo)

1.1、SVM轉(zhuǎn)為對(duì)偶問(wèn)題的求解—SMO算法思

5、SVM中“損失+懲罰”框架的靈活性

6、SVM的損失函數(shù)分析

SVM的應(yīng)用——解決的問(wèn)題類型

1、SVM用作分類

1.1、SVM與二分類

1.2、SVM與多分類

2、SVM用作回歸

SVM的經(jīng)典案例

---

?

?

SVM算法的簡(jiǎn)介

? ? ? ? 支持向量機(jī)（Support Vector Machine, SVM）是一類按監(jiān)督學(xué)習(xí)（supervised learning）方式對(duì)數(shù)據(jù)進(jìn)行二元分類（binary classification）的廣義線性分類器（generalized linear classifier），其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面（maximum-margin hyperplane）。
? ? ? ? SVM的基本思想是：找到集合邊緣上的若干數(shù)據(jù)（稱為支持向量（Support Vector）），用這些點(diǎn)找出一個(gè)平面（稱為決策面），使得支持向量到該平面的距離最大。

?

1、SVM模型分類—線性可分、線性、非線性

? ? ? ? 由簡(jiǎn)至繁的SVM模型包括：

• 當(dāng)訓(xùn)練樣本線性可分時(shí)，通過(guò)硬間隔最大化，學(xué)習(xí)一個(gè)線性可分支持向量機(jī)；
• 當(dāng)訓(xùn)練樣本近似線性可分時(shí)，通過(guò)軟間隔最大化，學(xué)習(xí)一個(gè)線性支持向量機(jī)；
• 當(dāng)訓(xùn)練樣本線性不可分時(shí)，通過(guò)核技巧和軟間隔最大化，學(xué)習(xí)一個(gè)非線性支持向量機(jī)；

線性可分?jǐn)?shù)據(jù)
線性不可分?jǐn)?shù)據(jù)
非線性數(shù)據(jù)

?

?

2、SVM的決策邊界

? ? ? ? 在分類問(wèn)題中，很多時(shí)候有多個(gè)解，如下圖左邊所示，在理想的線性可分的情況下其決策平面會(huì)有多個(gè)。而SVM的基本模型是，在特征空間上找到最佳的分離超平面使得訓(xùn)練集上正負(fù)樣本間隔最大，SVM算法計(jì)算出來(lái)的分界會(huì)保留對(duì)類別最大的間距，即有足夠的余量，如下圖右邊所示。

?

?

3、SVM中的核函數(shù)

? ? ? ? 在解決線性不可分問(wèn)題時(shí)，它可以通過(guò)引入核函數(shù)，巧妙地解決了在高維空間中的內(nèi)積運(yùn)算，從而很好地解決了非線性分類問(wèn)題。如下圖所示，通過(guò)核函數(shù)的引入，將線性不可分的數(shù)據(jù)映射到一個(gè)高緯的特征空間內(nèi)，使得數(shù)據(jù)在特征空間內(nèi)是可分的。如下圖所示：

高斯核函數(shù)是無(wú)窮維的

?

4、SVM算法推導(dǎo)

?

?

1.1、SVM轉(zhuǎn)為對(duì)偶問(wèn)題的求解—SMO算法思

?

?

5、SVM中“損失+懲罰”框架的靈活性

?

6、SVM的損失函數(shù)分析

?

?

?

SVM的應(yīng)用——解決的問(wèn)題類型

1、SVM用作分類

1.1、SVM與二分類

二分類Binary Classification，解決輸出是0還是1的問(wèn)題。SVM解決的是二分類。

?

1.2、SVM與多分類

T1、線性核函數(shù)Linear Kernal：采用的策略是"one versus one" 。
T2、線性支持向量分類器LinearSVC，采用的策略是"one versus all"

?

2、SVM用作回歸

? ? ? ?支持向量回歸（Support Vector Regression, SVR）將SVM由分類問(wèn)題推廣至回歸問(wèn)題可以得到支持向量回歸（Support Vector Regression, SVR），此時(shí)SVM的標(biāo)準(zhǔn)算法也被稱為支持向量分類（Support Vector Classification, SVC）。

? ? ? ?支持向量分類的方法能被推廣到解決回歸問(wèn)題，稱為支持向量回歸。由支持向量分類產(chǎn)生的模型僅依賴訓(xùn)練數(shù)據(jù)的子集，因?yàn)閯?chuàng)建模型的代價(jià)函數(shù)并不考慮超過(guò)邊界的訓(xùn)練點(diǎn)。類似地，由支持向量回歸產(chǎn)生的模型僅依賴訓(xùn)練數(shù)據(jù)的子集，因?yàn)閯?chuàng)建模型的代價(jià)函數(shù)忽略任何接近模型預(yù)測(cè)的訓(xùn)練數(shù)據(jù)。
? ? ??支持向量回歸有三個(gè)不同的執(zhí)行版本：rbfSVR，polySVR，linearSVR。linearSVR執(zhí)行速度比SVR要快，但只提供線性核。fit方法取X, y作為輸入?yún)?shù)，這里，y取浮點(diǎn)值而不是分類的整數(shù)值。

from sklearn import svm X = [[0, 0], [2, 2]] y = [0.5, 2.5] clf = svm.SVR() clf.fit(X, y)

?

SVM的經(jīng)典案例

DL之NN/Average_Darkness/SVM：手寫(xiě)數(shù)字圖片識(shí)別(本地?cái)?shù)據(jù)集50000訓(xùn)練集+數(shù)據(jù)集加4倍)比較3種算法Average_Darkness、SVM、NN各自的準(zhǔn)確率
MAT之SVM：SVM之Classification根據(jù)已有大量數(shù)據(jù)集案例，輸入已有病例的特征向量實(shí)現(xiàn)乳腺癌診斷高準(zhǔn)確率預(yù)測(cè)
MAT之SVM/BP：SVR(better)和BP兩種方法比較且實(shí)現(xiàn)建筑物鋼筋混凝土抗壓強(qiáng)度預(yù)測(cè)
ML之SVM：隨機(jī)產(chǎn)生100個(gè)點(diǎn)，建立SVM模型，找出超平面方程
ML之SVM：基于sklearn的svm算法實(shí)現(xiàn)對(duì)支持向量的數(shù)據(jù)進(jìn)行標(biāo)注

?

?

?

總結(jié)

以上是生活随笔為你收集整理的ML之SVM：SVM算法的简介、应用、经典案例之详细攻略的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。