大家好，我是愛(ài)講故事的某某某。 歡迎來(lái)到今天的【五分鐘機(jī)器學(xué)習(xí)】專欄內(nèi)容 --《向量支持機(jī)SVM》 今天的內(nèi)容將詳細(xì)介紹SVM這個(gè)算法的訓(xùn)練過(guò)程以及他的主要優(yōu)缺點(diǎn)，還沒(méi)有看過(guò)的小伙伴歡迎去補(bǔ)番：

【五分鐘機(jī)器學(xué)習(xí)】向量支持機(jī)SVM——學(xué)霸中的戰(zhàn)斗機(jī)

---

在視頻的內(nèi)容中，我們介紹了SVM的主要思想及Hard Margin SVM的優(yōu)化過(guò)程。

在今天的專欄中，我們將填上視頻中的坑，本期專欄的主要內(nèi)容有兩塊：

推導(dǎo)Hard Margin SVM兩個(gè)Margin Boundary之間的距離

Soft-Margin SVM 的邏輯思路介紹

推導(dǎo)Hard Margin SVM兩個(gè)Margin Boundary之間的距離

我們假定一個(gè)Hard Margin SVM如下圖所示。

Fig1. Hard-Margin SVM實(shí)例

其中，決策分界面Decision Boundary的公式：

Eq1. Decision Boundary

兩個(gè)邊界分界面Margin Boundary的公式：

Eq2. Margin Boundary

我們假定圖1中高光的點(diǎn)(

)在邊界分界面上面，即滿足Eq2中的條件b1x1+b2x2+b0 = +1(落在紅色的線上面)。那么根據(jù)點(diǎn)到直線的公式：

Eq3. 高光點(diǎn)HiSample到?jīng)Q策分界面DecBoundary的距離

根據(jù)定義:

所以Eq3可以寫(xiě)成：

Eq4. 高光點(diǎn)到?jīng)Q策分界面的距離

因?yàn)闆Q策分界面正好在兩個(gè)邊界分界面的正中間，即兩個(gè)類別之間的間距為：

Eq5. 兩個(gè)邊界分界面之間的距離，即HardMargin

以上就是Hard-Margin SVM的兩個(gè)邊界分界面之間的距離的推導(dǎo)過(guò)程。

---

Soft-Margin SVM 的邏輯思路介紹

Soft-Margin SVM要解決的問(wèn)題有兩個(gè)：

和Hard-MarginSVM一樣，需要最大化間距

在保證大局的正確性的同時(shí)，引入容錯(cuò)率這個(gè)概念

對(duì)于第一點(diǎn)，如果你還記得我們的做法是將距離公式，轉(zhuǎn)化為Hard-margin SVM的Loss function。使其在最小化Loss的同時(shí)，也可以最大化Margin，即：

Eq6. Hard Margin SVM的Loss

在這個(gè)基礎(chǔ)上，我們引入Hinge Loss作為允許部分錯(cuò)誤分類的過(guò)程。所以我們Soft-Margin SVM的Loss可以寫(xiě)成：

Eq7. Soft Margin SVM的Loss

其中N表示樣本數(shù)量，C表示懲罰系數(shù)(Penalty Term)，而Hinge loss 的部分為：

Eq8. Hinge Loss 的定義

【重點(diǎn)】這里我們不妨仔細(xì)看下這個(gè)公式，他的邏輯分兩層，從內(nèi)到外看：

對(duì)于下面的部分，他的計(jì)算結(jié)果表示錯(cuò)誤分類的誤差和

Eq9. Hinge Loss 的定義(2)

比如，當(dāng)你y_n=1，并且b1x1+b2x2+b0=1時(shí)，表示通過(guò)分類器得到的結(jié)果和樣本真是標(biāo)記相同，這個(gè)式子的輸出為0；反之，當(dāng)你y_n=1，并且b1x1+b2x2+b0=-1時(shí)，表示通過(guò)分類器得到的結(jié)果和樣本真是標(biāo)記相反，這個(gè)式子的輸出為2，表示為有誤差。

max(0, ....) 這部分表示為取上面步驟的誤差計(jì)算結(jié)果和0這兩個(gè)數(shù)值中大的數(shù)值作為輸出。

比如，如果SVM的分類結(jié)果沒(méi)錯(cuò)，上面步驟的輸出應(yīng)該是0，那么max(0,0)=0;

如果SVM的分類結(jié)果有誤，上面步驟的輸出應(yīng)該大于0(比如2)，那么max(0,2)=2;

【重點(diǎn)】所以通過(guò)這個(gè)部分，你可以看到優(yōu)化Soft Margin SVM Loss的過(guò)程就是在平衡兩個(gè)點(diǎn)：1. 最大化間距(Hard SVM)， 還是2. 允許部分誤差(Hinge Loss)。而為了更好的平衡這兩點(diǎn)，我們引入了懲罰因子C。當(dāng)C變大時(shí)，意味著我們會(huì)更多的懲罰Hinge Loss,即盡可能少犯錯(cuò)；當(dāng)C變小時(shí)，意味著我們會(huì)盡可能懲罰Hard SVM,也就是Margin更大。

---

為了更好的理解，這里給你準(zhǔn)備了一個(gè)例子，對(duì)比下Hard Margin SVM和Soft Margin SVM。可以看到Soft margin SVM 由于Hinge Loss的引入，增加了很多容錯(cuò)率，從而保證大局上的正確率。

Fig2. Toy Dataset example

Fig3. Hard Margin SVM 分類結(jié)果

Fig4. Soft Margin SVM分類結(jié)果

---

以上就是今天的【五分鐘機(jī)器學(xué)習(xí)】SVM篇的主要內(nèi)容了。

如果你覺(jué)得本期內(nèi)容有所幫助，歡迎素質(zhì)三連。

您的支持將是我繼續(xù)發(fā)電的最大動(dòng)力~

我是某某某

總結(jié)

以上是生活随笔為你收集整理的svm分类器训练详细步骤_「五分钟机器学习」向量支持机SVM——学霸中的战斗机...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。