支持向量機的目標是

\[\underbrace {\min }_\theta \left\{ {C\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}{\mathop{\rm Cos}\nolimits} {t_1}\left( {{\theta ^T}{x^{\left( i \right)}}} \right) + \left( {1 - {y^{\left( i \right)}}} \right){\mathop{\rm Cos}\nolimits} {t_0}\left( {{\theta ^T}{x^{\left( i \right)}}} \right)} } \right] + \frac{1}{2}\sum\limits_{j = 1}^n {\theta _j^2} } \right\}\]

下圖分別是Cost₁(z)和Cost₀(z)的示意圖

如果y=1，我們想要θ^Tx≥1（而不僅僅是θ^Tx≥0）

如果y=0，我們想要θ^Tx≤-1（而不僅僅是θ^Tx<0）

---

接下來考慮一種情況，當把式子中的C設置的非常大時

\[\underbrace {\min }_\theta \left\{ {C\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}{\mathop{\rm Cos}\nolimits} {t_1}\left( {{\theta ^T}{x^{\left( i \right)}}} \right) + \left( {1 - {y^{\left( i \right)}}} \right){\mathop{\rm Cos}\nolimits} {t_0}\left( {{\theta ^T}{x^{\left( i \right)}}} \right)} } \right] + \frac{1}{2}\sum\limits_{j = 1}^n {\theta _j^2} } \right\}\]

支持向量機為達到最小化的目的會試圖將式子的第一部分（除了C）變得很小。

當y⁽ⁱ⁾=1時，得到的θ會使得θ^Tx≥1

當y⁽ⁱ⁾=0時，得到的θ會使得θ^Tx<-1

這樣就會得到一個“比較有意思”的“decision boundary”。對于如下分類問題

算法可以得到“藍線”和“橙線”的分界線，也可以得到“黑色”分界線，支持向量機會得到黑色的線。

如果兩條黑色虛線代表不同類的邊界的話，支持向量機會得到距離兩條虛線盡量遠的一條直線。

---

需要注意的點

對于下面的分類問題，正常情況下應該得到藍色的直線。

但是，當C非常大時，支持向量機會得到黃色的直線，因為它會得到距離兩個類盡量遠的直線。

如果取得C適當，支持向量機仍然會得到藍色的先，即使出現非線性可分的情況（右側紅五角星）。

?

轉載于:https://www.cnblogs.com/qkloveslife/p/9897986.html

總結

以上是生活随笔為你收集整理的支持向量机——Large Margin Classifier的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。