大間距分類器

在上節(jié)中，我們了解到了 SVM 最小化代價函數(shù)過程為：
$$\underset{\theta }{\min }C[\sum _{i=1}^m{y}^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1?y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

并且，當(dāng) $y^{(i)}=1$ 時，SVM 希望 ${\theta }^T{x}^{(i)}\ge 1$ ；而當(dāng) $y^{(i)}=0$ 時，SVM 希望 ${\theta }^T{x}^{(i)}\le ?1$ 。則最小化代價函數(shù)的過程就可以描述為：
$$\min \frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$$$s.t.{\theta }^T{x}^{(i)}\ge 1if{y}^{(i)}=1$$$${\theta }^T{x}^{(i)}\le ?1if{y}^{(i)}=1$$

SVM 最終找出的決策邊界會是下圖中黑色直線所示的決策邊界，而不是綠色或者紫色的決策邊界。該決策邊界保持了與正、負(fù)樣本都足夠大的距離，因此，SVM 是典型的大間距分類器（Large margin classifier）。

推導(dǎo)

假定有兩個 2 維向量：
$$u=\left(\begin{array}{c}{u}_1\\ u_2\end{array}\right),v=\left(\begin{array}{c}{v}_1\\ v_2\end{array}\right)$$

令 $p$ 為 $v$ 投影到 $u$ 的線段長（該值可正可負(fù)），如下圖所示：

則 $u、v$ 的內(nèi)積為：
$$u^{T}v=p?||u||=u_1{v}_1+u_2{v}_2$$

其中，$||u||$ 為 $u$ 的范數(shù)，也是 $u$ 的長度。
假定我們的 $\theta =\left(\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right)$ ，且 ${\theta }_0=0$ ，以使得向量 $\theta$ 過原點，則：
$$\underset{\theta }{\min }\frac{1}{2}\sum _{j=1}^2{\theta }_j^2=\underset{\theta }{\min }\frac{1}{2}({\theta }_1+{\theta }_2{)}^2$$$$=\underset{\theta }{\min }\frac{1}{2}(\sqrt{{\theta }_1^2+{\theta }_2^2}{)}^2$$$$=\underset{\theta }{\min }\frac{1}{2}||\theta |{|}^2$$

由向量內(nèi)積公式可得：
$${\theta }^T{x}^{(i)}=p^{(i)}?||\theta ||$$

其中， $p^{(i)}$ 為特征向量 $x^{(i)}$ 在 $\theta$ 上的投影：

當(dāng) $y^{(i)}=1$ 時，我們希望 ${\theta }^T{x}^{(i)}\ge 1$ ，亦即希望 $p^{(i)}?||\theta ||\ge q$ ，此時考慮兩種情況：

$p^{(i)}$ 很小，則需要 $||\theta ||$ 很大，這與我們 $\underset{\theta }{\min }\frac{1}{2}||\theta |{|}^2$ 矛盾。

$p^{(i)}$ 很大，如下圖所示，即樣本與決策邊界的距離足夠大，此時我們才能在既要 $||\theta ||$ 足夠小的情況下，又能有 ${\theta }^t{x}^{(i)}\ge 1$ ，保證預(yù)測精度夠高。這就解釋了為什么 SVM 的模型會具有大間距分類器的性質(zhì)了。

總結(jié)

以上是生活随笔為你收集整理的5.2 大间距分类器-机器学习笔记-斯坦福吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。