核函數(shù)

在邏輯回歸中，我們會(huì)通過多項(xiàng)式擴(kuò)展來處理非線性分類問題：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+?$$

假設(shè)我們令：
$$f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,f_5=x_2^2$$

則預(yù)測(cè)函數(shù)為：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3+?$$

但多項(xiàng)式回歸所帶來的高階項(xiàng)不一定作用明顯，針對(duì)這一問題，SVM 不會(huì)引入高階項(xiàng)來作為新的特征，而是會(huì)選擇一些標(biāo)記點(diǎn)（landmark），并將樣本 $x$ 與標(biāo)記點(diǎn) $l^{(i)}$ 的相似程度作為新的訓(xùn)練特征 $f_i$ ：
$$f_i=similarity(x,l^{(i)})$$

距離度量的方式就稱之為核函數(shù)（Kernel），最常見的核函數(shù)是高斯核函數(shù)（Gaussian Kernel）：
$$f_i=exp(\frac{?||x?l^{(i)}|{|}^2}{2{\delta }^2})$$

在高斯核中，注意到：

• 如果樣本與標(biāo)記點(diǎn)足夠接近，即 x≈l(i) ，則：
  $$f\approx exp(?\frac{0^2}{2{\delta }^2})\approx 1$$

• 如果樣本遠(yuǎn)離標(biāo)記點(diǎn)，則：
  $$f\approx exp(?\frac{(largenumber{)}^2}{2{\delta }^2})\approx 0$$

這一關(guān)系可以被如下的熱力圖所反映：

在使用高斯核函數(shù)前，需要做特征縮放（feature scaling），以使 SVM 同等程度地關(guān)注到不同的特征。

標(biāo)記點(diǎn)選取

假定我們有如下的數(shù)據(jù)集：
$$(x^{(1)},y^{(1)})，(x^{(2)},y^{(2)})，(x^{(3)},y^{(3)})，?，(x^{(m)},y^{(m)})$$

我們就將每個(gè)樣本作為一個(gè)標(biāo)記點(diǎn)：
$$l^{(1)}=x^{(1)}，l^{(2)}=x^{(2)}，l^{(3)}=x^{(3)}，?，l^{(m)}=x^{(m)}$$

則對(duì)于樣本 $(x^{(i)},y^{(i)})$ ，我們計(jì)算其與各個(gè)標(biāo)記點(diǎn)的距離：
$$f_1^{(i)}=sim(x^{(i)},l^{(1)})$$$$f_2^{(i)}=sim(x^{(i)},l^{(2)})$$$$?$$$$f_m^{(i)}=sim(x^{(i)},l^{(3)})$$

得到新的特征向量： $f\in {\mathbb{R}}^{m+1}$
$$f=?\begin{array}{c}{f}_0\\ f_1\\ f_2\\ ?\\ f_m\end{array}?其中f_0=1$$

則具備核函數(shù)的 SVM 的訓(xùn)練過程如下：
$$\underset{\theta }{\min }C[\sum _{i=1}^m{y}^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1?y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

總結(jié)

以上是生活随笔為你收集整理的5.3 核函数-机器学习笔记-斯坦福吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。