代價(jià)函數(shù)

在邏輯回歸中，我們的預(yù)測(cè)函數(shù)為：
$$h_{\theta }(x)=\frac{1}{1+e^{?{\theta }^{T}x}}$$

代價(jià)函數(shù)為：
$$cost=?ylog(h_{\theta }(x))+(1?y)log(1?h_{\theta }(x))$$

當(dāng) $y=1$ 時(shí)，代價(jià)函數(shù)就為：
$$cost=?log(h_{\theta }(x))$$$$=?log\frac{1}{1+e^{?z}},z={\theta }^{T}x$$

此時(shí)，代價(jià)函數(shù)隨 $z$ 的變化曲線如下圖：

不難看出，當(dāng) $y=1$ 時(shí)，隨著 $z$ 取值變大，預(yù)測(cè)代價(jià)變小，因此，邏輯回歸想要在面對(duì)正樣本 $y=1$ 時(shí)，獲得足夠高的預(yù)測(cè)精度，就希望 $z={\theta }^{T}x?0$ 。而 SVM 則將上圖的曲線拉直為下圖中的折線，構(gòu)成了 $y=1$ 時(shí)的代價(jià)函數(shù)曲線 $cos{t}_1(z)$ ：

當(dāng) $y=1$ 時(shí)，為了預(yù)測(cè)精度足夠高，SVM 希望 ${\theta }^{T}x\ge 1$ 。

同樣，在 $y=0$ 時(shí)，SVM 定義了代價(jià)函數(shù) $cos{t}_0(z)$ ，為了預(yù)測(cè)精度足夠高，SVM 希望 ${\theta }^{T}x\le ?1$ ：

最小化預(yù)測(cè)代價(jià)

SVM定義其最小化預(yù)測(cè)代價(jià)的過(guò)程為：
$$\underset{\theta }{\min }C[\sum _{i=1}^m{y}^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1?y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

而在邏輯回歸中，最小化預(yù)測(cè)代價(jià)的過(guò)程為：
$$\underset{\theta }{\min }\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}(?log{h}_{\theta }(x^{(i)}))+(1?y^{(i)})(?log(1?h_{\theta }(x^{(i)})))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

事實(shí)上，我們可以將邏輯回歸的代價(jià)函數(shù)簡(jiǎn)要描述為：
$$cost=A+\lambda B$$

而 SVM 的代價(jià)函數(shù)描述為：
$$cost=CA+B$$

即，在邏輯回歸中，我們通過(guò)正規(guī)化參數(shù) $\lambda$ 調(diào)節(jié) 所占的權(quán)重，且 $A$ 的權(quán)重與 $\lambda$ 取值成反比。而在 SVM 中，則通過(guò)參數(shù) $C$ 調(diào)節(jié) $A、B$ 所占的權(quán)重，且 $A$ 的權(quán)重與 $C$ 的取值成反比。亦即，參數(shù) $C$ 可以被認(rèn)為是扮演了 $\frac{1}{\lambda }$ 的角色。

預(yù)測(cè)函數(shù)

當(dāng)我們訓(xùn)練得到 θ 之后，可以代入下面的 SVM 預(yù)測(cè)函數(shù)進(jìn)行預(yù)測(cè)：
$$h_{\theta }(x)=\{\begin{array}{ll}1& if{\theta }^{T}x\ge 0\\ 0& otherwise\end{array}$$

總結(jié)

以上是生活随笔為你收集整理的5.1 代价函数-机器学习笔记-斯坦福吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。