代價函數

在邏輯回歸中，我們的預測函數為：
$$h_{\theta }(x)=\frac{1}{1+e^{?{\theta }^{T}x}}$$

代價函數為：
$$cost=?ylog(h_{\theta }(x))+(1?y)log(1?h_{\theta }(x))$$

當 $y=1$ 時，代價函數就為：
$$cost=?log(h_{\theta }(x))$$$$=?log\frac{1}{1+e^{?z}},z={\theta }^{T}x$$

此時，代價函數隨 $z$ 的變化曲線如下圖：

不難看出，當 $y=1$ 時，隨著 $z$ 取值變大，預測代價變小，因此，邏輯回歸想要在面對正樣本 $y=1$ 時，獲得足夠高的預測精度，就希望 $z={\theta }^{T}x?0$ 。而 SVM 則將上圖的曲線拉直為下圖中的折線，構成了 $y=1$ 時的代價函數曲線 $cos{t}_1(z)$ ：

當 $y=1$ 時，為了預測精度足夠高，SVM 希望 ${\theta }^{T}x\ge 1$ 。

同樣，在 $y=0$ 時，SVM 定義了代價函數 $cos{t}_0(z)$ ，為了預測精度足夠高，SVM 希望 ${\theta }^{T}x\le ?1$ ：

最小化預測代價

SVM定義其最小化預測代價的過程為：
$$\underset{\theta }{\min }C[\sum _{i=1}^m{y}^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1?y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

而在邏輯回歸中，最小化預測代價的過程為：
$$\underset{\theta }{\min }\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}(?log{h}_{\theta }(x^{(i)}))+(1?y^{(i)})(?log(1?h_{\theta }(x^{(i)})))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

事實上，我們可以將邏輯回歸的代價函數簡要描述為：
$$cost=A+\lambda B$$

而 SVM 的代價函數描述為：
$$cost=CA+B$$

即，在邏輯回歸中，我們通過正規化參數 $\lambda$ 調節 所占的權重，且 $A$ 的權重與 $\lambda$ 取值成反比。而在 SVM 中，則通過參數 $C$ 調節 所占的權重，且 $A$ 的權重與 $C$ 的取值成反比。亦即，參數 $C$ 可以被認為是扮演了 $\frac{1}{\lambda }$ 的角色。

預測函數

當我們訓練得到 θ 之后，可以代入下面的 SVM 預測函數進行預測：
$$h_{\theta }(x)=\{\begin{array}{ll}1& if{\theta }^{T}x\ge 0\\ 0& otherwise\end{array}$$

總結

以上是生活随笔為你收集整理的5.1 代价函数-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。