在前面介紹的《邏輯回歸是個什么邏輯》中，我們構建的邏輯回歸模型是：

P(y=1|x;θ)=11+e?θTx
在模型的數學形式確定后，剩下的就是如何去求解模型中的參數 θ。而在已知模型和一定樣本的情況下，估計模型的參數，在統計學中常用的是極大似然估計方法。即找到一組參數 θ，使得在這組參數下，樣本數據的似然度（概率）最大。對于極大似然估計，可以參考下前期文章《 極大似然估計》。

對于邏輯回歸模型，假定的概率分布是伯努利分布，根據伯努利分布的定義，其概率質量函數PMF為：

P(X=n)={1?pn=0pn=1
所以，似然函數可以寫成：
L(θ)=∏i=1mP(y=1|xi)yiP(y=0|xi)1?yi
對數似然函數則為：
lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1?yi)lnP(y=0|xi)]
lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1?yi)ln(1?P(y=1|xi))]
而在機器學習領域，我們經常使用損失函數（loss function,或稱為代價函數，cost function）來衡量模型預測的好壞。常用的有0-1損失，平方損失，絕對損失，對數損失等。其中對數損失在單個數據點上的定義為：
cost(y,p(y|x))=?ylnp(y|x)?(1?y)ln(1?p(y|x))
全體樣本的損失函數則可表達為：
cost(y,p(y|x))=?∑i=1m[yilnp(yi|xi)+(1?yi)ln(1?p(yi|xi))]
可以看到，這個對數損失函數與上面的極大似然估計的對數似然函數本質上是等價的。所以邏輯回歸直接采用對數損失函數來求參數，實際上與采用極大似然估計來求參數是一致的。

總結

以上是生活随笔為你收集整理的逻辑回归为什么使用对数损失函数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。