在前面介紹的《邏輯回歸是個什么邏輯》中，我們構(gòu)建的邏輯回歸模型是：

P(y=1|x;θ)=11+e?θTx
在模型的數(shù)學(xué)形式確定后，剩下的就是如何去求解模型中的參數(shù) θ。而在已知模型和一定樣本的情況下，估計模型的參數(shù)，在統(tǒng)計學(xué)中常用的是極大似然估計方法。即找到一組參數(shù) θ，使得在這組參數(shù)下，樣本數(shù)據(jù)的似然度（概率）最大。對于極大似然估計，可以參考下前期文章《 極大似然估計》。

對于邏輯回歸模型，假定的概率分布是伯努利分布，根據(jù)伯努利分布的定義，其概率質(zhì)量函數(shù)PMF為：

P(X=n)={1?pn=0pn=1
所以，似然函數(shù)可以寫成：
L(θ)=∏i=1mP(y=1|xi)yiP(y=0|xi)1?yi
對數(shù)似然函數(shù)則為：
lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1?yi)lnP(y=0|xi)]
lnL(θ)=∑i=1m[yilnP(y=1|xi)+(1?yi)ln(1?P(y=1|xi))]
而在機器學(xué)習(xí)領(lǐng)域，我們經(jīng)常使用損失函數(shù)（loss function,或稱為代價函數(shù)，cost function）來衡量模型預(yù)測的好壞。常用的有0-1損失，平方損失，絕對損失，對數(shù)損失等。其中對數(shù)損失在單個數(shù)據(jù)點上的定義為：
cost(y,p(y|x))=?ylnp(y|x)?(1?y)ln(1?p(y|x))
全體樣本的損失函數(shù)則可表達為：
cost(y,p(y|x))=?∑i=1m[yilnp(yi|xi)+(1?yi)ln(1?p(yi|xi))]
可以看到，這個對數(shù)損失函數(shù)與上面的極大似然估計的對數(shù)似然函數(shù)本質(zhì)上是等價的。所以邏輯回歸直接采用對數(shù)損失函數(shù)來求參數(shù)，實際上與采用極大似然估計來求參數(shù)是一致的。

總結(jié)

以上是生活随笔為你收集整理的逻辑回归为什么使用对数损失函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。