理論推導(dǎo)

??在以前的博客（機(jī)器學(xué)習(xí)入門學(xué)習(xí)筆記：（2.1）線性回歸理論推導(dǎo) ）中推導(dǎo)了單元線性回歸和多元線性回歸的模型。
??將線性回歸模型簡(jiǎn)寫為：y=ωTx+b；
??對(duì)數(shù)線性回歸模型可以寫成：ln(y)=ωT+b；本質(zhì)上仍然是線性回歸，只不過擬合的是非線性的ln函數(shù)了。
??更一般地，考慮單調(diào)可微函數(shù)g(.)，令y=g?1(ωTx+b)；這個(gè)模型就叫做廣義線性回歸模型。（直接抄書的，實(shí)在不擅長(zhǎng)背定義QAQ）
??對(duì)于二分類任務(wù)，輸出標(biāo)記為y∈{0,1}，而線性回歸的預(yù)測(cè)結(jié)果h(x)=ωTx+b，很明顯是一個(gè)連續(xù)值，所以需要將其轉(zhuǎn)換為0/1值。
?? 所以要用到單位階越函數(shù)：

y=???0,h(x)<0;0.5,h(x)=0;1,h(x)>0;
即，若預(yù)測(cè)值大于0，就判為正例；若預(yù)測(cè)值小于0，就判為負(fù)例；臨界值處，任意判別。
??我們都知道，階躍函數(shù)不可導(dǎo)，不連續(xù)，而 g?1(.)必須是一個(gè)可微的函數(shù)，所以階躍函數(shù)不能用作 g?1(.)，還需要找一個(gè)連續(xù)函數(shù)代替階躍函數(shù)。
??我們常用 對(duì)數(shù)幾率函數(shù)（logistic function）來進(jìn)行替代： y=11+e?z
??畫出圖形會(huì)看到它形似S，所以也是一種sigmoid函數(shù)。
??把對(duì)數(shù)幾率函數(shù)作為 g?1(.)，代入到廣義線性回歸的公式中： y=11+e?(ωTx+b)
??做一些化簡(jiǎn)，可以得到： ln(y1?y)=ωTx+b
??其中，y是正例的可能性，(1-y)是負(fù)例的可能性。
??那么，這個(gè) ln(y1?y)其實(shí)就是“對(duì)數(shù)幾率”，等式右邊的是什么不用說了吧。可以看出，對(duì)數(shù)幾率回歸實(shí)質(zhì)上就是使用線性回歸模型（ ωTx+b）來逼近這個(gè)對(duì)數(shù)幾率（ ln(y1?y)）。
??好的，那么問題來了。如何求解出這個(gè)模型中的未知參數(shù) ω和 b呢？
只考慮二分類的情況下，將y換成后驗(yàn)概率P(y=1|x)來表示，同理1-y可以換成 P(y=0|x)。
??則有： {ln(P(y=1|x)P(y=0|x))=ωTx+bP(y=1|x)+P(y=0|x)=1
??解得： ???P(y=1|x)=eωTx+b1+eωTx+bP(y=0|x)=11+eωTx+b
??通過極大似然法來估計(jì) ω和 b：L(ω,b)=∑i=1mln(P(yi|xi;ω,b))
??為表述方便，使用一個(gè)新矩陣 β來表示 ω和 b，令β={ωb}。
??同時(shí)也要給x矩陣補(bǔ)上一列1，令 x′={x1}。因?yàn)橐獙?duì)應(yīng)參數(shù)b，補(bǔ)上1，保證結(jié)果不變。
??那么， ωTx+b=βTx′。
??由于是二分類，即只有 y=0和 y=1的情況，那么可以將似然項(xiàng)重寫為 y=0和 y=1的情況相加： p(yi|xi;β)=yi×p(y=1|x′i;β)+(1?yi)×p(y=0|x′i;β)
??”西瓜書“上是這么寫的，當(dāng)然這樣也不難理解。其實(shí)為了后面推導(dǎo)方便和容易理解，我們可以換成對(duì)數(shù)幾率的形式來表示，原理依然是一樣的，無非是加了個(gè)對(duì)數(shù)： ln[p(yi|xi;β)]=yi×ln[p(y=1|x′i;β)]+(1?yi)×ln[p(y=0|x′i;β)]
??將上式代入到前面極大似然的公式中： L(β)=∑mi=1ln(P(yi|xi;β))
??聯(lián)立前面推出的后驗(yàn)概率的結(jié)果： ???P(y=1|x)=eωTx+b1+eωTx+bP(y=0|x)=11+eωTx+b
??得到最后的結(jié)果： L(β)=∑i=1m(yiβTx′i?ln(1+eβTx′i))

??由于是極大似然，我們需要求出其極大值，所以有：

β?=argmaxmL(β)
??求出使 L(β)最大的最優(yōu)解等價(jià)于求出使 ?L(β)最小的解，所以有：
β?=argmaxmL(β)=argminmL(β)=∑i=1m(?yiβTx′i+ln(1+eβTx′i))
??最后可以通過凸優(yōu)化中的梯度下降法、牛頓法等方法來求出 L(β)函數(shù)的最優(yōu)解 β?。

以上僅是個(gè)人學(xué)習(xí)筆記分享用，也留作我自己以后溫習(xí)。
(>.<)

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的机器学习入门学习笔记：（2.3）对数几率回归推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。