邏輯斯蒂函數(shù)

引入： 在線性感知器算法中，我們使用了一個(gè)f(x)=x函數(shù)，作為激勵(lì)函數(shù)，而在邏輯斯蒂回歸中，我們將會(huì)采用sigmoid函數(shù)作為激勵(lì)函數(shù)，所以它被稱為sigmoid回歸也叫對(duì)數(shù)幾率回歸（logistic
regression），需要注意的是，雖然它的名字中帶有回歸，但事實(shí)上它并不是一種回歸算法，而是一種分類算法。它的優(yōu)點(diǎn)是，它是直接對(duì)分類的可能性進(jìn)行建模的，無(wú)需事先假設(shè)數(shù)據(jù)分布，這樣就避免了假設(shè)分布不準(zhǔn)確所帶來(lái)的問(wèn)題，因?yàn)樗轻槍?duì)于分類的可能性進(jìn)行建模的，所以它不僅能預(yù)測(cè)出類別，還可以得到屬于該類別的概率。除此之外，sigmoid函數(shù)它是任意階可導(dǎo)的凸函數(shù)。在這篇文章中，將會(huì)使用到梯度上升算法，可能有很多同學(xué)學(xué)到這里會(huì)有點(diǎn)迷糊，之前我們所使用的是，梯度下降算法為什么到這里卻使用的是梯度上升算法？

解釋logistic回歸為什么要使用sigmoid函數(shù)
$$h_{\theta }=g({\theta }^{T}X)=\frac{1}{1+e^{?{\theta }^{T}X}}$$

$$h_w=g(w^{T}X)=\frac{1}{1+e^{?w^{T}X}}$$

$$h_w=g(Xw)=\frac{1}{1+e^{?Xw}}$$

準(zhǔn)備數(shù)據(jù)

import numpy as npX = np.random.randn(50,4) X.shapew = np.random.randn(4) X[[0]].dot(w)#或者 w.T.dot(X[0])

3.154665990657282

'''假如有一個(gè)罐子，里面有黑白兩種顏色的球，數(shù)目多少不知， 兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例， 但我們不能把罐中的球全部拿出來(lái)數(shù)。現(xiàn)在我們可以每次任意從已經(jīng)搖勻 的罐中拿一個(gè)球出來(lái)，記錄球的顏色，然后把拿出來(lái)的球 再放回罐中。 這個(gè)過(guò)程可以重復(fù)，我們可以用記錄的球的顏色來(lái)估計(jì)罐中黑白球的比例。 假如在前面的一百次重復(fù)記錄中， 有七十次是白球，請(qǐng)問(wèn)罐中白球所占的比例最有可能是多少？''' # 請(qǐng)問(wèn)罐子中白球的比例是多少？很多種可能10%，5%，95%…… # 請(qǐng)問(wèn)罐子中白球的比例最有可能是多少？70%，進(jìn)行精確計(jì)算，‘感覺(jué)’ # ‘感覺(jué)’的計(jì)算 # 假設(shè)白球的概率是p,黑球1-p # 取出一個(gè)球是白球的概率 ：p # 取出兩個(gè)球，都是白球的概率：p**2 # 取出3個(gè)球，2個(gè)白球一個(gè)黑球的概率：p**2*(1-p) # 取出100個(gè)球，70是白球，30個(gè)是黑球，概率：p**70*(1-p)**30 f(p) = p**70*(1-p)**30

$$f(p)=p^{70}?(1?p{)}^{30}$$

$$70?p^{69}?(1?p{)}^{30}+p^{70}?30?(1?p{)}^{29}?(?1)=0$$

$$70?(1?p)?p?30=0$$

$$70?100?p=0$$

$$p=0.7$$

$$l(\theta )越大越好，梯度上升優(yōu)化$$

$$J(\theta )=?l(\theta )越小越好，梯度下降了$$

將似然函數(shù)變成log函數(shù)

梯度上升添加符號(hào)就變?yōu)樘荻认陆?/h1>

再求導(dǎo)求出j點(diǎn)的梯度

！！！
我是這樣認(rèn)為的：所謂的梯度“上升”和“下降”，一方面指的是你要計(jì)算的結(jié)果是函數(shù)的極大值還是極小值。計(jì)算極小值，就用梯度下降，計(jì)算極大值，就是梯度上升；另一方面，運(yùn)用上升法的時(shí)候參數(shù)是不斷增加的，下降法是參數(shù)是不斷減小的。但是，在這個(gè)過(guò)程中，“梯度”本身都是下降的。

提取共同系數(shù)

$$h_{\theta }=g({\theta }^{T}X)=\frac{1}{1+e^{?{\theta }^{T}X}}$$

$$\frac{1}{(1+e^{?{\theta }^{T}X}{)}^2}?e^{?{\theta }^{T}X}?\frac{?}{?{\theta }_j}{\theta }^{T}X$$

$$\frac{1}{(1+e^{?{\theta }^{T}X})}?\frac{e^{?{\theta }^{T}X}}{(1+e^{?{\theta }^{T}X})}?\frac{?}{?{\theta }_j}{\theta }^{T}X$$

$$g({\theta }^T{X}^i)?\frac{e^{?{\theta }^{T}X}}{(1+e^{?{\theta }^{T}X})}?\frac{?}{?{\theta }_j}{\theta }^{T}X$$

$$g({\theta }^T{X}^i)?\frac{e^{?{\theta }^{T}X}}{(1+e^{?{\theta }^{T}X})}?\frac{?}{?{\theta }_j}{\theta }^{T}X$$

$$1?g({\theta }^T{X}^i)=1?\frac{1}{1+e^{?{\theta }^{T}X}}=\frac{1+e^{?{\theta }^{T}X}}{1+e^{?{\theta }^{T}X}}?\frac{1}{1+e^{?{\theta }^{T}X}}=\frac{e^{?{\theta }^{T}X}}{1+e^{?{\theta }^{T}X}}$$

$$g=\frac{1}{1+e^{?x}}$$

$$g^{\prime }=g?(1?g)$$

手寫(xiě)筆記個(gè)人總結(jié)使用

可參考
徹底搞懂邏輯斯蒂回歸

PS：公眾號(hào)內(nèi)回復(fù) ：Python，即可獲取最新最全學(xué)習(xí)資源！

破解專業(yè)版pycharm參考博客www.wakemeupnow.cn公眾號(hào)：劉旺學(xué)長(zhǎng)

內(nèi)容詳細(xì)：【個(gè)人分享】今年最新最全的Python學(xué)習(xí)資料匯總！！！

以上，便是今天的分享，希望大家喜歡，
覺(jué)得內(nèi)容不錯(cuò)的，歡迎點(diǎn)擊分享支持，謝謝各位。

單純分享，無(wú)任何利益相關(guān)！

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的【机器学习】逻辑斯蒂回归原理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。