1 邏輯回歸介紹

????????logistic regressioin是一種二分類算法，通過sigmoid激活函數(shù)將線性組合壓縮到0和1之間，來代表屬于某一個(gè)分類的屬性? ? ?

????????雖然其中帶有"回歸"兩個(gè)字，但邏輯回歸其實(shí)是一個(gè)分類模型

????????

?

????????好處在于輸出值自然地落在0到1之間，并且有概率意義。模型清晰，有對應(yīng)的概率學(xué)理論基礎(chǔ)。

????????但同時(shí)由于其本質(zhì)上是一個(gè)線性的分類器，所以不能應(yīng)對較為復(fù)雜的數(shù)據(jù)情況。很多時(shí)候我們也會拿邏輯回歸模型去做一些任務(wù)嘗試的baseline

2 三步法解釋邏輯斯蒂回歸

?還是使用李宏毅教授所說的深度學(xué)習(xí)三步法來理解模型：

2.1??Step 1 function set

?

?2.1.1 sigmoid

將所有結(jié)果壓縮到[0~1]上——可以用來進(jìn)行二元分類，σ(x)表示了一個(gè)類的概率

?2.1.2 sigmoid的好處

2.2?Step2 goodness of a function

?C1的概率是f，那么C2的概率就是1-f

?

?我們引入交叉熵

交叉熵判斷兩個(gè)分布的相似程度，如果兩個(gè)分布一模一樣，那么交叉熵最小（除非兩個(gè)分布都是one-hot，否則不可能交叉熵是0）

?

交叉熵能夠衡量同一個(gè)隨機(jī)變量中的兩個(gè)不同概率分布的差異程度，在機(jī)器學(xué)習(xí)中就表示為真實(shí)概率分布與預(yù)測概率分布之間的差異。交叉熵的值越小，模型預(yù)測效果就越好。

交叉熵在分類問題中常常與softmax是標(biāo)配，softmax將輸出的結(jié)果進(jìn)行處理，使其多個(gè)分類的預(yù)測值和為1，再通過交叉熵來計(jì)算損失。

2.2.1 從最大似然估計(jì)的角度理解交叉熵

?對于一個(gè)隨機(jī)變量，假設(shè)類別1的概率是θ，類別0的概率是1-θ

?那么，出現(xiàn)n次1和m次0的概率是：

?取log+極大似然估計(jì)，有：

??將上式對θ求導(dǎo)，有，結(jié)果也是符合直觀的?

??我們引入邏輯斯蒂回歸的損失函數(shù)：交叉熵

2.3?Step 3 find best function

?我們首先看

我們令?

那么我們有：

與此同時(shí)，我們有：?(σ是sigmoid函數(shù)）

所以有

()

?

?所以=

?

?然后我們看

?

?同樣令

?

?

所以=

?綜合起來，有：

3 邏輯斯蒂回歸和線性回歸

?4?能否用均方誤差代替交叉熵

我們考慮一下logistic regression+MSE

?也就是說，無論我們預(yù)測的是0還是1，我們對應(yīng)的梯度都是0

?

也就是，在遠(yuǎn)離target的地方，我們也更新的很慢（但因?yàn)槲覀儾恢赖降赚F(xiàn)在是靠近target，還是遠(yuǎn)離target，所以我們也不能通過調(diào)整學(xué)習(xí)率）

?4?從極大似然估計(jì)的角度看邏輯回歸

?

?

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记：logistic regression的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。