1.邏輯回歸（Logistic Regression）又常被成為“邏輯斯蒂回歸”，實(shí)質(zhì)上是一個(gè)二元分類問題。

邏輯回歸代價(jià)函數(shù)：

?

代價(jià)函數(shù)導(dǎo)數(shù)：

Matlab實(shí)現(xiàn)：

?

采用matlab中自帶的無約束最小化函數(shù)fminunc來代替梯度下降法（避免學(xué)習(xí)率的選擇）。

fminunc高級(jí)函數(shù)的使用參考：http://blog.csdn.net/gzp444280620/article/details/49272977

??

自定義函數(shù)與fminunc函數(shù)之間的調(diào)用關(guān)系：

?

對(duì)于二維線性或者非線性問題，我們可以通過畫出決策邊界來可視化數(shù)據(jù)集，從而更直觀判斷模型的準(zhǔn)確度。

?

對(duì)于可以用簡單線性劃分的數(shù)據(jù)集，不需要進(jìn)行模型復(fù)雜度和正則化處理，應(yīng)用起來往往很簡單。

?

2.非線性決策邊界問題：

對(duì)于邊界復(fù)雜問題，簡單的線性邊界劃分無法實(shí)現(xiàn)，需要增加特征變量的階數(shù)來實(shí)現(xiàn)非線性劃分。這樣就會(huì)導(dǎo)致模型的復(fù)雜度增加，如何權(quán)衡模型的準(zhǔn)確度和復(fù)雜度？——正則化處理。

?

1）非線性模型復(fù)雜度的選擇：下面的代碼只針對(duì)二維特征變量，單一特征變量的最高階數(shù)可以自行試湊。

?

2）正則化參數(shù)的選擇：

過小：對(duì)模型復(fù)雜度懲罰不夠，過擬合

過大：模型太過簡單，訓(xùn)練準(zhǔn)確率下降，欠擬合

?

?

正則化處理后的代價(jià)函數(shù)：

?

代價(jià)函數(shù)導(dǎo)數(shù)：

正則化代碼：

?

?

PS: 應(yīng)用邏輯回歸模型也可以進(jìn)行多類分類，處理方法是多次重復(fù)進(jìn)行二分類，每次選擇一個(gè)正向類，其余各類都視作負(fù)向類。

?

個(gè)人筆記：http://www.cnblogs.com/always-chang/p/5935655.html

源碼分析：http://pan.baidu.com/s/1nu7rwVZ 密碼：2ra2

轉(zhuǎn)載于:https://www.cnblogs.com/always-chang/p/6113942.html

總結(jié)

以上是生活随笔為你收集整理的【机器学习经典算法源码分析系列】-- 逻辑回归的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。