Logistic回归总结
作者：洞庭之子
微博：洞庭之子-Bing
（2013年11月）
PDF下載地址：http://download.csdn.net/detail/lewsn2008/6547463
1.引言
看了Stanford的Andrew Ng老師的機(jī)器學(xué)習(xí)公開課中關(guān)于Logistic Regression的講解，然后又看了《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》中的LogisticRegression部分，寫下此篇學(xué)習(xí)筆記總結(jié)一下。
首先說一下我的感受，《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》一書在介紹原理的同時(shí)將全部的算法用源代碼實(shí)現(xiàn)，非常具有操作性，可以加深對算法的理解，但是美中不足的是在原理上介紹的比較粗略，很多細(xì)節(jié)沒有具體介紹。所以，對于沒有基礎(chǔ)的朋友（包括我）某些地方可能看的一頭霧水，需要查閱相關(guān)資料進(jìn)行了解。所以說，該書還是比較適合有基礎(chǔ)的朋友。
本文主要介紹以下三個(gè)方面的內(nèi)容：
（1）Logistic Regression的基本原理，分布在第二章中；
（2）Logistic Regression的具體過程，包括：選取預(yù)測函數(shù)，求解Cost函數(shù)和J(θ)，梯度下降法求J(θ)的最小值，以及遞歸下降過程的向量化（vectorization），分布在第三章中；
（3）對《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》中給出的實(shí)現(xiàn)代碼進(jìn)行了分析，對閱讀該書LogisticRegression部分遇到的疑惑進(jìn)行了解釋。沒有基礎(chǔ)的朋友在閱讀該書的Logistic Regression部分時(shí)可能會覺得一頭霧水，書中給出的代碼很簡單，但是怎么也跟書中介紹的理論聯(lián)系不起來。也會有很多的疑問，比如：一般都是用梯度下降法求損失函數(shù)的最小值，為何這里用梯度上升法呢？書中說用梯度上升發(fā)，為何代碼實(shí)現(xiàn)時(shí)沒見到求梯度的代碼呢？這些問題在第三章和第四章中都會得到解答。
文中參考或引用內(nèi)容的出處列在最后的“參考文獻(xiàn)”中。文中所闡述的內(nèi)容僅僅是我個(gè)人的理解，如有錯誤或疏漏，歡迎大家批評指正。下面進(jìn)入正題。
2. 基本原理
Logistic Regression和Linear Regression的原理是相似的，按照我自己的理解，可以簡單的描述為這樣的過程：
（1）找一個(gè)合適的預(yù)測函數(shù)（Andrew Ng的公開課中稱為hypothesis），一般表示為h函數(shù)，該函數(shù)就是我們需要找的分類函數(shù)，它用來預(yù)測輸入數(shù)據(jù)的判斷結(jié)果。這個(gè)過程時(shí)非常關(guān)鍵的，需要對數(shù)據(jù)有一定的了解或分析，知道或者猜測預(yù)測函數(shù)的“大概”形式，比如是線性函數(shù)還是非線性函數(shù)。
（2）構(gòu)造一個(gè)Cost函數(shù)（損失函數(shù)），該函數(shù)表示預(yù)測的輸出（h）與訓(xùn)練數(shù)據(jù)類別（y）之間的偏差，可以是二者之間的差（h-y）或者是其他的形式。綜合考慮所有訓(xùn)練數(shù)據(jù)的“損失”，將Cost求和或者求平均，記為J(θ)函數(shù)，表示所有訓(xùn)練數(shù)據(jù)預(yù)測值與實(shí)際類別的偏差。
（3）顯然，J(θ)函數(shù)的值越小表示預(yù)測函數(shù)越準(zhǔn)確（即h函數(shù)越準(zhǔn)確），所以這一步需要做的是找到J(θ)函數(shù)的最小值。找函數(shù)的最小值有不同的方法，Logistic Regression實(shí)現(xiàn)時(shí)有的是梯度下降法（Gradient Descent）。
3. 具體過程
3.1? 構(gòu)造預(yù)測函數(shù)
Logistic Regression雖然名字里帶“回歸”，但是它實(shí)際上是一種分類方法，用于兩分類問題（即輸出只有兩種）。根據(jù)第二章中的步驟，需要先找到一個(gè)預(yù)測函數(shù)（h），顯然，該函數(shù)的輸出必須是兩個(gè)值（分別代表兩個(gè)類別），所以利用了Logistic函數(shù)（或稱為Sigmoid函數(shù)），函數(shù)形式為：
? ? ? ? ??
對應(yīng)的函數(shù)圖像是一個(gè)取值在0和1之間的S型曲線（圖1）。
圖1
接下來需要確定數(shù)據(jù)劃分的邊界類型，對于圖2和圖3中的兩種數(shù)據(jù)分布，顯然圖2需要一個(gè)線性的邊界，而圖3需要一個(gè)非線性的邊界。接下來我們只討論線性邊界的情況。
圖2
圖3
對于線性邊界的情況，邊界形式如下：
構(gòu)造預(yù)測函數(shù)為：
hθ(x)函數(shù)的值有特殊的含義，它表示結(jié)果取1的概率，因此對于輸入x分類結(jié)果為類別1和類別0的概率分別為：
3.2? 構(gòu)造Cost函數(shù)
Andrew Ng在課程中直接給出了Cost函數(shù)及J(θ)函數(shù)如式（5）和（6），但是并沒有給出具體的解釋，只是說明了這個(gè)函數(shù)來衡量h函數(shù)預(yù)測的好壞是合理的。
實(shí)際上這里的Cost函數(shù)和J(θ)函數(shù)是基于最大似然估計(jì)推導(dǎo)得到的。下面詳細(xì)說明推導(dǎo)的過程。（4）式綜合起來可以寫成：
取似然函數(shù)為：
對數(shù)似然函數(shù)為：
最大似然估計(jì)就是要求得使l(θ)取最大值時(shí)的θ，其實(shí)這里可以使用梯度上升法求解，求得的θ就是要求的最佳參數(shù)。但是，在Andrew Ng的課程中將J(θ)取為（6）式，即：
因?yàn)槌肆艘粋€(gè)負(fù)的系數(shù)-1/m，所以J(θ)取最小值時(shí)的θ為要求的最佳參數(shù)。
3.3? 梯度下降法求J(θ)的最小值
求J(θ)的最小值可以使用梯度下降法，根據(jù)梯度下降法可得θ的更新過程：
? ??
式中為α學(xué)習(xí)步長，下面來求偏導(dǎo)：
上式求解過程中用到如下的公式：
因此，（11）式的更新過程可以寫成：
?
因?yàn)槭街?span style="font-size:18px">α本來為一常量，所以1/m一般將省略，所以最終的θ更新過程為：
另外，補(bǔ)充一下，3.2節(jié)中提到求得l(θ)取最大值時(shí)的θ也是一樣的，用梯度上升法求（9）式的最大值，可得：
??
觀察上式發(fā)現(xiàn)跟（14）是一樣的，所以，采用梯度上升發(fā)和梯度下降法是完全一樣的，這也是《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》中采用梯度上升法的原因。
3.4? 梯度下降過程向量化
關(guān)于θ更新過程的vectorization，Andrew Ng的課程中只是一帶而過，沒有具體的講解。
《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》連Cost函數(shù)及求梯度等都沒有說明，所以更不可能說明vectorization了。但是，其中給出的實(shí)現(xiàn)代碼確是實(shí)現(xiàn)了vectorization的，圖4所示代碼的32行中weights（也就是θ）的更新只用了一行代碼，直接通過矩陣或者向量計(jì)算更新，沒有用for循環(huán)，說明確實(shí)實(shí)現(xiàn)了vectorization，具體代碼下一章分析。
文獻(xiàn)[3]中也提到了vectorization，但是也是比較粗略，很簡單的給出vectorization的結(jié)果為：
? ??
且不論該更新公式正確與否，這里的Σ(...)是一個(gè)求和的過程，顯然需要一個(gè)for語句循環(huán)m次，所以根本沒有完全的實(shí)現(xiàn)vectorization，不像《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》的代碼中一條語句就可以完成θ的更新。
下面說明一下我理解《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》中代碼實(shí)現(xiàn)的vectorization過程。
約定訓(xùn)練數(shù)據(jù)的矩陣形式如下，x的每一行為一條訓(xùn)練樣本，而每一列為不同的特稱取值：
約定待求的參數(shù)θ的矩陣形式為：
? ? ? ? ??
先求x.θ并記為A：
求hθ(x)-y并記為E：
?
g(A)的參數(shù)A為一列向量，所以實(shí)現(xiàn)g函數(shù)時(shí)要支持列向量作為參數(shù)，并返回列向量。由上式可知hθ(x)-y可以由g(A)-y一次計(jì)算求得。
再來看一下（15）式的θ更新過程，當(dāng)j=0時(shí)：
同樣的可以寫出θj，
綜合起來就是：
綜上所述，vectorization后θ更新的步驟如下：
（1）求A=x.θ；
（2）求E=g(A)-y；
（3）求θ:=θ-α.x'.E,x'表示矩陣x的轉(zhuǎn)置。
也可以綜合起來寫成：
前面已經(jīng)提到過：1/m是可以省略的。
4. 代碼分析
圖4中是《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》中給出的部分實(shí)現(xiàn)代碼。
圖4
sigmoid函數(shù)就是前文中的g(z)函數(shù)，參數(shù)inX可以是向量，因?yàn)槌绦蛑惺褂昧薖ython的numpy。
gradAscent函數(shù)是梯度上升的實(shí)現(xiàn)函數(shù)，參數(shù)dataMatin和classLabels為訓(xùn)練數(shù)據(jù)，23和24行對訓(xùn)練數(shù)據(jù)做了處理，轉(zhuǎn)換成numpy的矩陣類型，同時(shí)將橫向量的classlabels轉(zhuǎn)換成列向量labelMat，此時(shí)的dataMatrix和labelMat就是（18）式中的x和y。alpha為學(xué)習(xí)步長，maxCycles為迭代次數(shù)。weights為n維（等于x的列數(shù)）列向量，就是（19）式中的θ。
29行的for循環(huán)將更新θ的過程迭代maxCycles次，每循環(huán)一次更新一次。對比3.4節(jié)最后總結(jié)的向量化的θ更新步驟，30行相當(dāng)于求了A=x.θ和g(A)，31行相當(dāng)于求了E=g(A)-y，32行相當(dāng)于求θ:=θ-α.x'.E。所以這三行代碼實(shí)際上與向量化的θ更新步驟是完全一致的。
總結(jié)一下，從上面代碼分析可以看出，雖然只有十多行的代碼，但是里面卻隱含了太多的細(xì)節(jié)，如果沒有相關(guān)基礎(chǔ)確實(shí)是非常難以理解的。相信完整的閱讀了本文，就應(yīng)該沒有問題了！^_^。
?
【參考文獻(xiàn)】
[1]《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》——【美】Peter Harington
[2] Stanford機(jī)器學(xué)習(xí)公開課（https://www.coursera.org/course/ml）
[3] http://blog.csdn.net/abcjennifer/article/details/7716281
[4] http://www.cnblogs.com/tornadomeet/p/3395593.html
[5] http://blog.csdn.net/moodytong/article/details/9731283
[6] http://blog.csdn.net/jackie_zhu/article/details/8895270
?
總結(jié)
以上是生活随笔為你收集整理的Logistic回归总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 逻辑回归模型(Logistic Regr
- 下一篇： Linear Regression总结2