1． 簡介

邏輯回歸和Softmax回歸是兩個基礎(chǔ)的分類模型，雖然聽名字以為是回歸模型，但實際我覺得他們也有一定的關(guān)系。邏輯回歸，Softmax回歸以及線性回歸都是基于線性模型，它們固定的非線性的基函數(shù)（basis function）?的線性組合，形式如下：

2．邏輯回歸談?wù)勥壿嫽貧w，Softmax回歸，前者主要處理二分類問題，而后者處理多分類問題，但事實上Softmax回歸就是邏輯回歸的一般形式。
?
其中，如果f（.）是非線性的激活函數(shù)（activation function），這就是一個分類模型；如果f（.）是恒等函數(shù)（identity），則是回歸模型，現(xiàn)在可以發(fā)現(xiàn)它們?nèi)叩穆?lián)系了吧。

下面主要談?wù)勥壿嫽貧w，Softmax回歸，前者主要處理二分類問題，而后者處理多分類問題，但事實上Softmax回歸就是邏輯回歸的一般形式。

2． 邏輯回歸

定義邏輯回歸hypothesis為

，

其中，為sigmoid函數(shù)，其性質(zhì)可參考神經(jīng)網(wǎng)絡(luò)博文。

邏輯回歸的理激活函數(shù)是sigmoid函數(shù)，可理解成一個被sigmoid函數(shù)歸一化后的線性回歸。因為sigmoid函數(shù)把實數(shù)映射到了[0,1]區(qū)間，可以認為為x屬于類別1的概率，反正1-為x屬于類別1的概率。給定有一個訓(xùn)練數(shù)據(jù)，構(gòu)造它的似然函數(shù)（likelihood function）為：

這里的y_n就是上面的 （由于參考了多本書，所以符號有一定的區(qū)別），一般會使用最大釋然求解參數(shù)，這時取一個負的log對數(shù)（negative logarithm），得到：

上式被稱為交叉熵(cross entropy) loss函數(shù)，因為取了一個負對數(shù)，之前的最大化就變成了最小化，所以只需求解是交叉熵loss函數(shù)最小的參數(shù)。

?

對loss函數(shù)求導(dǎo)得到：

?

到現(xiàn)在為止，我們已經(jīng)得到了loss函數(shù)以及關(guān)于參數(shù)的偏導(dǎo)數(shù)，只需要通過梯度下降就可以得到參數(shù)的解，OK，大功告成。

?

如果需要預(yù)測一個為止數(shù)據(jù)x，屬于那個類，只需要帶入?。最簡單的決策方法，如果?大于等于0.5屬于類別1，反之屬于類別0，當(dāng)然也可以屬于其他的決策方法。

3． Softmax回歸

Softmax回歸處理多分類問題，我們假設(shè)函數(shù) ?形式如下：
?


和邏輯回歸一樣，得到loss函數(shù)為：

?
其中的1{.}是一個指示性函數(shù)，即當(dāng)大括號中的值為真時，該函數(shù)的結(jié)果就為1，否則其結(jié)果就為0。


然后計算損失函數(shù)的偏導(dǎo)函數(shù)，得到：

?
之后就可以用如果要用梯度下降法，或者L-BFGS法求得未知參數(shù)。


?
看上面的推到我們可以發(fā)現(xiàn)，對每一個參數(shù)減去一個參數(shù)，最后的結(jié)果沒有影響。其實softmax 回歸中對參數(shù)的最優(yōu)化解不只一個，每當(dāng)求得一個優(yōu)化參數(shù)時，如果將這個參數(shù)的每一項都減掉同一個數(shù)，其得到的損失函數(shù)值也是一樣的，這說明解不是唯一的。


之所以會出現(xiàn)這樣的現(xiàn)象，因為損失函數(shù)不是嚴格非凸的，也就是說在局部最小值點附近是一個”平坦”的，所以在這個參數(shù)附近的值都是一樣的了。
為避免出現(xiàn)這樣的情況，加入正則項（比如說，用牛頓法求解時，hession矩陣如果沒有加入規(guī)則項，就有可能不是可逆的從而導(dǎo)致了剛才的情況，如果加入了規(guī)則項后該hession矩陣就不會不可逆了），加入正則項后的loss函數(shù)表達式為：
?
此時loss函數(shù)的偏導(dǎo)函數(shù)為：
?

同樣的，我們在邏輯回歸中，也可以加上正則項。

4． 邏輯回歸與Softmax回歸的聯(lián)系

我們在剛開始的時候說softmax 回歸是邏輯回歸的一般形式，現(xiàn)在我們看看兩者之間的聯(lián)系。當(dāng)類別數(shù)k = 2 時，softmax 回歸退化為邏輯回歸，softmax 回歸的假設(shè)函數(shù)為：
?
利用softmax回歸參數(shù)冗余的特點，我們令 ?，并且從兩個參數(shù)向量中都減去向量 ，得到:

?
因此，用來表示，我們就會發(fā)現(xiàn) softmax 回歸器預(yù)測其中一個類別的概率為，另一個類別概率的為，這與 邏輯回歸是一致的。

5． 與神經(jīng)網(wǎng)絡(luò)的關(guān)系

神經(jīng)網(wǎng)絡(luò)是一個多層次的分類模型，其實logistic回歸和softmax回歸可以看出最簡單的神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)如下圖所示：

??
一般的神經(jīng)網(wǎng)絡(luò)有輸入層，隱含層以及輸出層構(gòu)成，而上圖中只有輸入層和輸出層，而沒有隱含層。神經(jīng)網(wǎng)絡(luò)處理二分類時，輸出層為一個節(jié)點，但處理K（K>2）分類問題時，數(shù)據(jù)節(jié)點為K個，這個logistic回歸和softmax回歸保持一致。值得注意的，在神經(jīng)網(wǎng)絡(luò)中的最后一層隱含層和輸出層就可以看成是logistic回歸或softmax回歸模型，之前的層只是從原始輸入數(shù)據(jù)從學(xué)習(xí)特征，然后把學(xué)習(xí)得到的特征交給logistic回歸或softmax回歸處理。
因此，可以把處理分類問題的神經(jīng)網(wǎng)絡(luò)分成兩部分，特征學(xué)習(xí)和logistic回歸或softmax回歸。

6． 參考：

《Pattern Recognition and Machine Learning》ChristopherM. Bishop

?http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html

總結(jié)

以上是生活随笔為你收集整理的Logistic and Softmax Regression (逻辑回归和Softmax回归)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。