1 為什么將LR和SVM放在一起來進行比較？

回答這個問題其實就是回答LR和SVM有什么相同點。

第一，LR和SVM都是分類算法。

看到這里很多人就不會認同了，因為在很大一部分人眼里，LR是回歸算法。我是非常不贊同這一點的，因為我認為判斷一個算法是分類還是回歸算法的唯一標準就是樣本label的類型，如果label是離散的，就是分類算法，如果label是連續(xù)的，就是回歸算法。很明顯，LR的訓練數(shù)據(jù)的label是“0或者1”，當然是分類算法。

第二，如果不考慮核函數(shù)，LR和SVM都是線性分類算法，也就是說他們的分類決策面都是線性的。

這里要先說明一點，那就是LR也是可以用核函數(shù)的，至于為什么通常在SVM中運用核函數(shù)而不在LR中運用，后面講到他們之間區(qū)別的時候會重點分析。總之，原始的LR和SVM都是線性分類器，這也是為什么通常沒人問你決策樹和LR什么區(qū)別，決策樹和SVM什么區(qū)別，你說一個非線性分類器和一個線性分類器有什么區(qū)別？

第三，LR和SVM都是監(jiān)督學習算法。

第四，LR和SVM都是判別模型。

判別模型會生成一個表示P(Y|X)的判別函數(shù)（或預測模型），而生成模型先計算聯(lián)合概率p(Y,X)然后通過貝葉斯公式轉(zhuǎn)化為條件概率。簡單來說，在計算判別模型時，不會計算聯(lián)合概率，而在計算生成模型時，必須先計算聯(lián)合概率。或者這樣理解：生成算法嘗試去找到底這個數(shù)據(jù)是怎么生成的（產(chǎn)生的），然后再對一個信號進行分類。基于你的生成假設，那么那個類別最有可能產(chǎn)生這個信號，這個信號就屬于那個類別。判別模型不關心數(shù)據(jù)是怎么生成的，它只關心信號之間的差別，然后用差別來簡單對給定的一個信號進行分類。常見的判別模型有：KNN、SVM、LR，常見的生成模型有：樸素貝葉斯，隱馬爾可夫模型。當然，這也是為什么很少有人問你樸素貝葉斯和LR以及樸素貝葉斯和SVM有什么區(qū)別（哈哈，廢話是不是太多）。

第五，LR和SVM在學術界和工業(yè)界都廣為人知并且應用廣泛。

講完了LR和SVM的相同點，你是不是也認為有必要將他們進行比較一下了呢？而且比較LR和SVM，是不是比讓你比較決策樹和LR、決策樹和SVM、樸素貝葉斯和LR、樸素貝葉斯和SVM更能考察你的功底呢？

?

2 LR和SVM的不同。

第一，本質(zhì)上是其loss function不同。

?

對比svm和lr，我們發(fā)現(xiàn)，當對一個樣本預測錯誤時，它們是比較類似的，當對樣本剛剛預測正確時，它們的行為也是類似的，只不過一個是曲線，一個是直線而已。但是，當對樣本預測正確并且大于一定程度時，確切說就是當y*f(x)大于1時，二者的行為明顯不同，lr的還會鼓勵f繼續(xù)增大y*f(x)，而svm則會告訴f，對這個樣本預測已經(jīng)非常完美了。

?

邏輯回歸的損失函數(shù)：

?

SVM的損失函數(shù)：

調(diào)整后為：

當C很大時：w為參數(shù)的向量表示，b為第0個參數(shù)

等價為：

1，問題就變成了一個凸二次規(guī)劃問題，可以利用任何現(xiàn)成的QP（二次規(guī)劃）的優(yōu)化包進行求解。
2，雖然是一個標準的QP問題，但它也有自己的特殊結構，通過拉格朗日對偶變換成對偶變量的優(yōu)化問題之后，可以更加有效地求解，也比QP優(yōu)化包更加高效！

不同的loss function代表了不同的假設前提，也就代表了不同的分類原理，也就代表了一切！

簡單來說，?邏輯回歸方法基于概率理論，假設樣本為1的概率可以用sigmoid函數(shù)來表示，然后通過極大似然估計的方法估計出參數(shù)的值，具體細節(jié)參考http://blog.csdn.net/pakko/article/details/37878837。支持向量機?基于幾何間隔最大化原理，認為存在最大幾何間隔的分類面為最優(yōu)分類面，具體細節(jié)參考http://blog.csdn.net/macyang/article/details/38782399

第二，支持向量機只考慮局部的邊界線附近的點，而邏輯回歸考慮全局（遠離的點對邊界線的確定也起作用，雖然作用會相對小一些）。

當?你讀完上面兩個網(wǎng)址的內(nèi)容，深入了解了LR和SVM的原理過后，會發(fā)現(xiàn)影響SVM決策面的樣本點只有少數(shù)的結構支持向量，當在支持向量外添加或減少任何樣本點對分類決策面沒有任何影響；而在LR中，每個樣本點都會影響決策面的結果。用下圖進行說明：

支持向量機改變非支持向量樣本并不會引起決策面的變化：

邏輯回歸中改變?nèi)魏螛颖径紩饹Q策面的變化：

?理解了這一點，有可能你會問，然后呢？有什么用呢？有什么意義嗎？對使用兩種算法有什么幫助么？一句話回答：

因為上面的原因，得知：線性SVM不直接依賴于數(shù)據(jù)分布，分類平面不受一類點影響；LR則受所有數(shù)據(jù)點的影響，如果數(shù)據(jù)不同類別strongly unbalance，一般需要先對數(shù)據(jù)做balancing。?（引自http://www.zhihu.com/question/26768865/answer/34078149）

第三，在解決非線性問題時，支持向量機采用核函數(shù)的機制，而LR通常不采用核函數(shù)的方法。

?這個問題理解起來非常簡單。分類模型的結果就是計算決策面，模型訓練的過程就是決策面的計算過程。通過上面的第二點不同點可以了解，在計算決策面時，SVM算法里只有少數(shù)幾個代表支持向量的樣本參與了計算，也就是只有少數(shù)幾個樣本需要參與核計算（即kernal machine解的系數(shù)是稀疏的）。然而，LR算法里，每個樣本點都必須參與決策面的計算過程，也就是說，假設我們在LR里也運用核函數(shù)的原理，那么每個樣本點都必須參與核計算，這帶來的計算復雜度是相當高的。所以，在具體應用時，LR很少運用核函數(shù)機制。?

第四，?線性SVM依賴數(shù)據(jù)表達的距離測度，所以需要對數(shù)據(jù)先做normalization，LR不受其影響。（引自http://www.zhihu.com/question/26768865/answer/34078149）

因為SVM是基于距離的，而LR是基于概率的，所以LR是不受數(shù)據(jù)不同維度測度不同的影響，而SVM因為要最小化12||w||2所以其依賴于不同維度測度的不同，如果差別較大需要做normalization
當然如果LR要加上正則化時，也是需要normalization一下的

?

一個基于概率，一個基于距離！?

Linear SVM直觀上是trade-off兩個量
1）a large margin，就是兩類之間可以畫多寬的gap ；不妨說是正樣本應該在分界平面向左gap/2（稱正分界），負樣本應該在分解平面向右gap/2（稱負分界）（見下圖）
2）L1 error penalty，對所有不滿足上述條件的點做L1 penalty

可以看到，給定一個數(shù)據(jù)集，一旦完成Linear SVM的求解，所有數(shù)據(jù)點可以被歸成兩類
1）一類是落在對應分界平面外并被正確分類的點，比如落在正分界左側(cè)的正樣本或落在負分界右側(cè)的負樣本
2）第二類是落在gap里或被錯誤分類的點。
假設一個數(shù)據(jù)集已經(jīng)被Linear SVM求解，那么往這個數(shù)據(jù)集里面增加或者刪除更多的一類點并不會改變重新求解的Linear SVM平面。這就是它區(qū)分與LR的特點，下面我們在看看LR。

值得一提的是求解LR模型過程中，每一個數(shù)據(jù)點對分類平面都是有影響的，它的影響力遠離它到分類平面的距離指數(shù)遞減。換句話說，LR的解是受數(shù)據(jù)本身分布影響的。在實際應用中，如果數(shù)據(jù)維度很高，LR模型都會配合參數(shù)的L1 regularization。

要說有什么本質(zhì)區(qū)別，那就是兩個模型對數(shù)據(jù)和參數(shù)的敏感程度不同，Linear SVM比較依賴penalty的系數(shù)和數(shù)據(jù)表達空間的測度，而（帶正則項的）LR比較依賴對參數(shù)做L1 regularization的系數(shù)。但是由于他們或多或少都是線性分類器，所以實際上對低維度數(shù)據(jù)overfitting的能力都比較有限，相比之下對高維度數(shù)據(jù)，LR的表現(xiàn)會更加穩(wěn)定，為什么呢？

因為Linear SVM在計算margin有多“寬”的時候是依賴數(shù)據(jù)表達上的距離測度的，換句話說如果這個測度不好（badly scaled，這種情況在高維數(shù)據(jù)尤為顯著），所求得的所謂Large margin就沒有意義了，這個問題即使換用kernel trick（比如用Gaussian kernel）也無法完全避免。所以使用Linear SVM之前一般都需要先對數(shù)據(jù)做normalization，而求解LR（without regularization）時則不需要或者結果不敏感。（引自http://www.zhihu.com/question/26768865/answer/34078149）

同時會有：feature scaling會使得gradient descent的收斂更好。

如果不歸一化，各維特征的跨度差距很大，目標函數(shù)就會是“扁”的：

（圖中橢圓表示目標函數(shù)的等高線，兩個坐標軸代表兩個特征）
這樣，在進行梯度下降的時候，梯度的方向就會偏離最小值的方向，走很多彎路。

如果歸一化了，那么目標函數(shù)就“圓”了：

每一步梯度的方向都基本指向最小值，可以大踏步地前進。（引自https://www.zhihu.com/question/37129350）

第五，SVM的損失函數(shù)就自帶正則！！！（損失函數(shù)中的1/2||w||^2項），這就是為什么SVM是結構風險最小化算法的原因！！！而LR必須另外在損失函數(shù)上添加正則項！！！

以前一直不理解為什么SVM叫做結構風險最小化算法，所謂結構風險最小化，意思就是在訓練誤差和模型復雜度之間尋求平衡，防止過擬合，從而達到真實誤差的最小化。未達到結構風險最小化的目的，最常用的方法就是添加正則項，后面的博客我會具體分析各種正則因子的不同，這里就不扯遠了。但是，你發(fā)現(xiàn)沒，SVM的目標函數(shù)里居然自帶正則項！！！再看一下上面提到過的SVM目標函數(shù)：

SVM目標函數(shù)：

?有木有，那不就是L2正則項嗎？

不用多說了，如果不明白看看L1正則與L2正則吧，參考http://www.mamicode.com/info-detail-517504.html?。

第六，SVM不是概率輸出，Logistic Regression是概率輸出。

也就是說，當一個新樣本來了，SVM只會告訴你它的分類，而Logistic Regression會告訴你它屬于某類的概率！
什么意思呢？當你想要知道某個樣本屬于一個類的概率時，SVM就不適用了。此時，應該使用Logistic Regression。

?

3 LR和SVM在實際應用的區(qū)別

根據(jù)經(jīng)驗來看，對于小規(guī)模數(shù)據(jù)集，SVM的效果要好于LR，如果數(shù)據(jù)量非常大，特征維度很高，使用SVM搞不定時，SVM的計算復雜度受到限制，而LR因為訓練簡單，可以在線訓練，所以經(jīng)常會被大量采用

?

4 LR和SVM哪個更能對付異常點out lier

?

知道了svm和lr 區(qū)別，我們再來看看，所謂out lier，是怎么產(chǎn)生的，無非有兩種情況，一種就是這個樣本的標簽y搞錯了，一種就是沒搞錯，但這個樣本是一個個例，不具備統(tǒng)計特性。

不論對于哪一種情況，svm會在f將這個out lier預測的比較正確時，就停止，不會一直優(yōu)化對out lier的預測，因為沒有什么太大意義了。而lr則不同，它會繼續(xù)要求f對這個out lier的預測進行優(yōu)化，并且永不停止，顯然，這樣的優(yōu)化很可能會削弱f的泛化性能，因為沒有必要死磕out lier 。

當訓練樣本中存在異常點時，由于Logistic Regression的lost function中有每一個點的貢獻，所以某種程度上“削弱了”異常點的貢獻。而SVM只需要考慮支持向量，此時支持向量本來就不是很多的情況下，幾個異常點就很有可能極大影響SVM的表現(xiàn)。

答案就是SVM

?

總結

以上是生活随笔為你收集整理的[机器学习] LR与SVM的异同的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。