來自：劉建平

1.概述

　　在scikit-learn中，與邏輯回歸有關的主要有3個類。LogisticRegression, LogisticRegressionCV 和 logistic_regression_path。其中LogisticRegression 和 LogisticRegressionCV的主要區別是LogisticRegressionCV使用了交叉驗證來選擇正則化系數C。而LogisticRegression需要自己每次指定一個正則化系數。除了交叉驗證，以及選擇正則化系數C以外，LogisticRegression 和 LogisticsRegressionCV的使用方法基本相同。

　　logistic_regression_path類則比較特殊，它擬合數據后，不能直接來做預測，只能為擬合數據選擇合適邏輯回歸的系數和正則化系數。主要是用在模型選擇的時候，一般情況用不到這個類，所以后面不再講述logistic_regression_path類。

　　此外，scikit-learn里面有個容易讓人誤解的類RandomizedLogisticRegression，雖然名字里有邏輯回歸的詞，但是主要是用L1正則化的邏輯回歸來做特征選擇的，屬于維度規約的算法類，不屬于常說的分類算法范疇。

　　后面主要說LogisticRegression 和 LogisticRegressionCV中的參數，這些參數在兩個類中意義一樣。

2.正則化選擇參數：penalty

　　LogisticRegression 和 LogisticsRegressionCV 默認帶了正則化項。penalty參數可以選擇的值為“l1”和“l2”，分別對應L1的正則化和L2的正則化，默認是L2的正則化。

　　在調參時如果我們主要的目的只是為了解決過擬合，一般penalty選擇L2正則化就夠了。但是如果算則L2正則化發現還是過擬合，即預測效果差的時候就考慮L1正則化。另外，如果模型的特征非常多，我們希望一些不重要的特征系數歸0，從而讓模型系數系數化的話，也可以使用L1正則化。

　　penalty參數的選擇會影響我們損失函數優化算法的選擇。即參數solver的選擇，如果是L2正則化，那么4種可選的算法{‘newton-cg’, 'lbfgs', 'liblinear', 'sag'}都可以選擇。但是如果penalty是L1正則化的話，就只能選擇'liblinear'了。這是因為L1正則化的損失函數不是連續可導的，而{'newton-cg', 'lbfgs', 'sag'}這三種優化算法時都需要損失函數的一階或者二階連續可導。而'liblinear'并沒有這個依賴。

3.優化算法選擇參數：sovler

　　solver參數決定了我們對邏輯回歸損失函數的優化方法，有4中，分別為：

　　liblinear：使用了開源的liblinear庫實現，內部使用了坐標下降法來迭代優化損失函數。

　　lbfgs：擬牛頓法的一種，利用損失函數二階導數矩陣即海森矩陣來迭代優化損失函數。

　　newton-cg：也是牛頓法家族的一種，利用損失函數二階導數矩陣即海森矩陣來迭代優化損失函數。

　　sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區別是每次迭代僅僅用一部分的樣本來計算梯度，適合于樣本數據多的時候。

　　從上面的描述可以看出，newton-cg， lbfgs 和 sag這三種優化算法時都需要損失函數的一階或者二階連續導數，因此不能用于沒有連續導數的L1正則化，只能用于L2正則化。而liblinear通吃L1正則化和L2正則化。

　　同時，sag每次僅僅使用了部分樣本進行梯度迭代，所以當樣本量少的時候不要選擇它，而如果樣本量非常大，比如大于10萬，sag是第一選擇。但是sag不能用于L1正則化，所以當你有大量的樣本，又需要L1正則化的話就要自己作取舍。要么通過對樣本采樣來降低樣本量，要么回到L2正則化。

　　從上面的描述，大家可能覺得，既然newton-cg,? lbfgs, sag 這么多限制，如果不是大樣本，我們選擇 liblinear 不就行了嘛！錯，因為liblinear也有自己的弱點！我們知道，邏輯回歸有二元邏輯回歸和多元邏輯回歸。對于多元邏輯回歸常見的有 one-vs-rest(OvR) 和 many-vs-many(MvM) 兩種。而MvM一般比OvR分類相對準確一些。郁悶的是liblinear只支持 OvR，不支持MvM，這樣如果我們需要相對精確的多元邏輯回歸時，就不要選擇liblinear了。也意味著如果我們需要相對精確的多元邏輯回歸不能使用L1正則化。

4.分類方式選擇參數：multi_class

　　multi_class參數決定了我們分類方式的選擇，有ovr和multinomial兩個值可以選擇，默認是ovr。

　　ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元邏輯回歸，ovr和multinomial并沒有任何區別，區別主要在多元邏輯回歸上。

　　ovr的思想很簡單，無論你是多少元邏輯回歸，我們都可以看做二元邏輯回歸。具體做法是，對于第K類的分類決策，我們把所有第K類的樣本作為正例，除了第K類樣本以外的所有樣本都作為負例，然后在上面做二元邏輯回歸，得到第K類的分類模型。其他類的分類模型獲得以此類推。

　　而MvM則相對復雜，這里舉MvM的特例one-vs-one(OvO)作講解。如果模型有T類，我們每次在所有的T類樣本里面選擇兩類樣本出來，不妨記為T1類和T2類，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例，進行二元邏輯回歸，得到模型參數。我們一共需要T(T-1)/2分類。

　　從上面的描述可以看出ovr相對簡單，但分類效果相對略差（這里大多數樣本分布情況，某些樣本分布下ovr可能更好）。而MvM分類相對精確，但是分類速度沒有ovr快。

　　如果選擇ovr，則4種損失函數的優化方法liblinear, newton-cg, lbfgs, sag都可以選擇。但是如果選擇了multinomial, 則只能選擇newton-cg, lbfgs, sag了。

5.類型權重參數：class_weight

　　class_weight參數用于標示分類模型中各種類型的權重，可以不輸入，既不考慮權重，或者說所有類型的權重一樣。如果選擇輸入的話，可以選擇balanced讓類庫自己計算類型權重，或者我們自己輸入各個類型的權重，比如對于0，1的二元模型，我們可以定義class_weight={0:0.9, 1:0.1}，這樣類型0的權重為90%，而類型1的權重為10%。

　　如果class_weight選擇balanced，那么類庫會根據訓練樣本來計算權重。某種類型樣本量越多，則權重越低，樣本量越少，則權重越高。

　　那么class_weight有什么作用？在分類模型中，我們經常會遇到兩類問題：

　　第一種是誤差分類代價很高。比如對合法用戶和非法用戶進行分類，將非法用戶分類為合法用戶的代價很高，我們寧愿將合法分類為非法用戶，這時可以人工再甄別，但是卻不愿將非法用戶分類為合法用戶。這時，我們可以適當提高非法用戶的權重。

　　第二種是樣本高度失衡的，比如我們有合法用戶和非法用戶的二元樣本數據10000條，里面合法用戶9995條，非法用戶只有5條，如果我們不考慮權重，則我們可以將所有的測試集都預測為合法用戶，這樣預測準確率理論上有99.95%，但是去沒有任何意義。這時，我們選擇balanced，讓類庫自動提高非法用戶樣本權重。

　　提高了某種分類的權重，相比不考慮權重，會有更多的樣本分類劃分到高權重的類別，從而解決了上面兩類為題。

　　當然，對于第二種樣本失衡的情況，我們還可以考慮用樣本權重參數：sample_weight，而不使用class_weight。

6.樣本權重參數：sample_weight

　　上一節我們提到了樣本不失衡的問題，由于樣本不平衡，導致樣本不是總體樣本的無偏估計，從而可能導致我們的模型預測能力下降。遇到這種情況，我們可以通過調節樣本權重來嘗試解決這個問題。調節樣本權重的方法有兩種，第一種是在class_weight使用balanced。第二種是在調用fit函數時，通過sample_weight來自己調節每個樣本權重。

　　在scikit_learn做邏輯回歸時，如果上面兩種方法都用到了，那么樣本的真正權值是class_weight*sample_weight。

　　以上就是scikit_learn中邏輯回歸類庫調參的一個小結，還有些參數比如正則化參數C（交叉驗證就是Cs），迭代次數max_iter等，由于和其他的算法類庫并沒有特別不同，這里不多介紹。

?

轉載于:https://www.cnblogs.com/keye/p/9650211.html

總結

以上是生活随笔為你收集整理的scikit_learn逻辑回归类库的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。