在線性回歸模型時，存在這樣一種假設，即各個解釋變量之間不存在很強的關系。如果解釋變量之間存在很強的線性相關關系，就認為數據之間存在共線性問題。

1、什么是多重共線性

在解釋變量中，有某一解釋變量可由其他解釋變量線性表出。

2、多重共線性有什么影響

共線性會導致回歸參數不穩定，即增加或刪除一個樣本點或特征，回歸系數的估計值會發生很大變化。 這是因為某些解釋變量之間存在高度相關的線性關系，XTX會接近于奇異矩陣，即使可以計算出其逆矩陣，逆矩陣對角線上的元素也會很大，這就意味著參數估計的標準誤差較大，參數估計值的精度較低，這樣，數據中的一個微小的變動都會導致回歸系數的估計值發生很大變化。

總結下，共線性對線性模型影響

回歸模型缺乏穩定性。樣本的微小擾動都可能帶來參數很大的變化；
難以區分每個解釋變量的單獨影響；
參數的方差增大；
變量的顯著性檢驗失去意義；
影響模型的泛化誤差；

3、多重共線性診斷

發現系數估計值的符號不對；

某些重要的解釋變量t值低，而R方不低

當一不太重要的解釋變量被刪除后，回歸結果顯著變化

4、多重共線性處理

主要方法有：增加樣本量、變量聚類、方差膨脹因子、相關系數、逐步回歸、PCA、L1 L2正則化

共線性問題并不是模型的設定錯誤，它是一種數據缺陷，可以通過增加樣本量來解決

在特征比較多的時候，先變量聚類，每類中選擇單特征比較強的，也可以根據1-r^2小的選擇有代表性的特征（r^2表示的是其他變量能否線性解釋的部分，1-r^2表示的是容忍度，也就是其他變量不能解釋的部分；變量聚類是多選一，因此需要選擇一個具有代表性的變量，選擇容忍度小的變量；另vif就是容忍度的倒數）

在變量聚類的步驟中也可以結合 方差膨脹因子、相關系數以及業務理解來篩選特征

5、共線性檢驗

看模型系數，和實際業務是否相符合。（注：在進行完證據權重轉化后，系數正負，不在具有實際的業務意義。當woe是好客戶占比/壞客戶占比時，系數都為負，反之系數都為正。（相關原因可以公式推導））

模型R^2較高，通過F檢驗，系數不能通過t檢驗

比較好的鏈接

glfkuan：模型中存在共線性問題，該怎么破？?zhuanlan.zhihu.com馬東什么：好好談談共線性問題?zhuanlan.zhihu.com

代碼實現在這里：

my breath：多重共線性識別-python SAS?zhuanlan.zhihu.com

總結

以上是生活随笔為你收集整理的多重判定系数怎么求_关于多重共线性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。