在線性回歸模型時(shí)，存在這樣一種假設(shè)，即各個(gè)解釋變量之間不存在很強(qiáng)的關(guān)系。如果解釋變量之間存在很強(qiáng)的線性相關(guān)關(guān)系，就認(rèn)為數(shù)據(jù)之間存在共線性問題。

1、什么是多重共線性

在解釋變量中，有某一解釋變量可由其他解釋變量線性表出。

2、多重共線性有什么影響

共線性會(huì)導(dǎo)致回歸參數(shù)不穩(wěn)定，即增加或刪除一個(gè)樣本點(diǎn)或特征，回歸系數(shù)的估計(jì)值會(huì)發(fā)生很大變化。 這是因?yàn)槟承┙忉屪兞恐g存在高度相關(guān)的線性關(guān)系，XTX會(huì)接近于奇異矩陣，即使可以計(jì)算出其逆矩陣，逆矩陣對(duì)角線上的元素也會(huì)很大，這就意味著參數(shù)估計(jì)的標(biāo)準(zhǔn)誤差較大，參數(shù)估計(jì)值的精度較低，這樣，數(shù)據(jù)中的一個(gè)微小的變動(dòng)都會(huì)導(dǎo)致回歸系數(shù)的估計(jì)值發(fā)生很大變化。

總結(jié)下，共線性對(duì)線性模型影響

回歸模型缺乏穩(wěn)定性。樣本的微小擾動(dòng)都可能帶來參數(shù)很大的變化；
難以區(qū)分每個(gè)解釋變量的單獨(dú)影響；
參數(shù)的方差增大；
變量的顯著性檢驗(yàn)失去意義；
影響模型的泛化誤差；

3、多重共線性診斷

發(fā)現(xiàn)系數(shù)估計(jì)值的符號(hào)不對(duì)；

某些重要的解釋變量t值低，而R方不低

當(dāng)一不太重要的解釋變量被刪除后，回歸結(jié)果顯著變化

4、多重共線性處理

主要方法有：增加樣本量、變量聚類、方差膨脹因子、相關(guān)系數(shù)、逐步回歸、PCA、L1 L2正則化

共線性問題并不是模型的設(shè)定錯(cuò)誤，它是一種數(shù)據(jù)缺陷，可以通過增加樣本量來解決

在特征比較多的時(shí)候，先變量聚類，每類中選擇單特征比較強(qiáng)的，也可以根據(jù)1-r^2小的選擇有代表性的特征（r^2表示的是其他變量能否線性解釋的部分，1-r^2表示的是容忍度，也就是其他變量不能解釋的部分；變量聚類是多選一，因此需要選擇一個(gè)具有代表性的變量，選擇容忍度小的變量；另vif就是容忍度的倒數(shù)）

在變量聚類的步驟中也可以結(jié)合 方差膨脹因子、相關(guān)系數(shù)以及業(yè)務(wù)理解來篩選特征

5、共線性檢驗(yàn)

看模型系數(shù)，和實(shí)際業(yè)務(wù)是否相符合。（注：在進(jìn)行完證據(jù)權(quán)重轉(zhuǎn)化后，系數(shù)正負(fù)，不在具有實(shí)際的業(yè)務(wù)意義。當(dāng)woe是好客戶占比/壞客戶占比時(shí)，系數(shù)都為負(fù)，反之系數(shù)都為正。（相關(guān)原因可以公式推導(dǎo)））

模型R^2較高，通過F檢驗(yàn)，系數(shù)不能通過t檢驗(yàn)

比較好的鏈接

glfkuan：模型中存在共線性問題，該怎么破？?zhuanlan.zhihu.com馬東什么：好好談?wù)劰簿€性問題?zhuanlan.zhihu.com

代碼實(shí)現(xiàn)在這里：

my breath：多重共線性識(shí)別-python SAS?zhuanlan.zhihu.com

總結(jié)

以上是生活随笔為你收集整理的多重判定系数怎么求_关于多重共线性的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。