群體穩(wěn)定性指標(biāo)(population stability index)

?

由于模型是以特定時期的樣本所開發(fā)的，此模型是否適用于開發(fā)樣本之外的族群，必須經(jīng)過穩(wěn)定性測試才能得知。穩(wěn)定度指標(biāo)(population stability index ,PSI)可衡量測試樣本及模型開發(fā)樣本評分的的分布差異，為最常見的模型穩(wěn)定度評估指針。其實PSI表示的就是按分數(shù)分檔后，針對不同樣本，或者不同時間的樣本，population分布是否有變化，就是看各個分數(shù)區(qū)間內(nèi)人數(shù)占總?cè)藬?shù)的占比是否有顯著變化。通常用作模型效果監(jiān)測。一般認為PSI小于0.1時候模型穩(wěn)定性很高，0.1-0.2一般，需要進一步研究，大于0.2模型穩(wěn)定性差，建議修復(fù)。

公式如下：

這里的AC與EX為不同時間段的模型輸出分數(shù)，如果PSI過大，說明模型輸出的分數(shù)分布變化很大了，需要更新模型。?

?

PSI實際應(yīng)用范例：

1）樣本外測試

　　針對不同的樣本測試一下模型穩(wěn)定度，比如訓(xùn)練集與測試集，也能看出模型的訓(xùn)練情況，我理解是看出模型的方差情況。

2）時間外測試

　　測試基準(zhǔn)日與建模基準(zhǔn)日相隔越遠，測試樣本的風(fēng)險特征和建模樣本的差異可能就越大，因此PSI值通常較高。至此也可以看出模型建的時間太長了，是不是需要重新用新樣本建模了。

?

變量的PSI計算：

PSI：檢驗變量的穩(wěn)定性，當(dāng)一個變量的psi值大于0.0001時，變量不穩(wěn)定。一個變量，將它的取值按照分位數(shù)來分組一下，每一組中測試模型的客戶數(shù)占比減去訓(xùn)練模型中的客戶數(shù)占比再乘以這兩者相除的對數(shù)，就是這一組的穩(wěn)定性系數(shù)psi，然后變量的psi系數(shù)就是把這個變量的所有組的psi相加總起來。

總結(jié)

以上是生活随笔為你收集整理的[机器学习] 模型稳定度指标PSI的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。