群體穩定性指標(population stability index)

?

由于模型是以特定時期的樣本所開發的，此模型是否適用于開發樣本之外的族群，必須經過穩定性測試才能得知。穩定度指標(population stability index ,PSI)可衡量測試樣本及模型開發樣本評分的的分布差異，為最常見的模型穩定度評估指針。其實PSI表示的就是按分數分檔后，針對不同樣本，或者不同時間的樣本，population分布是否有變化，就是看各個分數區間內人數占總人數的占比是否有顯著變化。通常用作模型效果監測。一般認為PSI小于0.1時候模型穩定性很高，0.1-0.2一般，需要進一步研究，大于0.2模型穩定性差，建議修復。

公式如下：

這里的AC與EX為不同時間段的模型輸出分數，如果PSI過大，說明模型輸出的分數分布變化很大了，需要更新模型。?

?

PSI實際應用范例：

1）樣本外測試

　　針對不同的樣本測試一下模型穩定度，比如訓練集與測試集，也能看出模型的訓練情況，我理解是看出模型的方差情況。

2）時間外測試

　　測試基準日與建?；鶞嗜障喔粼竭h，測試樣本的風險特征和建模樣本的差異可能就越大，因此PSI值通常較高。至此也可以看出模型建的時間太長了，是不是需要重新用新樣本建模了。

?

變量的PSI計算：

PSI：檢驗變量的穩定性，當一個變量的psi值大于0.0001時，變量不穩定。一個變量，將它的取值按照分位數來分組一下，每一組中測試模型的客戶數占比減去訓練模型中的客戶數占比再乘以這兩者相除的對數，就是這一組的穩定性系數psi，然后變量的psi系數就是把這個變量的所有組的psi相加總起來。

總結

以上是生活随笔為你收集整理的[机器学习] 模型稳定度指标PSI的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。