模型稳定度指标PSI
生活随笔
收集整理的這篇文章主要介紹了
模型稳定度指标PSI
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?群體穩定性指標PSI(Population?Stability?Index)是衡量模型的預測值與實際值偏差大小的指標。
PSI = sum((實際占比-預期占比)* ln(實際占比/預期占比))
舉例:
比如訓練一個logistic回歸模型,預測時候會有個概率輸出p。
測試集上的輸出設定為p1吧,將它從小到大排序后10等分,如0-0.1,0.1-0.2,......。
現在用這個模型去對新的樣本進行預測,預測結果叫p2,按p1的區間也劃分為10等分。
實際占比就是p2上在各區間的用戶占比,預期占比就是p1上各區間的用戶占比。
意義就是如果模型跟穩定,那么p1和p2上各區間的用戶應該是相近的,占比不會變動很大,也就是預測出來的概率不會差距很大。
一般認為PSI小于0.1時候模型穩定性很高,0.1-0.25一般,大于0.25模型穩定性差,建議重做。
PS:除了按概率值大小等距十等分外,還可以對概率排序后按數量十等分,兩種方法計算得到的psi可能有所區別但數值相差不大。
?
?
總結
以上是生活随笔為你收集整理的模型稳定度指标PSI的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 这些强大的数据分析软件你都知道吗?
- 下一篇: 计算机机房的监控,机房动环监控解决方案