模型稳定度指标PSI 释义及计算示例
穩(wěn)定度指標(biāo)(population stability index ,PSI)可衡量測(cè)試樣本及模型開發(fā)樣本評(píng)分的的分布差異,為最常見的模型穩(wěn)定度評(píng)估指針。其實(shí)PSI表示的就是按分?jǐn)?shù)分檔后,針對(duì)不同樣本,或者不同時(shí)間的樣本,population分布是否有變化,就是看各個(gè)分?jǐn)?shù)區(qū)間內(nèi)人數(shù)占總?cè)藬?shù)的占比是否有顯著變化
PSI小于0.1時(shí)候模型穩(wěn)定性很高,0.1-0.2一般,需要進(jìn)一步研究,大于0.2模型穩(wěn)定性差,建議修復(fù)。
psi計(jì)算公式為:psi = sum((實(shí)際占比-預(yù)期占比)* ln(實(shí)際占比/預(yù)期占比))
示例:
有一個(gè)模型主要生成用戶分組,輸出參數(shù)為group01-group10,我們需要統(tǒng)計(jì)該模型是否穩(wěn)定,以驗(yàn)證我們的建模是否合適
第一步:統(tǒng)計(jì)總進(jìn)件量(數(shù)據(jù)庫(kù)統(tǒng)計(jì)),如總進(jìn)件量為3400條數(shù)據(jù)
第二步:將總進(jìn)件量按區(qū)間統(tǒng)計(jì)出各分區(qū)間量
假如統(tǒng)計(jì)出的結(jié)果如下:
| group01 | 100 |
| group02 | 200 |
| group03 | 300 |
| group04 | 500 |
| group05 | 700 |
| group06 | 800 |
| group07 | 100 |
| group08 | 100 |
| group09 | 500 |
| group10 | 100 |
第三步:算出各區(qū)間占比(本區(qū)間數(shù)/總進(jìn)件數(shù))
| 實(shí)際占比 |
| 2.94% |
| 5.88% |
| 8.82% |
| 14.71% |
| 20.59% |
| 23.53% |
| 2.94% |
| 2.94% |
| 14.71% |
| 2.94% |
?
第四步:我們自己有一個(gè)期望占比
| 預(yù)期占比 |
| 2% |
| 8% |
| 13% |
| 17% |
| 18% |
| 6% |
| 11% |
| 9% |
| 13% |
| 3% |
?
第五步:計(jì)算各區(qū)間psi并最終進(jìn)行求和,從結(jié)果來看我這個(gè)模型應(yīng)該重做哈哈哈。不過我的預(yù)期占比是隨便寫的,所以才有這個(gè)結(jié)果。整體的計(jì)算流程就是這樣了,psi的計(jì)算公式為:psi = sum((實(shí)際占比-預(yù)期占比)* ln(實(shí)際占比/預(yù)期占比))
總結(jié)
以上是生活随笔為你收集整理的模型稳定度指标PSI 释义及计算示例的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 『MongoDB』快速安装MongoDB
- 下一篇: Kubernetes学习之Deploym