模型、数据分布稳定性
模型穩(wěn)定性:
群體穩(wěn)定性指標(population stability index)
公式: psi = sum((實際占比-預(yù)期占比)* ln(實際占比/預(yù)期占比))
舉個例子解釋下,比如訓(xùn)練一個logistic回歸模型,預(yù)測時候會有個類概率輸出,p。在你的測試數(shù)據(jù)集上的輸出設(shè)定為p1,將它從小到大排序后將數(shù)據(jù)集10等分(每組樣本數(shù)一直,此為等寬分組),計算每等分組的最大最小預(yù)測的類概率值。
現(xiàn)在你用這個模型去對新的樣本進行預(yù)測,預(yù)測結(jié)果叫p2,利用剛才在測試數(shù)據(jù)集上得到的10等分每等分的上下界。按p2將新樣本劃分為10分(不一定等分了哦)。
實際占比就是新樣本通過p2落在p1劃分出來的每等分界限內(nèi)的占比,預(yù)期占比就是測試數(shù)據(jù)集上各等分樣本的占比。
意義就是如果模型更穩(wěn)定,那么在新的數(shù)據(jù)上預(yù)測所得類概率應(yīng)該更建模分布一致,這樣落在建模數(shù)據(jù)集所得的類概率所劃分的等分區(qū)間上的樣本占比應(yīng)該和建模時一樣,否則說明模型變化,一般來自預(yù)測變量結(jié)構(gòu)變化。通常用作模型效果監(jiān)測。
一般認為PSI小于0.1時候模型穩(wěn)定性很高,0.1-0.2一般,需要進一步研究,大于0.2模型穩(wěn)定性差,建議修復(fù)。
數(shù)據(jù)分布穩(wěn)定性:
psi = sum((樣本A分布占比-樣本B分布占比)* ln(樣本A分布占比/樣本B分布占比))
總結(jié)
以上是生活随笔為你收集整理的模型、数据分布稳定性的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ArduinoIDE初步开发ESP826
- 下一篇: 从你的全世界路过- 告白气球