1.評分卡模型監(jiān)控主要可以分為前端分析(Front-End)和后端分析(Back-End)

2.前端分析關(guān)注樣本人群的穩(wěn)定性，指標主要有PSI和CSI

3.PSI用來衡量分數(shù)在開發(fā)樣本和近期樣本上的分布變化，反映了分數(shù)分布的穩(wěn)定性

4.PSI可以通過經(jīng)驗閾值來判斷模型是否穩(wěn)定

5.CSI用來衡量樣本在特征層面上的分布變化，反映了特征對評分卡分數(shù)變化的影響

6.影響CSI計算結(jié)果的因素除了特征分布的變化外，還包括特征對主模型得分的貢獻

7.CSI無法通過經(jīng)驗閾值判斷變化大小，可以比較不同時間段的波動來判定模型偏移方向

評分卡模型監(jiān)控主要可以分為前端分析(Front-End)和后端分析(Back-End)，其中前端分析主要關(guān)注人群的穩(wěn)定性，后端分析主要關(guān)注模型的影響和表現(xiàn)。本文介紹前端分析。

前端分析關(guān)注樣本人群的穩(wěn)定性，指標包括：PSI(Population Stability Index)和CSI(Characteristic Stability Index)

1.Population Stability Index

Population Stability Index，群體穩(wěn)定性指標，簡稱PSI。用來衡量分數(shù)在開發(fā)樣本和近期樣本上的分布變化，反映了分數(shù)分布的穩(wěn)定性。

仔細觀測一下，PSI和IV的表達式實際是一樣的，來源都是相對熵(KL散度)，其實就是衡量了兩個概率分布的差異。我們再做一次展開：

注：KL散度是兩個概率分布間差異的非對稱性度量，這里是兩個分布互為基準的和，是個對稱的衡量指標，跟IV值是一樣的。

PSI計算的是遠期客戶和近期客戶的分布差異，理論上兩個分布應該很接近，但因為外部環(huán)境的變化等種種原因，變量的分布有時會隨時間而發(fā)生偏移。因此PSI值越小，代表實際分布與預期分布越接近。

介紹完原理，我們給出PSI具體計算步驟：

1. 選定基準樣本(Beachmark)作為預期分布(Excepted)，一般以訓練樣本作為Beachmark2. 對預期分布(評分)進行分箱，得到每箱樣本占比(該箱樣本數(shù)/總樣本數(shù))；一般按照等頻方法(每箱的樣本數(shù)相等)進行分箱，箱數(shù)一般設為103. 按預期分布分箱閾值對實際分布(Actual)進行分箱，計算每箱樣本占比4. 按公式?(實際占比-預期占比)/LN(實際占比/預期占比)?計算每箱的Index
5. 累加每箱的Index得到最后的PSI

舉個例子：

將評分等頻分為10個箱子，計算實際分布于預期分布的index，最后求和PSI=0.01

那么評判標準是什么呢，偉大的探路者給我們總結(jié)以下經(jīng)驗閾值：

PSI	Inference	Stable	Action
小于0.1	分布變化輕微	穩(wěn)定性好	不需要
0.1~0.25	分布變化較小	略不穩(wěn)定	監(jiān)控后續(xù)變化
大于0.25	分布變化較大	不穩(wěn)定	進行特征項分析

2.Characteristic Stability Index

Characteristic Stability Index，特征穩(wěn)定性指標，簡稱CSI。用來衡量樣本在特征層面上的分布變化，反映了特征對評分卡分數(shù)變化的影響。

當評分卡主模型分數(shù)發(fā)生變化時，計算每個特征CSI，可以知道哪些特征分布發(fā)生變化從而導致的評分卡主模型分數(shù)偏移。因此監(jiān)控特征的CSI指標可以在評分卡主模型發(fā)生偏移時快速定位問題。

仔細觀測CSI表達式，該指標由兩方面因素構(gòu)成，一方面是預期分布與實際分布的差異，這一項跟PSI一樣；另一方面，該指標大小會受箱子的評分決定，也就是由箱子的woe和該變量的擬合系數(shù)共同決定。

也就是說，影響CSI計算結(jié)果的因素除了特征分布的變化外，還包括特征對主模型得分的“貢獻”。也如此，CSI沒有類似PSI的經(jīng)驗閾值來判定分布變化的大小。

再進一步，由于變量箱子對應的評分有正負，可以反應該特征當前分箱分布的變化對模型整體分數(shù)的影響。當該特征的CSI為正時，則表明該特征分布變化使模型得分往高分偏移，當CSI為負時，則相反。

我們可以通過時間維度上比較某一個特征的CSI變化值：

通過作圖可以發(fā)現(xiàn)，該特征CSI隨著時間在逐步下降，也就是向下遷移。

參考資料：

https://zhuanlan.zhihu.com/p/94619990

總結(jié)

以上是生活随笔為你收集整理的标准评分卡分数计算原理_评分卡模型监控(前端分析)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。