信用評分模型監控報告可以從觀察期間的穩定度（前端監控報告）與表現期間的鑒別度(后端監控報告)兩個方面對各項指標進行監控。

目錄

一、前端監控報告

1.1 評分分布表(SDR)
1.2 群體穩定度指標(PSI)
1.3 變量穩定度分析
1.4 人工否決分析
1.5 數據輸入錯誤率分析
1.6 產品大事記

二、后端監控報告

2.1 好壞客戶評分分布表
2.2 母體鑒別度分析
2.3 變量鑒別度分析
2.4 好壞概率與評分分析
2.5 人工否決表現分析

一、前端監控

前端監控報告可以在模型上線后一個月開始執行，目的是觀察申請客戶或者近期客戶的類型與模型開發樣本是否一致，避免客群發生劇烈波動而導致模型失效的情況發生。

評分分布表

評分分布表是統計各個評分組別的評分客戶數及其占全體戶數的比率。上圖中，開發樣本中500-549組別中客戶占比為1.48%，而現行客戶中此組別占比為2.53%，左右兩列對比觀察發現“高評分組別占比減少，且客戶占比向低評分組別移動”，其具體原因需要根據變量穩定度分析來進行更詳細的分析。評分分布表也可以采用條形圖的方式，更加直觀清晰。

群體穩定度指標(PSI)

群體穩定度指標是用來衡量整體評分卡在開發樣本時點與現行評分時點的客戶占比的差異程度，PSI越小表示越穩定。
一般PSI小于0.1說明群體之間無明顯變化，較為穩定；PSI大于0.25說明群體之間有顯著變化，需要進行評分模型的調整；介于0.1-0.25之間說明有波動，需要密切觀察穩定性。

PSI的公式為：
$$PSI=\sum _{i=1}^n(現行占比?開發占比)?ln(現行占比/開發占比)$$
此外還可以每月對PSI進行監控，現行樣本就是當月樣本，開發樣本就是當月之前的所有樣本，將個月份的PSI繪制成一條折線，便于觀察PSI趨勢的變化。

需要注意的是，PSI只顯示母體分布是否發生明顯波動，并不能表現是往高分組還是低分組移動，需要搭配上面的評分分布表才能夠判斷變化方向。

變量穩定度分析

母體分布出現波動并不代表模型內所有變量均發生不穩定波動，可以通過變量穩定度分析來確定是什么變量造成母體分布偏移，方法和PSI類似但是公式略有不同。變量分布差距的公式如下：
$$變量分布差距=\sum _{i=1}^n(評分?現行樣本占比?評分?開發樣本占比)$$
以學歷變量為例：

和PSI一樣，此變量絕對值越大說明變量分布越不穩定。如果此變量分布差距為正值，說明現行樣本與開發樣本相比，分布往高分屬性移動；如果此變量分布差距為負值，說明現行客戶與開發客戶相比，分布向低分屬性移動。可以參考下面這個額度使用率的例子驗證這個屬性：

人工否決分析

人工否決分析的目的是監控評分模型與信審人員對于案件風險認知的差距，類似于Swap-Set分析，對臨界點附近的案件進行重判，分為高分否決率與低分否決率。
$$高分否決率=\frac{評分高于核準點應予批準但人工審核拒絕的案件量}{評分高于核準點的案件量}$$
$$低分否決率=\frac{評分低于核準點應予批準但人工審核拒絕的案件量}{評分低于核準點的案件量}$$
申請評分模型上線前，通常會規范高分否決率與低分否決率的上限。當超過上限時需要與審核人員溝通，避免失去以評分模型作為信用風險決策的目的。

數據輸入錯誤率分析

分為評分錯誤率(導致錯誤評分)和關鍵錯誤率(導致錯誤決策)。

產品大事記

所有因評分卡相關政策(如營銷活動、目標市場、授信政策、核準點改變)或外部重大事件(法令規章或影響總體經濟)需要及時記載并定期維護，便于后續追蹤和回溯事件影響。

二、后端監控報告

后端監控報告在模型上線后一段時間(可以為壞客戶的延滯月數或表現期長度)開始執行，即需要有樣本表現。目的是為了觀察評分模型對申請客戶或近期客戶群體是都仍具備鑒別力。
即前端監控報告監控穩定度，后端監控報告監控區分度。其維度都是開發樣本和現行樣本。

好壞客戶評分分布表

同前端監控中的評分分布表，好壞客戶也有相應的評分分布，其目的是為了展示出好壞客戶評分的差異情況。不同于前端監控(不同時點、全體客群)的是，后端監控中的樣本是同一觀察時期的樣本，即相同時點不同表現。

畫成評分分布圖更加直觀：

母體鑒別度(KS/Gini)

不再展開介紹。

變量鑒別度分析(IV)

不再展開介紹。

好壞概率與評分分析

好壞概率的計算方式是各評分組別的好客戶數除以壞客戶數，這個指標應該隨著評分的升高而增加，具有鑒別力的模型應呈現出高評分組有較多的好客戶(好壞比高)，低評分組有較多的壞客戶(好壞比低)。
由于評分模型一般需要經過風險校準，所以相鄰的評分組別的好壞概率應大致呈倍數增加變化。如果直接畫出好壞概率和評分組別變化關系的圖，會出現如下情況：

由于各組別的好壞概率呈倍數增長，導致最高評分組好壞概率過大，進而影響到低分組的判別情況。故采用將好壞概率取自然對數的方式來作為另一種觀察指標，如下圖：

各評分組別的ln(好壞概率)相連接后會接近一條直線，此直線越陡峭說明評分模型的好壞概率差別越大，區分度越高。
圖中還出現兩條平行直線，這說明這兩個時期模型的區分度相近，不同的是同一評分組別下，2x09/06所對應的好壞比率較低，此時可以通過上調授信政策的臨界點來達到與之前相同的效果。

人工否決表現分析

和前端監控中的人工否決表現分析，若人為判斷過于頻繁，會造成評分模型效益下降或整體資產質量不如預期，因此需要定期檢視審核人員和模型對于風險的判斷是否一致。

應用評分模型作為決策方式時，通常會為下列兩項指標設定上限，以避免人為干預過深：
1.低于核準點案件的核準率：表9-13中的9.20%[442/（442+4364）×100%]。
2.低于核準點案件占全體核準件的核準率：表9-13中的5.06%[442/8734×100%]。
上圖中550-599評分的壞客戶率為8.24%，低于600-649分組，這是因為低于核準點的案件會經過審核員的核對與評估，因此風險可能更低。

總結：持續有效的信用評分模型需建立在穩定度與鑒別度驗證的基礎上，定期對評分卡模型的表現進行監控，以保證模型的各項性能不會出現惡化，對風控模型不穩定時追溯定位原因具有重要意義。

【作者】：Labryant
【原創公眾號】：風控獵人
【簡介】：某創業公司策略分析師，積極上進，努力提升。乾坤未定，你我都是黑馬。
【轉載說明】：轉載請說明出處，謝謝合作！~

總結

以上是生活随笔為你收集整理的评分模型监控的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。