1、混淆矩陣。

2、提升圖&洛倫茲圖。

3、 基尼系數(shù)

4、ks曲線

5、roc曲線。

1

混淆矩陣

混淆矩陣不能作為評(píng)估模型的唯一標(biāo)準(zhǔn)，混淆矩陣是算模型其他指標(biāo)的基礎(chǔ)，后面會(huì)講到，但是對(duì)混淆矩陣的理解是必要的。

模型跑出來(lái)的“Y”值為每個(gè)客戶的預(yù)測(cè)違約概率，可以理解為客戶的有多大的可能違約。把概率等分分段，y坐標(biāo)為該區(qū)間的人數(shù)，可以得到這樣子一個(gè)圖表。

可以看到圖中這條線，一切下去，在左邊就算是違約的客戶，那么右邊就是正常的客戶，本身模型沒(méi)辦法百分百的判斷客戶的狀態(tài)，所以cd就算是會(huì)誤判的，d本來(lái)是是左邊這個(gè)小山的客戶，那就是壞客戶，但是模型預(yù)測(cè)他的概率比較高別劃分到了好客戶的這邊了，所以d就是被預(yù)測(cè)為好客戶的壞客戶，同樣的道理，c就是被預(yù)測(cè)為壞客戶的好客戶。

2

提升圖&洛倫茲圖

假設(shè)我們現(xiàn)在有個(gè)10000的樣本，違約率是7%，我們算出這10000的樣本每個(gè)客戶的違約概率之后降序分為每份都是1000的記錄，那么在左圖中，第一份概率最高的1000個(gè)客戶中有255個(gè)違約的。違約客戶占了全部的36.4。如果不對(duì)客戶評(píng)分，按照總體的算，這個(gè)分組；理論上有70個(gè)人是違約的。

把剛才的圖，每組中的隨機(jī)違約個(gè)數(shù)以及模型違約個(gè)數(shù)化成柱形圖，可以看到假設(shè)現(xiàn)在是p值越大的客戶，違約概率越大，那就是說(shuō)這里第一組的1000個(gè)人就是概率倒序排序之后的前1000個(gè)人。那么可以看到通過(guò)模型，可以識(shí)別到第一組的客戶違約概率是最高的，那么在業(yè)務(wù)上運(yùn)用上可以特別注意這部分客戶，可以給予拒絕的處理。

那么洛倫茲圖就是將每一組的一個(gè)違約客戶的個(gè)數(shù)累計(jì)之后連接成一條線，可以看到在12組的時(shí)候，違約人數(shù)的數(shù)量上升是一個(gè)比較明顯的狀態(tài)，但是越到后面的組，違約人數(shù)上升的越來(lái)越少了。那么在衡量一個(gè)模型的標(biāo)準(zhǔn)就是這個(gè)條曲線是越靠近y軸1的位置越好，那樣子就代表著模型能預(yù)測(cè)的違約客戶集中在靠前的幾組，所以識(shí)別客戶的效果就是更好。

3

基尼系數(shù)

洛倫茨曲線是把違約概率降序分成10等分，那么基尼統(tǒng)計(jì)量的上圖是把違約概率升序分成10等分，基尼統(tǒng)計(jì)量的定義則為：

G的值在0到1之間，在隨機(jī)選擇下，G取0。G達(dá)到0.4以上即可接受。

4

ks值

ks曲線是將每一組的概率的好客戶以及壞客戶的累計(jì)占比連接起來(lái)的兩條線，ks值是當(dāng)有一個(gè)點(diǎn)，好客戶減去壞客戶的數(shù)量是最大的。那么ks的值的意義在于，我在那個(gè)違約概率的點(diǎn)切下去，創(chuàng)造的效益是最高的，就圖中這張圖來(lái)說(shuō)就是我們大概在第三組的概率的中間的這個(gè)概率切下，我可以最大的讓好客戶進(jìn)來(lái)，會(huì)讓部分壞客戶進(jìn)來(lái)，但是也會(huì)有少量的壞客戶進(jìn)來(lái)，但是這已經(jīng)是損失最少了，所以可以接受。那么在建模中是，模型的ks要求是達(dá)到0.3以上才是可以接受的。

5

roc

靈敏度可以看到的是判斷正確的違約客戶數(shù)，這里給他個(gè)名字為違約客戶正確率(tpr)，誤判率就是判斷錯(cuò)誤的正常客戶數(shù)（fpr）。特殊性就是正常客戶的正確率，那么roc曲線是用誤判率和違約客戶數(shù)畫(huà)的一條曲線。這里就需要明確一點(diǎn)就是，我們要的效果是，tpr的越高越好，fpr是越低越好。ROC曲線就是通過(guò)在0-1之間改變用于創(chuàng)建混淆矩陣的臨界值，繪制分類(lèi)準(zhǔn)確的違約記錄比例與分類(lèi)錯(cuò)誤的正常記錄比例。具體我們來(lái)看圖。

我們首先來(lái)看A,B點(diǎn)的含義，A點(diǎn)的TPR大概為0.7左右，FPR大概是0.3左右，那么就是說(shuō)假設(shè)我錯(cuò)誤的將30%壞客戶判斷是壞的，那么可以識(shí)別70%的客戶肯定壞的。B點(diǎn)的TPR大概為0.3左右，FPR大概是0.7左右，那就是我錯(cuò)誤的將70%好客戶當(dāng)做壞客戶，只能得到30%的客戶是確定 壞客戶。所以這么說(shuō)的話，點(diǎn)越靠近左上方，模型就是越好的，對(duì)于曲線也是一樣的。

總結(jié)

我個(gè)人建議，要依據(jù)不同的業(yè)務(wù)目的，選取不同的評(píng)估方式， 基尼系數(shù)、提升圖可以用于用人工審批情況的業(yè)務(wù)目的，不同的分組突出客戶的質(zhì)量的高低，ks、roc可以用于線上審批審核的情況，根據(jù)最小損失公式，計(jì)算出概率點(diǎn)。

總結(jié)

以上是生活随笔為你收集整理的你应该知道的模型评估的五个方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。