1. 基本概念

??

FN	TP
TN	FP

TP —— True Positive （真正, TP）被模型預(yù)測為正的正樣本；可以稱作判斷為真的正確率?
TN —— True Negative（真負(fù) , TN）被模型預(yù)測為負(fù)的負(fù)樣本 ；可以稱作判斷為假的正確率?
FP ——False Positive （假正, FP）被模型預(yù)測為正的負(fù)樣本；可以稱作誤報率?
FN—— False Negative（假負(fù) , FN）被模型預(yù)測為負(fù)的正樣本；可以稱作漏報率

True Positive Rate（真正率 , TPR）或靈敏度（sensitivity）?
　　 TPR = TP /（TP + FN）?
　　正樣本預(yù)測結(jié)果數(shù) / 正樣本實(shí)際數(shù)?
True Negative Rate（真負(fù)率 , TNR）或特指度（specificity）?
　　 TNR = TN /（TN + FP）?
　　負(fù)樣本預(yù)測結(jié)果數(shù) / 負(fù)樣本實(shí)際數(shù)?
False Positive Rate （假正率, FPR）?
　　FPR = FP /（FP + TN）?
　　被預(yù)測為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù)?
False Negative Rate（假負(fù)率 , FNR）?
　　FNR = FN /（TP + FN）?
　　被預(yù)測為負(fù)的正樣本結(jié)果數(shù) / 正樣本實(shí)際數(shù)

Precision：P=TP/(TP+FP) 精準(zhǔn)率（查準(zhǔn)率）?
Recall：R=TP/(TP+FN) 召回率（查全率 ）?
精確率是針對我們預(yù)測結(jié)果而言的，它表示的是預(yù)測為正的樣本中有多少是真正的正樣本。那么預(yù)測為正就有兩種可能了，一種就是把正類預(yù)測為正類(TP)，另一種就是把負(fù)類預(yù)測為正類(FP)，而召回率是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被預(yù)測正確了。那也有兩種可能，一種是把原來的正類預(yù)測成正類(TP)，另一種就是把原來的正類預(yù)測為負(fù)類(FN)。其實(shí)就是分母不同，一個分母是預(yù)測為正的樣本數(shù)，另一個是原來樣本中所有的正樣本數(shù)

F1-score：2/(1/P+1/R)?
ROC/AUC：TPR=TP/(TP+FN), FPR=FP/(FP+TN)?
?其中查全率有更大影響，查準(zhǔn)率有更大影響。退化為F1?
2. ROC、AUC和PRC?
ROC（receiver operating characteristic curve）是曲線。也就是下圖中的曲線。AUC也就是藍(lán)色線與FPR圍成的面積。一般來說，如果ROC是光滑的，那么基本可以判斷沒有太大的overfitting（比如圖中0.2到0.4可能就有問題，但是樣本太少了），這個時候調(diào)模型可以只看AUC，面積越大一般認(rèn)為模型越好。?

PRC， precision recall curve。和ROC一樣，先看平滑不平滑（藍(lán)線明顯好些），在看誰上誰下（同一測試集上），一般來說，上面的比下面的好（綠線比紅線好）。F1當(dāng)P和R接近就也越大，一般會畫連接(0,0)和(1,1)的線，線和PRC重合的地方的F1是這條線最大的F1（光滑的情況下），此時的F1對于PRC就好象AUC對于ROC一樣。一個數(shù)字比一條線更方便調(diào)模型。?

有時候模型沒有單純的誰比誰好（比如圖二的藍(lán)線和青線），那么選擇模型還是要結(jié)合具體的使用場景。

下面是兩個場景：?
1. 地震的預(yù)測?
對于地震的預(yù)測，我們希望的是RECALL非常高，也就是說每次地震我們都希望預(yù)測出來。這個時候我們可以犧牲PRECISION。情愿發(fā)出1000次警報，把10次地震都預(yù)測正確了；也不要預(yù)測100次，對了8次漏了2次。?
2. 嫌疑人定罪?
基于不錯怪一個好人的原則，對于嫌疑人的定罪我們希望是非常準(zhǔn)確的。及時有時候放過了一些罪犯（recall低），但也是值得的。

對于分類器來說，本質(zhì)上是給一個概率，此時，我們再選擇一個CUTOFF點(diǎn)（閥值），高于這個點(diǎn)的判正，低于的判負(fù)。那么這個點(diǎn)的選擇就需要結(jié)合你的具體場景去選擇。反過來，場景會決定訓(xùn)練模型時的標(biāo)準(zhǔn)，比如第一個場景中，我們就只看RECALL=99.9999%（地震全中）時的PRECISION，其他指標(biāo)就變得沒有了意義。

如果只能選一個指標(biāo)的話，肯定是選PRC了。

3.注釋?
mark1：在一些應(yīng)用中，對精準(zhǔn)率（查準(zhǔn)率）和召回率（查全率 ）重視程度不同，如商品推薦系統(tǒng)中，為了盡可能少打擾用戶，更希望推薦的內(nèi)容確實(shí)是用戶比較感興趣的，此時精準(zhǔn)率（查準(zhǔn)率）比較重要；在逃犯信息檢索系統(tǒng)中，更希望盡量可能少漏掉逃犯，此時召回率（查全率 ）比較重要；?
mark2：ROC比PRC效果好這個結(jié)論的切入點(diǎn)：?
對于同一份數(shù)據(jù)不同的模型來說，由于ROC同時考慮了兩個類別上的準(zhǔn)確率，效果比PRC要好；PRC由于僅考慮正樣本，如果分布失衡，容易造成某個模型的PRC很高，但其實(shí)是在樣本量大的那個類別“帶偏”了；?
mark3：PRC比ROC效果好這個結(jié)論的切入點(diǎn)：?
對于同一份數(shù)據(jù)同一個的模型來說（就只有一個模型，一個ROC，一個PRC），因?yàn)镽OC對類分布不敏感，就容易造成一個看似比較高的AUC對應(yīng)的分類效果實(shí)際上并不好；而PRC就會波動非常大，以一個很“激烈”的方式表現(xiàn)出效果的不好。

某個模型AUC本身值的大小其實(shí)是不重要的，重要的是跟其他模型在同一份數(shù)據(jù)集上的AUC的大小關(guān)系，相對較大的那個更好。而PRC由于波動劇烈，即使不同模型在不同數(shù)據(jù)集上，也能看出一定的效果。（但其實(shí)對建立在不同數(shù)據(jù)上的不同模型，或者僅僅對某一個模型，僅靠PRC或者AUC來決定哪個好哪個差，這種方法本身就是不正確的。）

轉(zhuǎn)載自：http://blog.csdn.net/guhongpiaoyi/article/details/53289229

?

一、假正例和假負(fù)例

?

假正例（False Positive）：預(yù)測為1，實(shí)際為0的樣本

假負(fù)例（False Negative）:預(yù)測為0，實(shí)際為1的樣本

實(shí)際預(yù)測中，那些真正例（True Positive）和真負(fù)例（True Negative）都不會造成損失（cost）。

那么，我們假設(shè)一個假正例的損失是LFP，一個假負(fù)例的損失是LFN。

我們可以得到一個損失矩陣：

?	y^=1	y^=0
y=1	0	LFN
y=0	LFP	0

其中，y是真實(shí)值，y^是預(yù)測值。

那么，我們可以得到一個樣本的后驗(yàn)期望損失：

當(dāng)?shù)臅r候，我們會預(yù)測結(jié)果為y^1=1，此時

假設(shè)，，那么我們可以得到?jīng)Q策規(guī)則：

其中，，也就是我們的決策邊界。

?

例如，c=1時，我們對假正例和假負(fù)例同等對待，則可以得到我們的決策邊界0.5。

?

二、ROC曲線

?

1.混淆矩陣（confusion matrix）

?

??? 針對預(yù)測值和真實(shí)值之間的關(guān)系，我們可以將樣本分為四個部分，分別是：

??? 真正例（True Positive，TP）：預(yù)測值和真實(shí)值都為1

??? 假正例（False Positive，FP）：預(yù)測值為1，真實(shí)值為0

??? 真負(fù)例（True Negative，TN）:預(yù)測值與真實(shí)值都為0

??? 假負(fù)例（False Negative，FN）：預(yù)測值為0，真實(shí)值為1

??? 我們將這四種值用矩陣表示(圖片引自《machine learning：A Probabilistic Perspective》)：

????

??? 上面的矩陣就是混淆矩陣。

???2.ROC曲線

???? 通過混淆矩陣，我們可以得到真正例率（True Positive Rate , TPR）：

????

??? 我們還可以得到假正例率(False Positive Rate? , FPR):

????

??? 可以看到，TPR也就是我們所說的召回率，那么只要給定一個決策邊界閾值，我們可以得到一個對應(yīng)的TPR和FPR值，然而，我們不從這個思路來簡單的得到TPR和FPR，而是反過來得到對應(yīng)的，我們檢測大量的閾值，從而可以得到一個TPR-FPR的相關(guān)圖，如下圖所示（圖片引自《machine learning：A Probabilistic Perspective》）：

??? 圖中的紅色曲線和藍(lán)色曲線分別表示了兩個不同的分類器的TPR-FPR曲線，曲線上的任意一點(diǎn)都對應(yīng)了一個值。該曲線就是ROC曲線（receiver operating characteristic curve）。該曲線具有以下特征：

• 一定經(jīng)過（0,0）點(diǎn)，此時，沒有預(yù)測為P的值，TP和FP都為0

• 一定經(jīng)過（1,1）點(diǎn)，此時，全都預(yù)測為P

• 最完美的分類器（完全區(qū)分正負(fù)樣例）：（0,1）點(diǎn)，即沒有FP，全是TP

• 曲線越是“凸”向左上角，說明分類器效果越好

• 隨機(jī)預(yù)測會得到（0,0）和（1,1）的直線上的一個點(diǎn)

• 曲線上離（0,1）越近的點(diǎn)分類效果越好，對應(yīng)著越合理的

??? 從圖中可以看出，紅色曲線所代表的分類器效果好于藍(lán)色曲線所表示的分類器。

3.利用ROC的其他評估標(biāo)準(zhǔn)

• AUC(area under thecurve)，也就是ROC曲線的下夾面積，越大說明分類器越好，最大值是1，圖中的藍(lán)色條紋區(qū)域面積就是藍(lán)色曲線對應(yīng)的 AUC
• EER（equal error rate），也就是FPR=FNR的值，由于FNR=1-TPR，可以畫一條從（0,1）到（1,0）的直線，找到交點(diǎn)，圖中的A、B兩點(diǎn)。

轉(zhuǎn)載自：http://blog.csdn.net/tkingreturn/article/details/17640599

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的【转】常用的风控算法模型评价指标的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。