分類(lèi)模型評(píng)價(jià)一般有以下幾種方法：混淆矩陣(Confusion Matrix)、收益圖(Gain Chart)、提升圖(Lift Chart)、KS圖(KS Chart)、接受者操作特性曲線(ROC Chart)。“分類(lèi)器評(píng)價(jià)與在R中的實(shí)現(xiàn)”系列中將逐個(gè)介紹。

之前已介紹過(guò)最基礎(chǔ)的混淆矩陣、收益圖與提升圖。本篇介紹ROC圖(ROC Chart)及由此計(jì)算的AUC。

一、ROC圖簡(jiǎn)介

ROC曲線和收益/提升圖一樣，通過(guò)對(duì)分類(lèi)不同閥值的記錄對(duì)混淆矩陣進(jìn)行改良。由于種種歷史原因，ROC又叫“接收者操作特征曲線”。它的x軸是false positive rate(1-specificity)，y軸是true positive rate(sensitivity)。

顯然，ROC曲線是過(guò)(0,0)和(1,1)兩點(diǎn)的。考慮兩種極端情況：當(dāng)將閥值放松，把所有觀測(cè)分類(lèi)為negative時(shí)，在(0,0)；當(dāng)將閥值收緊，將觀測(cè)全部分類(lèi)為positive時(shí)，為(1,1)。隨機(jī)模型的ROC曲線是穿過(guò)(0,0)和(1,1)的45度線。

左上角的(0,1)點(diǎn)表示判斷全部正確，所以理想模型應(yīng)該與這一點(diǎn)越接近越好。這個(gè)接近程度可以用ROC曲線下面積AUC(Area Under Curve)來(lái)表示。隨機(jī)模型的AUC為右下三角0.5，全部分類(lèi)正確模型的AUC為1。所以模型越接近左上角，AUC會(huì)越接近1，反之會(huì)越接近0.5。

二、在R中作ROC圖，并計(jì)算AUC

1 直接計(jì)算

直接計(jì)算TPR和FPR。

require(ROCR) data(ROCR.simple) data <- as.data.frame(ROCR.simple)[1:10, ] data <- data[order(data[, 1], decreasing = TRUE), ] data$target_cum <- cumsum(data[, "labels"]) data$tpr <- data$target_cum/sum(data[, "labels"]) data$fpr <- (row(data[, 1, drop = F]) - data$target_cum)/(nrow(data) - sum(data[, "labels"])) data

可以看到fpr,tpr是經(jīng)過(guò)(1,1)點(diǎn)的。(0,0)點(diǎn)未顯示在表中。

## predictions labels target_cum tpr fpr ## 7 0.9706 1 1 0.1667 0.00 ## 8 0.8902 1 2 0.3333 0.00 ## 10 0.8688 0 2 0.3333 0.25 ## 9 0.7818 1 3 0.5000 0.25 ## 1 0.6125 1 4 0.6667 0.25 ## 3 0.4321 0 4 0.6667 0.50 ## 5 0.3849 0 4 0.6667 0.75 ## 2 0.3643 1 5 0.8333 0.75 ## 6 0.2444 1 6 1.0000 0.75 ## 4 0.1403 0 6 1.0000 1.00 plot(data$tpr, data$fpr, type = "l", main = "ROC Chart")

2 用ROCR包畫(huà)圖、計(jì)算AUC

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels) roc <- performance(pred, "tpr", "fpr") plot(roc, main = "ROC chart")

auc <- performance(pred, "auc")@y.values auc ## [[1]] ## [1] 0.8342

AUC為0.8342可以這樣解釋：當(dāng)從此模型預(yù)測(cè)的positive案例中隨機(jī)選擇一個(gè)，再?gòu)拇四Ｐ皖A(yù)測(cè)的negative案例中隨機(jī)選擇一個(gè)，那么有83.43%的機(jī)會(huì)前者的分?jǐn)?shù)會(huì)比后者高，比隨機(jī)模型多了33.43%的可能性。

from:?http://iccm.cc/classification-model-evaluation-roc-chart-auc/

總結(jié)

以上是生活随笔為你收集整理的分类器评价与在R中的实现：ROC图与AUC的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。