轉(zhuǎn)自：http://charleshm.github.io/2016/03/Model-Performance/

分類

混淆矩陣¹

• True Positive(真正, TP)：將正類預(yù)測為正類數(shù).
• True Negative(真負(fù) , TN)：將負(fù)類預(yù)測為負(fù)類數(shù).
• False Positive(假正, FP)：將負(fù)類預(yù)測為正類數(shù)?→?誤報?(Type I error).
• False Negative(假負(fù) , FN)：將正類預(yù)測為負(fù)類數(shù)?→?漏報?(Type II error).

精確率(precision)定義為：

P=TP / (TP+FP)

需要注意的是精確率(precision)和準(zhǔn)確率(accuracy)是不一樣的，

ACC=TP+TN/ (TP+TN+FP+FN)

在正負(fù)樣本不平衡的情況下，準(zhǔn)確率這個評價指標(biāo)有很大的缺陷。比如在互聯(lián)網(wǎng)廣告里面，點擊的數(shù)量是很少的，一般只有千分之幾，如果用acc，即使全部預(yù)測成負(fù)類（不點擊）acc 也有 99% 以上，沒有意義。

召回率(recall,sensitivity,true positive rate)定義為：

R=TP/TP+FN

此外，還有?F1?值，是精確率和召回率的調(diào)和均值，

2 /?F1=1 /?P+1 /?RF1=2TP/ (2TP+FP+FN)

精確率和準(zhǔn)確率都高的情況下，F1?值也會高。

---

通俗版本

剛開始接觸這兩個概念的時候總搞混，時間一長就記不清了。

實際上非常簡單，精確率是針對我們預(yù)測結(jié)果而言的，它表示的是預(yù)測為正的樣本中有多少是對的。那么預(yù)測為正就有兩種可能了，一種就是把正類預(yù)測為正類(TP)，另一種就是把負(fù)類預(yù)測為正類(FP)。

而召回率是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被預(yù)測正確了。那也有兩種可能，一種是把原來的正類預(yù)測成正類(TP)，另一種就是把原來的正類預(yù)測為負(fù)類(FN)。

---

在信息檢索領(lǐng)域，精確率和召回率又被稱為查準(zhǔn)率和查全率，

查準(zhǔn)率＝檢索出的相關(guān)信息量檢索出的信息總量查全率＝檢索出的相關(guān)信息量系統(tǒng)中的相關(guān)信息總量

---

ROC 曲線

我們先來看下維基百科的定義，

In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system?as its discrimination threshold is varied.

比如在邏輯回歸里面，我們會設(shè)一個閾值，大于這個值的為正類，小于這個值為負(fù)類。如果我們減小這個閥值，那么更多的樣本會被識別為正類。這會提高正類的識別率，但同時也會使得更多的負(fù)類被錯誤識別為正類。為了形象化這一變化，在此引入 ROC ，ROC 曲線可以用于評價一個分類器好壞。

ROC 關(guān)注兩個指標(biāo)，

true positive rate:TPR=TP /?TP+FNfalse positive rate:FPR=FP /?FP+TN

直觀上，TPR 代表能將正例分對的概率，FPR 代表將負(fù)例錯分為正例的概率。在 ROC 空間中，每個點的橫坐標(biāo)是 FPR，縱坐標(biāo)是 TPR，這也就描繪了分類器在 TP（真正率）和 FP（假正率）間的 trade-off²。

---

AUC

AUC（Area Under Curve）被定義為ROC曲線下的面積，顯然這個面積的數(shù)值不會大于1。

The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example.

翻譯過來就是，隨機(jī)挑選一個正樣本以及一個負(fù)樣本，分類器判定正樣本的值高于負(fù)樣本的概率就是 AUC 值。

簡單說：AUC值越大的分類器，正確率越高³。

• AUC=1，完美分類器，采用這個預(yù)測模型時，不管設(shè)定什么閾值都能得出完美預(yù)測。絕大多數(shù)預(yù)測的場合，不存在完美分類器。
• 0.5<AUC<1，優(yōu)于隨機(jī)猜測。這個分類器（模型）妥善設(shè)定閾值的話，能有預(yù)測價值。
• AUC=0.5，跟隨機(jī)猜測一樣（例：丟銅板），模型沒有預(yù)測價值。
• AUC<0.5，比隨機(jī)猜測還差；但只要總是反預(yù)測而行，就優(yōu)于隨機(jī)猜測，因此不存在?AUC<0.5?的情況。

既然已經(jīng)這么多評價標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因為ROC曲線有個很好的特性：當(dāng)測試集中的正負(fù)樣本的分布變化的時候，ROC曲線能夠保持不變。在實際的數(shù)據(jù)集中經(jīng)常會出現(xiàn)類不平衡（class imbalance）現(xiàn)象，即負(fù)樣本比正樣本多很多（或者相反）

---

回歸⁴

平均絕對誤差?

平均絕對誤差MAE（Mean Absolute Error）又被稱為?l1?范數(shù)損失（l1-norm loss）：

MAE(y,?y)=1nsamplesnsamples∑i=1|yi??yi|

---

平均平方誤差

平均平方誤差 MSE（Mean Squared Error）又被稱為?l2?范數(shù)損失（l2-norm loss）：

MSE(y,?y)=1nsamplesnsamples∑i=1(yi??yi)2

---

統(tǒng)計學(xué)習(xí)方法??

ROC和AUC介紹以及如何計算AUC??

AUC與ROC - 衡量分類器的好壞??

機(jī)器學(xué)習(xí)評價指標(biāo)大匯總??

總結(jié)

以上是生活随笔為你收集整理的机器学习性能评估指标（综合性总结）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。