1. 分類問(wèn)題評(píng)價(jià)指標(biāo)

1-1. 精確率與召回率

精確率（Precision）指的是模型判為正的所有樣本中有多少是真正的正樣本；召回率（Recall）指的是所有正樣本有多少被模型判為正樣本，即召回。感覺(jué)精確率是個(gè)局部的，召回率是個(gè)全局的。

精確率與召回率

1-2. ROC

真正類率(true positive rate ,TPR)，刻畫的是分類器所識(shí)別出的 正實(shí)例占所有正實(shí)例的比例（正樣本預(yù)測(cè)結(jié)果數(shù) / 正樣本實(shí)際數(shù)）。負(fù)正類率(false positive rate, FPR)，計(jì)算的是分類器錯(cuò)認(rèn)為正類的負(fù)實(shí)例占所有負(fù)實(shí)例的比例（被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù)）。

( TPR=0,FPR=0 ) 把每個(gè)實(shí)例都預(yù)測(cè)為負(fù)類的模型
( TPR=1,FPR=1 ) 把每個(gè)實(shí)例都預(yù)測(cè)為正類的模型
( TPR=1,FPR=0 ) 理想模型

ROC曲線

ROC曲線下方的面積（Area Under the ROC Curve, AUC）提供了評(píng)價(jià)模型平均性能的另一種方法。如果模型是完美的，那么它的AUC = 1，如果模型是個(gè)簡(jiǎn)單的隨機(jī)猜測(cè)模型，那么它的AUC = 0.5，如果一個(gè)模型好于另一個(gè)，則它的曲線下方面積相對(duì)較大。

首先AUC值是一個(gè)概率值，當(dāng)你隨機(jī)挑選一個(gè)正樣本以及一個(gè)負(fù)樣本，當(dāng)前的分類算法根據(jù)計(jì)算得到的Score值將這個(gè)正樣本排在負(fù)樣本前面的概率就是AUC值。當(dāng)然，AUC值越大，當(dāng)前的分類算法越有可能將正樣本排在負(fù)樣本前面，即能夠更好的分類。

1-3. 對(duì)數(shù)損失

對(duì)數(shù)損失（Log loss）亦被稱為邏輯回歸損失（Logistic regression loss）

對(duì)數(shù)損失通用式
二分類對(duì)數(shù)損失

1-4. 鉸鏈損失

鉸鏈損失（Hinge loss）一般用來(lái)使“邊緣最大化”（maximal margin）。
鉸鏈損失最開(kāi)始出現(xiàn)在二分類問(wèn)題中，假設(shè)正樣本被標(biāo)記為1，負(fù)樣本被標(biāo)記為-1，y是真實(shí)值，w是預(yù)測(cè)值，則鉸鏈損失定義為：

鉸鏈損失

1-5. 混淆矩陣

又被稱為錯(cuò)誤矩陣，通過(guò)它可以直觀地觀察到算法的效果。它的每一列是樣本的預(yù)測(cè)分類，每一行是樣本的真實(shí)分類（反過(guò)來(lái)也可以），顧名思義，它反映了分類結(jié)果的混淆程度。混淆矩陣i行j列的原始是原本是類別i卻被分為類別j的樣本個(gè)數(shù)，計(jì)算完之后還可以對(duì)之進(jìn)行可視化：

混淆矩陣

1-6. kappa系數(shù)

kappa系數(shù)用來(lái)衡量?jī)煞N標(biāo)注結(jié)果的吻合程度，標(biāo)注指的是把N個(gè)樣本標(biāo)注為C個(gè)互斥類別。計(jì)算公式為

kappa系數(shù)

兩種標(biāo)注結(jié)果完全相符時(shí)，K=1，越不相符其值越小，甚至是負(fù)的

1-7. 海明距離

• 在信息領(lǐng)域，兩個(gè)長(zhǎng)度相等的字符串的海明距離是在相同位置上不同的字符的個(gè)數(shù)，也就是將一個(gè)字符串替換成另一個(gè)字符串需要的替換的次數(shù)。

• 機(jī)器學(xué)習(xí)方面，當(dāng)預(yù)測(cè)結(jié)果與實(shí)際情況完全相符時(shí)，距離為0；當(dāng)預(yù)測(cè)結(jié)果與實(shí)際情況完全不符時(shí)，距離為1；當(dāng)預(yù)測(cè)結(jié)果是實(shí)際情況的真子集或真超集時(shí)，距離介于0到1之間。我們可以通過(guò)對(duì)所有樣本的預(yù)測(cè)情況求平均得到算法在測(cè)試集上的總體表現(xiàn)情況

1-8. Jaccard系數(shù)

可將 Jaccard相似系數(shù)用在衡量樣本的相似度上。

Jaccard相似系數(shù)

這里p+q+r可理解為A與B的并集的元素個(gè)數(shù)，而p是A與B的交集的元素個(gè)數(shù)。

2. 擬合問(wèn)題評(píng)價(jià)指標(biāo)

2-1. 平均絕對(duì)誤差

平均絕對(duì)誤差MAE（Mean Absolute Error）又被稱為l1范數(shù)損失（l1-norm loss）：

平均絕對(duì)誤差MAE

2-2. 平均平方誤差

平均平方誤差MSE（Mean Squared Error）又被稱為l2范數(shù)損失（l2-norm loss）：

平均平方誤差MSE

2-3. 解釋變異

解釋變異（ Explained variance）是根據(jù)誤差的方差計(jì)算得到的：

解釋變異（ Explained variance）

當(dāng)需要比較兩組數(shù)據(jù)離散程度大小的時(shí)候，如果兩組數(shù)據(jù)的測(cè)量尺度相差太大，或者數(shù)據(jù)量綱的不同，直接使用標(biāo)準(zhǔn)差來(lái)進(jìn)行比較不合適，此時(shí)就應(yīng)當(dāng)消除測(cè)量尺度和量綱的影響，而變異系數(shù)可以做到這一點(diǎn)，他是原始數(shù)據(jù)標(biāo)準(zhǔn)差與原始數(shù)據(jù)平均數(shù)的比。

事實(shí)上，可以認(rèn)為變異系數(shù)和極差、標(biāo)準(zhǔn)差和方差一樣，都是反映數(shù)據(jù)離散程度的絕對(duì)值。一般來(lái)說(shuō)，變量值平均水平高，其離散程度的測(cè)度值越大，反之越小。

2-4. 決定系數(shù)

決定系數(shù)（Coefficient of determination）又被稱為R2分?jǐn)?shù)：

決定系數(shù)（Coefficient of determination）

當(dāng)R2越接近1時(shí)，表示相關(guān)的方程式參考價(jià)值越高；相反，越接近0時(shí)，表示參考價(jià)值越低。這是在一元回歸分析中的情況。但從本質(zhì)上說(shuō)決定系數(shù)和回歸系數(shù)沒(méi)有關(guān)系，就像標(biāo)準(zhǔn)差和標(biāo)準(zhǔn)誤差在本質(zhì)上沒(méi)有關(guān)系一樣。

3. 聚類的評(píng)價(jià)指標(biāo)

3-1. 蘭德指數(shù)

蘭德指數(shù)（Rand index）需要給定實(shí)際類別信息C，假設(shè)K是聚類結(jié)果，a表示在C與K中都是同類別的元素對(duì)數(shù)，b表示在C與K中都是不同類別的元素對(duì)數(shù)，則蘭德指數(shù)為：

蘭德指數(shù)（Rand index）

RI取值范圍為[0,1]，值越大意味著聚類結(jié)果與真實(shí)情況越吻合。

• 為了實(shí)現(xiàn)“在聚類結(jié)果隨機(jī)產(chǎn)生的情況下，指標(biāo)應(yīng)該接近零”，調(diào)整蘭德系數(shù)（Adjusted rand index）被提出，它具有更高的區(qū)分度：

ARI（Adjusted rand index）

ARI取值范圍為[?1,1]，值越大意味著聚類結(jié)果與真實(shí)情況越吻合。從廣義的角度來(lái)講，ARI衡量的是兩個(gè)數(shù)據(jù)分布的吻合程度。

3-2. 互信息

• 互信息（Mutual Information）是用來(lái)衡量?jī)蓚€(gè)數(shù)據(jù)分布的吻合程度。也是一有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性。
• 用互信息的方法，在某個(gè)類別C中的出現(xiàn)概率高，而在其它類別中的出現(xiàn)概率低的詞條T，將獲得較高的詞條和類別互信息，也就可能被選取為類別C的特征。
• 互信息是term的存在與否能給類別c的正確判斷帶來(lái)的信息量。
• 詞條和類別的互信息體現(xiàn)了詞條和類別的相關(guān)程度，互信息越大，詞條和類別的相關(guān)程度也越大。得到詞條和類別之間的相關(guān)程度后，選取一定比例的，排名靠前的詞條作為最能代表此種類別的特征。

互信息（Mutual Information）

3-3. 輪廓系數(shù)

輪廓系數(shù)（Silhouette coefficient）適用于實(shí)際類別信息未知的情況。對(duì)于單個(gè)樣本，設(shè)a是與它同類別中其他樣本的平均距離，b是與它距離最近不同類別中樣本的平均距離，輪廓系數(shù)為：

輪廓系數(shù)（Silhouette coefficient）

對(duì)于一個(gè)樣本集合，它的輪廓系數(shù)是所有樣本輪廓系數(shù)的平均值。
輪廓系數(shù)取值范圍是[?1,1]，同類別樣本越距離相近且不同類別樣本距離越遠(yuǎn)，分?jǐn)?shù)越高。

作者：袁一帆 鏈接：http://www.jianshu.com/p/b5996bf06bd6 來(lái)源：簡(jiǎn)書(shū) 著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。

總結(jié)

以上是生活随笔為你收集整理的【总结】分类、聚类的评估指标的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。