分类结果评价指标
在二分類的模型中,混淆矩陣把預(yù)測(cè)情況與實(shí)際情況的所有結(jié)果進(jìn)行組合,形成了真正 (true positive)、假正 (false positive)、真負(fù) (true negative) 和假負(fù) (false negative) 四種情形,分別由TP、FP、TN、FN 表示(T代表預(yù)測(cè)正確,F代表預(yù)測(cè)錯(cuò)誤)。
準(zhǔn)確率
準(zhǔn)確率的定義是預(yù)測(cè)正確的結(jié)果占總樣本的百分比,其公式如下:
準(zhǔn)確率=(TP+TN)/(TP+TN+FP+FN)
精確率
精準(zhǔn)率(Precision)又叫查準(zhǔn)率,它是針對(duì)預(yù)測(cè)結(jié)果而言的,它的含義是在所有被預(yù)測(cè)為正的樣本中實(shí)際為正的樣本的概率,意思就是在預(yù)測(cè)為正樣本的結(jié)果中,我們有多少把握可以預(yù)測(cè)正確,其公式如下:
精準(zhǔn)率=TP/(TP+FP)
召回率
召回率(Recall)又叫查全率,它是針對(duì)原樣本而言的,它的含義是在實(shí)際為正的樣本中被預(yù)測(cè)為正樣本的概率,其公式如下:
召回率=TP/(TP+FN)
F1 Score
F1 score是分類問題的一個(gè)衡量指標(biāo),一些多分類問題的機(jī)器學(xué)習(xí)競(jìng)賽,常把F1 score作為最終評(píng)測(cè)的方法。它是精確率和召回率的調(diào)和平均數(shù),取值0-1之間。
F1 score認(rèn)為召回率和精確率同樣重要,而F2認(rèn)為召回率的重要程度是精確率的2倍,F0.5則認(rèn)為召回率的重要程度是精確率的一半。
P-R曲線
P-R曲線,就是查準(zhǔn)率(precision)與查全率(recall)的曲線,以查準(zhǔn)率作為縱軸,以查全率作為橫軸,其中查準(zhǔn)率也稱為準(zhǔn)確率,查全率稱為召回率
ROC
ROC曲線與P-R曲線很類似,我們根據(jù)學(xué)習(xí)器的預(yù)測(cè)結(jié)果對(duì)樣例進(jìn)行排序,按此順序逐個(gè)把樣本作為正例進(jìn)行預(yù)測(cè),每次計(jì)算其橫縱坐標(biāo)的值,就可以得到ROC曲線,但是與P-R曲線的不同是,ROC曲線橫軸使用的是“假正例率”,縱軸使用的是“真正例率”
AUC
AUC(Area under curve)是機(jī)器學(xué)習(xí)常用的二分類評(píng)測(cè)手段,直接含義是ROC曲線下的面積
總結(jié)
- 上一篇: 模型融合方法
- 下一篇: 【算法竞赛学习】资金流入流出预测-挑战B