类别不平衡问题 —— 各种评估指标
?類別不平衡問題
在二分類問題中,通常假設(shè)正負(fù)類別相對均衡(混淆矩陣),然而實際應(yīng)用中類別不平衡的問題,如100, 1000, 10000倍的數(shù)據(jù)偏斜是非常常見的,比如疾病檢測中未患病的人數(shù)遠(yuǎn)超患病的人數(shù),產(chǎn)品質(zhì)量檢測中合格產(chǎn)品數(shù)量遠(yuǎn)超不合格產(chǎn)品等。在檢測信用卡欺詐問題中,同樣正例的數(shù)目稀少,而且正例的數(shù)量會隨著時間和地點的改變而不斷變化,分類器要想在不斷變化的正負(fù)樣本中達(dá)到好的檢測效果是非常困難的。
由于類別不平衡問題的特性使然,一般常使用于評估分類器性能的準(zhǔn)確率和錯誤率可能就不再適用了。因為在類別不平衡問題中我們主要關(guān)心數(shù)目少的那一類能否被正確分類,而如果分類器將所有樣例都劃分為數(shù)目多的那一類,就能輕松達(dá)到很高的準(zhǔn)確率,但實際上該分類器并沒有任何效果。
True Positive?(真正例,TP):實際為正例,預(yù)測為正例。
False Negative?(假負(fù)例,FN):實際為正例,預(yù)測為負(fù)例。
True Negative?(真負(fù)例,TN):實際為負(fù)例,預(yù)測為負(fù)例。
False Positive?(假正例,FP):實際為負(fù)例,預(yù)測為正例。?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?F1 score?=
?F1 score?是一個綜合指標(biāo),為Precision和Recall的調(diào)和平均 (harmonic mean),數(shù)值上一般接近于二者中的較小值
因此如果F1 score比較高的話,意味著Precision和Recall都較高。
總結(jié)
以上是生活随笔為你收集整理的类别不平衡问题 —— 各种评估指标的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 类型转换与采样 || SMOTE算法
- 下一篇: 数据描述与可视化