分类模型的评估方法-正确率(Accuracy)
我們知道,機器學習的一大任務是”分類”。我們構建了一個分類模型,通過訓練集訓練好后,那么這個分類模型到底預測效果怎么樣呢?那就需要進行評估驗證。
評估驗證當然是在測試集上。問題是,我通過什么評估這個分類模型呢?也就是說我們怎么給這個模型打分呢?
想想我們上學時的考試,總分100分,總共100道題,作對1題給1分,最后會有一個得分,例如80分,90分,換算成百分比就是80%,90%,這是我們自然而然能想到的評估方法。在測試集上,假定有10000個樣本數據,這個模型進行正確分類的樣本數據是9000個,其它1000個都分錯了,那么得分就是9000/10000=90%。
這種很簡單很直觀的評估方法就是正確率(Accuracy)。在一般情況下,這種方式就很好了,注意:正確率(Accuracy)也經常翻譯成準確率。
但是在很多情況下,這種方式就不那么好了。例如考試中的100道題,不是每道題都是1分,而是前90道題是選擇題,每題1分,后10道題是應用題,每題20分。A同學答對了前80道題,B同學答對了后80道題,按照答對題的數量,都是80道題,正確率都是80%。但是,后面的題更重要,B同學理應比A同學得分更高。
要知道我們的試卷就是這么設計的,也就是說有些題比其它題更重要,比如應用題就比選擇題重要。同樣,在數據樣本中,有些數據樣本就是比其它數據樣本更重要。
例如:地震局的地殼活動數據,100萬個測試數據樣本中,只有10個是有地震的,另外的999990個數據是沒有地震的.如果我們的分類模型預測對了這999990個沒有地震的數據,另外10個有地震的都預測錯了,那么按照正確率(Accuracy)的計算,得分仍然高達99.999%,這顯然是離譜的評估。
再例如:醫院的肺癌檢查數據,10萬個測試數據樣本中,只有100個是有癌癥的;信用卡交易數據中,1億個測試數據樣本,只有1萬個是欺詐交易;像預測地震、癌癥、欺詐交易寫等等這些例子可是我們機器學習領域經常遇到的狀況。
因此,正確率(Accuracy)雖然簡單直觀,但在很多時候并不是一個真正正確的評估指標。
總結
以上是生活随笔為你收集整理的分类模型的评估方法-正确率(Accuracy)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 图论(十)最小生成树-Prim算法
- 下一篇: 分类模型的评估方法-精确率(Precis