當(dāng)我們?cè)谡務(wù)撘粋€(gè)模型好壞的時(shí)候，我們常常會(huì)聽(tīng)到準(zhǔn)確率(Accuracy)這個(gè)詞，我們也會(huì)聽(tīng)到＂如何才能使模型的Accurcy更高＂．那么是不是準(zhǔn)確率最高的模型就一定是最好的模型？

這篇博文會(huì)向大家解釋準(zhǔn)確率并不是衡量模型好壞的唯一指標(biāo)，同時(shí)我也會(huì)對(duì)其他衡量指標(biāo)做出一些簡(jiǎn)單說(shuō)明。

首先我們先要了解混淆矩陣(Confusion Matrix),　如下圖，混淆矩陣經(jīng)常被用來(lái)衡量一個(gè)分類(lèi)模型在測(cè)試樣本上的性能，本文提到的所有衡量標(biāo)準(zhǔn)都會(huì)用到下面混淆矩陣中出現(xiàn)的的四個(gè)值

真正例和真反例表示被正確預(yù)測(cè)的數(shù)據(jù)，假正例和假反例表示被錯(cuò)誤預(yù)測(cè)的數(shù)據(jù)，接下來(lái)的內(nèi)容基本都是圍繞著四個(gè)值展開(kāi)，因此我們有必要在這里弄清楚這四個(gè)值的含義是什么．

TP(True Positive)－被正確預(yù)測(cè)的正例．表示真實(shí)值為正，同時(shí)也被正確的預(yù)測(cè)為正；

TN(True Negative)－被正確預(yù)測(cè)的反例．表示真實(shí)值為反例，也被正確的預(yù)測(cè)為反例；

FP(False Positive)－表示真實(shí)值為負(fù)例，被錯(cuò)誤的預(yù)測(cè)為正例；

FN(False Negative)－表示真實(shí)值為正例，被錯(cuò)誤的預(yù)測(cè)為反例；

在了解了這四個(gè)值之后讓我們來(lái)計(jì)算接下來(lái)的Accuracy, Precision, Recall, F1 Score

Accuracy

Accuracy是最直觀的衡量模型好壞的指標(biāo)，它實(shí)際上是被正確預(yù)測(cè)的數(shù)據(jù)量比上所有參與預(yù)測(cè)的數(shù)據(jù)量的值。 正如我開(kāi)篇提到的，有人會(huì)認(rèn)為如果我們的模型具有很高的Accuracy，那么我們的模型是最好的。

首先要明確只有當(dāng)我們擁有一個(gè)對(duì)稱(chēng)數(shù)據(jù)集時(shí)，也就是假陽(yáng)性和假陰性的值幾乎相同時(shí)，Accuracy才可以被用來(lái)作為一個(gè)很好的衡量標(biāo)準(zhǔn)。 因此，我們必須查看其他參數(shù)才能完整地評(píng)估模型的性能。

Precision and Recall

有人翻譯他們?yōu)榫_率和召回率，我更喜歡用查準(zhǔn)率和查全率來(lái)翻譯這兩個(gè)詞．　　　　　　　　　　　　　　　　　　　　　　　　

查準(zhǔn)率P就表示在預(yù)測(cè)結(jié)果為正例的樣本里，真實(shí)情況也為正例所占的比率

適用場(chǎng)景:當(dāng)反例被錯(cuò)誤的預(yù)測(cè)為正例（假正例）產(chǎn)生的代價(jià)很高的時(shí)候，適合用查準(zhǔn)率，因?yàn)楦卟闇?zhǔn)率意味著低假正率/假陽(yáng)性．比如在垃圾郵件檢測(cè)中，假正例意味著非垃圾郵件（實(shí)際為負(fù)）被錯(cuò)誤的預(yù)測(cè)為垃圾郵件（預(yù)測(cè)為正）．如果一個(gè)垃圾郵件監(jiān)測(cè)系統(tǒng)的查準(zhǔn)率不高導(dǎo)致很多非垃圾郵件被歸到垃圾郵箱里去，那么郵箱用戶可能會(huì)丟失或者漏看一些很重要的郵件．

查全率R表示在真實(shí)情況為正例的所有樣本中，預(yù)測(cè)結(jié)果也為正例的樣本所占的比率

使用場(chǎng)景:當(dāng)正例被錯(cuò)誤的預(yù)測(cè)為反例（假反例）產(chǎn)生很高的代價(jià)時(shí)，用查全率，因?yàn)楦卟槿室馕吨图俜绰?假陰性．比如說(shuō)在銀行的欺詐檢測(cè)或醫(yī)院的病患者檢測(cè)中，如果將欺詐性交易（實(shí)際為正）預(yù)測(cè)為非欺詐性交易（預(yù)測(cè)為負(fù)），則可能會(huì)給銀行帶來(lái)非常嚴(yán)重的損失。再比如以最近的新冠疫情為例，如果一個(gè)患病者（實(shí)際為正）經(jīng)過(guò)試劑檢測(cè)被預(yù)測(cè)為沒(méi)有患?。A(yù)測(cè)為負(fù)），這樣的假反例或者說(shuō)假陰性產(chǎn)生的風(fēng)險(xiǎn)就非常大．

F1 Score

F1是查準(zhǔn)率和查全率的一個(gè)加權(quán)平均，根據(jù)wikipedia給出的解釋?zhuān)現(xiàn)1 Score表達(dá)式如下

F1把假反例和假正例都考慮在內(nèi)，它不像Accuracy這么容易理解，但是F1比Accuracy更適用，尤其是當(dāng)你的數(shù)據(jù)集類(lèi)別分布不均衡時(shí)．比如說(shuō)你的樣本中正樣本:負(fù)樣本 = 100:1.

當(dāng)假正例和假反例造成的代價(jià)差不多的時(shí)候直接用Accuracy就可以，但是當(dāng)假正例和假反例產(chǎn)生的代價(jià)差別很大的時(shí)候，則可以考率更好的度量比如Precision，Recall和F1 Score.

reference :Accuracy, Precision, Recall & F1 Score: Interpretation of Performance Measures

Accuracy, Precision, Recall or F1?

總結(jié)

以上是生活随笔為你收集整理的机器学习--如何理解Accuracy, Precision, Recall, F1 score的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。