PR曲線及F1 score

• Pecision 和 Recall
• PR曲線
• • PR曲線的繪制
  • PR曲線的性能比較
• F1 score
• • F1 的一般形式
  • macro-F1
  • micro-F1

Pecision 和 Recall

首先，我們把數據和對應的標簽稱為一個example。
在二分類問題中，example可分為真正例（true positive），假正例（fake positive），真反例（true negative），假反例（fake negative）
下面這個矩陣稱為混淆矩陣。

precision 和 recall的計算公式如下：

PR曲線

PR曲線的繪制

預測結果按照最有可能是正例的樣本到最不可能是正例的樣本的順序排序。

把每個樣本作為正例進行預測，計算出P和R。

以R作為橫軸，P為縱軸

對上述進行解釋：
a) 設置一個從高到低的閾值，大于等于閾值的認為正例，小于閾值的認為負例。
b) 有n個樣本, score是分類器對于樣本屬于正例的可能性的打分。
c) n個閾值，就得到n種標注結果，n對（P，R）。
d) 將n對（P，R）在圖上表示出來，就是PR曲線。

PR曲線如下圖所示，但實際上PR曲線是非單調的，不平滑的，在局部有很多波動。

PR曲線的性能比較

不同的方法得到的PR曲線不同。
由上圖可以看到A的性能好于C，A和B發生交叉，只通過曲線不好判斷，要在具體的P或R下進行比較。

為了綜合評價性能，提出兩種度量方法：

平衡點（P=R），可見A的平衡點高于B，因此A>B

F1 score
這個公式稱為F1是標準形式。

F1 score

F1 的一般形式

不同的應用對P，R的重視程度不同，F1的表現形式也會的發生變化。
其中 β 度量R對P的相對重要性。

β=1 F1的標準形式

β>1 R的影響大

β<1 P的影響大

macro-F1

進行多次訓練測試時，每次得到一個混淆矩陣，或者執行多分類任務時，估計算法的全局性能。
總之，在n個二分類混淆矩陣上綜合考察PR。
計算每個混淆矩陣的P，R，這樣就得到(P1, R1 ),(P2,R2 ),…,(Pn, Rn )
計算平均值，就得到了macro-P, macro-R,macro-F1

micro-F1

總結

以上是生活随笔為你收集整理的机器学习：PR曲线及F1 score的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。