文章目錄

• 1 準(zhǔn)確率Mean average precision
• • 1.1 定義
  • 1.2 計(jì)算
• 2 NDCG(Normalized Discounted Cumulative Gain)
• • 2.1定義
  • 2.2 例子

1 準(zhǔn)確率Mean average precision

1.1 定義

Precision at position k (P@k)是一個(gè)衡量排名前k位的方法，使用兩個(gè)級(jí)別(相關(guān)的和不相關(guān))的相關(guān)性判斷。公式：
$P@k=\frac{1}{k}{\sum }_{j=1}^k{r}^j$
k是一個(gè)截?cái)辔恢?br /> $r_j=1$,如果第j個(gè)位置的文檔是相關(guān)的。
$r_j=0$,否則。

平均準(zhǔn)確率 average precision

$AP=\frac{1}{|D_{+}|}{\sum }_{j=1}^N{r}_{j}P@j$

$|D_{+}|$是關(guān)于查詢的相關(guān)文檔的數(shù)量，也可以認(rèn)為相當(dāng)于相當(dāng)查詢的標(biāo)準(zhǔn)答案的相關(guān)文檔數(shù)量。
j是排序后的文檔結(jié)果。
一般來(lái)說(shuō)會(huì)有很多個(gè)query參與到訓(xùn)練集中。所以要取平均值： Mean average precision。
這個(gè)評(píng)價(jià)指標(biāo)是基于二維的：相關(guān)、不相關(guān)。

1.2 計(jì)算

舉個(gè)例子，現(xiàn)有一個(gè)query，與之相關(guān)的文檔有4——D1,D2,D3,D4，用rank方法檢索后，D2,D3,D4的排序分別是1，3，5，D1沒有搜索到。也就是說(shuō)rank后的結(jié)果:D2,D5,D3,D6,D4。D5，D6是不相關(guān)文檔。
那么AP = $\frac{1}{4}$(P@1+P@3+P@5)
$P@1=\frac{1}{1}=1$

$P@3=\frac{2}{3}$,k=3,從1到3，相關(guān)文檔有2個(gè)。

$P@5=\frac{3}{5}$,k=5,從1到5，相關(guān)文檔有3個(gè)。

那么AP = （1/1 + 2/3 + 3/5）/ 4=0.57

2 NDCG(Normalized Discounted Cumulative Gain)

2.1定義

NDCG(Normalized Discounted Cumulative Gain) 歸一化折損累計(jì)增益。

$NDCG@k=\frac{DCG@k}{IDCG@k}$

$DCG@K={\sum }_{j=1}^{k}g(r_j)d(j)$, $g(r_j)=2^{r_j}?1$,
$d(j)=1,2$,j=1,2
$d(j)=\frac{1}{lo{g}_2(j)}$,其他情況
也有一種寫法是：$DCG@K={\sum }_{j=1}^k\frac{2^{r_j}?1}{lo{g}_2(j+1)}$

這個(gè)計(jì)算公式可以針對(duì)多種分類級(jí)別。例如$r_j=3,2,1,0$。而且是包含了位置影響因素。相關(guān)性高的，排在前面會(huì)使得整體NDCG分值變大。

IDCG@k為理想情況下最大的DCG值：
$IDCG@k={\sum }_{j=1}^k\frac{2^{idea{l}_i}?1}{lo{g}_2(j+1)}$

2.2 例子

假設(shè)對(duì)于某一個(gè)query，本次搜索召回5個(gè)文檔，其關(guān)聯(lián)分?jǐn)?shù)分別為 3、2、3、0、1、2。

j$2^{r_j}?1$$lo{g}_2(j+1)$res

1	3	1	3
2	2	1.58	1.26
3	3	2	1.5
4	0	2.32	0
5	1	2.58	0.38
6	2	2.8	0.71

所以 DCG = 3+1.26+1.5+0+0.38+0.71 = 6.86

接下來(lái)計(jì)算IDCG。假設(shè)這個(gè)query的相關(guān)文檔有6個(gè)，相關(guān)性分?jǐn)?shù)為：3、3、3、2、2、1。

j$g(r_j)$d(j)res

1	3	1	3
2	3	1.58	1.89
3	3	2	1.5
4	2	2.32	0.86
5	2	2.58	0.77
6	1	2.8	0.35

所以IDCG = 3+1.89+1.5+0.86+0.77+0.35 = 8.37
最終 NDCG@6 = 6.86/8.37 = 81.96%

參考鏈接：https://www.cnblogs.com/by-dream/p/9403984.html https://blog.csdn.net/zimohuakai/article/details/6847453
《LETOR: A benchmark collection for research on learning to rank for information retrieval》

總結(jié)

以上是生活随笔為你收集整理的learning to rank评价指标的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。