JS散度相似度衡量指標(biāo)。

https://blog.csdn.net/wateryouyo/article/details/52831115

https://blog.csdn.net/FrankieHello/article/details/80614422?utm_source=copy

KL散度、JS散度和交叉熵

三者都是用來衡量?jī)蓚€(gè)概率分布之間的差異性的指標(biāo)。不同之處在于它們的數(shù)學(xué)表達(dá)。

對(duì)于概率分布P(x)和Q(x)

1）KL散度（Kullback–Leibler divergence）

又稱KL距離，相對(duì)熵。

當(dāng)P(x)和Q(x)的相似度越高，KL散度越小。

KL散度主要有兩個(gè)性質(zhì)：

（1）不對(duì)稱性

盡管KL散度從直觀上是個(gè)度量或距離函數(shù)，但它并不是一個(gè)真正的度量或者距離，因?yàn)樗痪哂袑?duì)稱性，即D(P||Q)!=D(Q||P)。

（2）非負(fù)性

相對(duì)熵的值是非負(fù)值，即D(P||Q)>0。

2）JS散度（Jensen-Shannon divergence）

JS散度也稱JS距離，是KL散度的一種變形。

但是不同于KL主要又兩方面：

（1）值域范圍

JS散度的值域范圍是[0,1]，相同則是0，相反為1。相較于KL，對(duì)相似度的判別更確切了。

（2）對(duì)稱性

即 JS(P||Q)=JS(Q||P)，從數(shù)學(xué)表達(dá)式中就可以看出。

3）交叉熵（Cross Entropy）

在神經(jīng)網(wǎng)絡(luò)中，交叉熵可以作為損失函數(shù)，因?yàn)樗梢院饬縋和Q的相似性。

交叉熵和相對(duì)熵的關(guān)系：

以上都是基于離散分布的概率，如果是連續(xù)的數(shù)據(jù)，則需要對(duì)數(shù)據(jù)進(jìn)行Probability Density Estimate來確定數(shù)據(jù)的概率分布，就不是求和而是通過求積分的形式進(jìn)行計(jì)算了。

總結(jié)

以上是生活随笔為你收集整理的JS散度(Jensen-Shannon)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。