KL散度

KL-divergence(Kullback–Leibler divergence)，KL散度，KL距離，又叫相對熵(relative entropy)，衡量兩個概率分布之間的不同程度，是描述兩個概率分布P和Q差異的一種方法

就是信息論學的相對熵

最簡單的情況：當KL-divergence為0時，兩個分布完全相同。

P和Q越相似，KL散度越小

KL散度的取值范圍是[0,+∞]

KL divergence是非負的，不對稱的

KL散度計算過程相對熵（KL散度）計算過程_手撕機的博客-CSDN博客_kl散度計算

雙向KL散度

在R-Dropout中有出現，由于 KL 散度本身具有不對稱性(即KL(P|Q)不等于KL(Q|P))，作者通過交換這兩種分布的位置以間接使用整體對稱的 KL 散度，論文中稱之為雙向 KL 散度

JS散度

JS散度是基于KL散度的變體，解決了KL散度非對稱的問題

同樣是二者越相似，JS散度越小。

• JS散度的取值范圍在0-1之間，完全相同時為0
• JS散度是對稱的

總結

以上是生活随笔為你收集整理的KL散度(双向KL散度) JS散度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。