目錄

? ? ? ? ? ? ? ? ??1. KL散度

2. JS散度(Jensen-Shannon)

3. Wasserstein距離

---

1. KL散度

KL散度又稱為相對熵，信息散度，信息增益。KL散度是是兩個概率分布?P?和?Q? 之間差別的非對稱性的度量。 KL散度是用來 度量使用基于?Q?的編碼來編碼來自?PP?的樣本平均所需的額外的位元數(shù)。 典型情況下，P?表示數(shù)據(jù)的真實分布，Q?表示數(shù)據(jù)的理論分布，模型分布，或?P?的近似分布。?

定義如下：

因為對數(shù)函數(shù)是凸函數(shù)，所以KL散度的值為非負數(shù)。

有時會將KL散度稱為KL距離，但它并不滿足距離的性質(zhì)：

KL散度不是對稱的，即?

KL散度不滿足三角不等式。

2. JS散度(Jensen-Shannon)

JS散度度量了兩個概率分布的相似度，基于KL散度的變體，解決了KL散度非對稱的問題。一般地，JS散度是對稱的，其取值是?0?到?1?之間。定義如下：

KL散度和JS散度度量的時候有一個問題：

如果兩個分布?P,Q 離得很遠，完全沒有重疊的時候，那么KL散度值是沒有意義的，而JS散度值是一個常數(shù)。這在學(xué)習(xí)算法中是比較致命的，這就意味這這一點的梯度為?0。梯度消失了。

3. Wasserstein距離

Wasserstein距離度量兩個概率分布之間的距離，定義如下：

　　

總結(jié)

以上是生活随笔為你收集整理的KL散度、JS散度、Wasserstein距离的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。