散度

• KL散度
• • 定義
  • 特性
  • 公式
  • • • 離散
      • 連續(xù)
  • 機(jī)器學(xué)習(xí)
• JS散度
• • 出現(xiàn)的原因
  • 公式
  • 特性
  • 問題
• 交叉熵（Cross Entropy）
• • 定義
  • 公式
  • 和KL散度的關(guān)系

KL散度

定義

KL(Kullback-Leibler divergence)散度用來描述兩個(gè)概率分布P和Q的差異的一種方法，也叫做相對熵(relative entropy)。

特性

1.KL具有非對稱性，即D(P||Q) ≠ D(Q||P)。

2.非負(fù)性：因?yàn)閷?shù)函數(shù)是凸函數(shù)，所以 KL散度的值為非負(fù)數(shù)。

3.KL散度不滿足三角不等式: KL(A,B) > KL(A,C)+KL(C,B)

公式

離散

連續(xù)

機(jī)器學(xué)習(xí)

在機(jī)器學(xué)習(xí)領(lǐng)域，是用來度量兩個(gè)函數(shù)的相似程度或者相近程度。

JS散度

出現(xiàn)的原因

KL散度時(shí)不對稱的，訓(xùn)練神經(jīng)網(wǎng)絡(luò)會因?yàn)椴煌捻樞蛟斐刹灰粯拥挠?xùn)練結(jié)果，為了克服這個(gè)問題，提出了JS散度。

公式

特性

1.對稱

2.非負(fù)

3.值域范圍

JS散度的值域范圍是[0,1]，相同則是0，相反為1。相較于KL，對相似度的判別更確切了。

問題

當(dāng)兩個(gè)概率分布不一樣的時(shí)候，它們的值是不是會隨著距離的變大而變大。兩個(gè)概率分布完全不一樣的時(shí)候，距離是log(2)

交叉熵（Cross Entropy）

定義

交叉熵描述了兩個(gè)概率分布之間的距離，當(dāng)交叉熵越小說明二者之間越接近。

盡管交叉熵刻畫的是兩個(gè)概率分布之間的距離，但是神經(jīng)網(wǎng)絡(luò)的輸出卻不一定是一個(gè)概率分布。為此我們常常用Softmax回歸將神經(jīng)網(wǎng)絡(luò)前向傳播得到的結(jié)果變成概率分布。

公式

在神經(jīng)網(wǎng)絡(luò)中，交叉熵可以作為損失函數(shù)，因?yàn)樗梢院饬縋和Q的相似性。

和KL散度的關(guān)系

總結(jié)

以上是生活随笔為你收集整理的KL散度、JS散度 的理解以及一些问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。