相對(duì)熵（relative entropy），又被稱為 KL散度、Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是兩個(gè)概率分布（probability distribution）間差異的非對(duì)稱性度量 。在信息理論中，相對(duì)熵等價(jià)于兩個(gè)概率分布的信息熵（Shannon entropy）的差值

相對(duì)熵是兩個(gè)概率分布P和Q差別的非對(duì)稱性的度量。 相對(duì)熵是用來度量使用基于Q的分布來編碼服從P的分布的樣本所需的額外的平均比特?cái)?shù)。典型情況下，P表示數(shù)據(jù)的真實(shí)分布，Q表示數(shù)據(jù)的理論分布、估計(jì)的模型分布、或P的近似分布。
設(shè) 是隨機(jī)變量 上的兩個(gè)概率分布，則在離散和連續(xù)隨機(jī)變量的情形下，相對(duì)熵的定義分別為 ：



相對(duì)熵可以衡量?jī)蓚€(gè)隨機(jī)分布之間的距離，當(dāng)兩個(gè)隨機(jī)分布相同時(shí)，它們的相對(duì)熵為零，當(dāng)兩個(gè)隨機(jī)分布的差別增大時(shí)，它們的相對(duì)熵也會(huì)增大。所以相對(duì)熵可以用于比較文本的相似度，先統(tǒng)計(jì)出詞的頻率，然后計(jì)算相對(duì)熵。另外，在多指標(biāo)系統(tǒng)評(píng)估中，指標(biāo)權(quán)重分配是一個(gè)重點(diǎn)和難點(diǎn)，也通過相對(duì)熵可以處理

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的AI理论知识基础（26）-相对熵,KL散度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。