相對熵（relative entropy），又被稱為 KL散度、Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是兩個概率分布（probability distribution）間差異的非對稱性度量 。在信息理論中，相對熵等價于兩個概率分布的信息熵（Shannon entropy）的差值

相對熵是兩個概率分布P和Q差別的非對稱性的度量。 相對熵是用來度量使用基于Q的分布來編碼服從P的分布的樣本所需的額外的平均比特數(shù)。典型情況下，P表示數(shù)據(jù)的真實分布，Q表示數(shù)據(jù)的理論分布、估計的模型分布、或P的近似分布。
設(shè) 是隨機變量 上的兩個概率分布，則在離散和連續(xù)隨機變量的情形下，相對熵的定義分別為 ：



相對熵可以衡量兩個隨機分布之間的距離，當(dāng)兩個隨機分布相同時，它們的相對熵為零，當(dāng)兩個隨機分布的差別增大時，它們的相對熵也會增大。所以相對熵可以用于比較文本的相似度，先統(tǒng)計出詞的頻率，然后計算相對熵。另外，在多指標(biāo)系統(tǒng)評估中，指標(biāo)權(quán)重分配是一個重點和難點，也通過相對熵可以處理

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的AI理论知识基础（26）-相对熵,KL散度的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。