比如利用相對熵進行分類或者是利用相對熵來衡量兩個隨機分布的差距，當兩個隨機分布相同時，其相對熵為0.當兩個隨機分布的差別增加時，器相對熵也增加。我們下面的實驗是為了橫量概率分布的差異。

方法：

D（p//q）=sum(p(x)*log(p(x)/q(x)))。其中p(x)和q(x)為兩個概率分布

約定 0*log(0/q(x))=0;p(x)*log(p(x)/0)=infinity;

?

D（p//q） 與 D（q//p） 無對稱性

總結

以上是生活随笔為你收集整理的KL距离 相对熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。