（1）信息熵介紹：

對于連續型隨機變量，假設P為隨機變量X的概率分布，則p(x)為隨機變量X在X = x處的概率，隨機變量X在x處的香農信息量為：

?

香農信息量用于刻畫消除隨機變量X在x處的不確定性所需的信息量的大小。很容易看到：當 X = x 的概率 p (x) 比較大時，就代表此事發生的概率比較大，不確定性因素小，從而 f (P) 會比較小。如隨機事件“買了彩票卻沒中獎” 發生的概率比較大，不需要多少信息量就可以消除不確定性，因此該隨機事件的香農信息量就少。

而信息熵? H(p) 是香農信息量? -logp(x)? 的數學期望，即所有 X= x 處的香農信息量的和，由于每一個x的出現概率不一樣（用概率密度函數值p(x)衡量），需要用p(x) 加權求和。因此信息熵是用于刻畫消除隨機變量X的不確定性所需要的總體信息量的大小。

其數學定義如下：

（2）下面這篇博客介紹了交叉熵，KL散度，JS散度以及它們之間的關系，寫得很直白（補充：其中的H（X）為信息熵）結合來看，應該對這幾者之間的關系就明確了

https://blog.csdn.net/frankiehello/article/details/80614422

總結

以上是生活随笔為你收集整理的信息熵，交叉熵，KL散度，JS散度之间的关系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。