??? 若信源有 m 種消息，且每個消息是以相等可能產(chǎn)生的，則該信源的信息量可以表示如下： ?

?????????

??? 但是很多情況，事件出現(xiàn)的概率是不一樣的。事件出現(xiàn)的概率越小，信息量越大。此時信息量的計算公式如下：

???????? ?? Xi 表示一個發(fā)生珠事件， P 表示這個事件發(fā)生的先驗概率。所謂先驗概率，就是這個事件按照常理，按照一般性規(guī)律發(fā)生的概率

?? 比如中國乒乓球隊和巴西乒乓球隊交手64次，其中中國獲勝63次，則 63/64是賽前普遍認可的中國隊獲勝的概率，則先驗概率。那么：

?? 中國隊獲勝的信息量是：?

?? 巴西獲勝的信息量是：?

?

轉(zhuǎn)載于:https://www.cnblogs.com/langfanyun/p/9894416.html

總結(jié)

以上是生活随笔為你收集整理的机器学习 -- 信息论的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。