信息論是應用數學的一個分支,主要研究的是對一個信號包含信息的多少進行量化。

信息論的基本想法是一個不太可能的事件居然發生了,要比一個非常可能的事件發生,能提供更多的信息。消息說:‘‘今天早上太陽升起’’ 信息量是如此之少以至于沒有必要發送,但一條消息說:‘‘今天早上有日食’’ 信息量就很豐富。

熵由 (p ? 1) log(1 ? p) ? p log p 給出。當 p 接近 0 時,分布幾乎是確定的,因為隨機變量幾乎總是0。當 p 接近 1 時,分布也幾乎是確定的,因為隨機變量幾乎總是 1。當 p = 0.5 時,熵是最大的,因為分布在兩個結果(0 和 1)上是均勻的.

Logistic Regression:

總結

以上是生活随笔為你收集整理的信息论-Shannon entropy-Kullback-Leibler (KL) divergence-cross-entropy的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。