以前寫過一篇關于最大熵模型的讀書筆記。剛翻陳家鼎和鄭忠國兩位老師合編的教材《概率與統計》（北大出版社，2007），看到關于信息熵的詳細數學表述，不妨轉述一下，算是不在場的課堂筆記。

概率與信息

事件A的概率P(A)是A發生可能性的大小的度量。

問題：A的發生帶給我們多大的信息呢？

結論

P(A)越大，則A發生帶來的信息越少；反之，P(A)越小，則A的發生帶來的信息越大。

例子:有人對你說“某日巴西足球隊戰勝了中國隊”，你覺得他沒有給你多少信息，因為這件事發生的概率非常大，結果幾乎在預料當中。但如果他說巴西負于某個亞洲隊，你會感覺得到的信息不少。

猜想

事件A發生所帶來的信息量H(A)應該是它發生的概率P(A)的嚴格減函數，而且A是必然事件時H(A)=0（“巴西隊戰勝中國隊”）。

若事件A與事件B相互獨立，則A與B都發生帶來的信息量應該是H(A)與H(B)之和，即H(AB)=H(A)+H(B)。

引理1—H(u)=-clnu

設H(u)是(0,1]上的嚴格減函數，H(1)=0，則為了滿足H(uv)=H(u)+H(v)，對一切0<1,必須且只需存在c>0，使得H(u)=-clnu,寫得更清楚些是—c*ln(u)。

（這里c是一個正的常數，它的大小涉及信息量的單位。為簡單起見，一般取c=1）

定義1—信息量的表示

設事件A的概率是P(A)，P(A)>0,則稱H(A)=-lnP(A)為A帶來的信息量。

定義2—完備事件組的熵

設A1到An(n>=2)是條件S下的完備事件組，P(Ai)>0,對i=1，…n，則稱P(A1…An)=-sumP(Ai)lnP(Ai)，為完備事件組A1…An的熵。

定理1—事件有相等的概率時結果的不確定性最大

設A1到An(n>=2)是完備事件組，則當且僅當P(A1)=…P(An)時熵最大。

即，若條件S下可能發生的互不相容的事件至少有兩個，則當且僅當這些事件有相等的概率時結果的不確定性最大。

轉自： http://johnthu.spaces.live.com/blog/cns!2053CD511E6D5B1E!318.entry

總結

以上是生活随笔為你收集整理的概率、信息和熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。