離散信源最大熵證明

我們都知道對于單符號離散信源，信源熵H(X)最大的條件是：X滿足均勻分布。

準備工作 $H(X)=?{\sum }_{i=1}^{n}p(x_i)?log(p(x_i))$…(1)

公式(1) 是信源熵的公式，其中，‘n’ 表示信源發送符號的類型數量，’$p(x_i)$’ 表示發送符號’$x_i$’ 的概率。

已知條件：

$p(x_i)>0$ … （2）
${\sum }_{i=1}^{n}p(x_i)=1$ … （3）

目標：

$max\{H(X)\}$

開始證明

令

$f(x)=?x?log(x)$… (4)

其中$x>0，{\sum }_{i=1}^{n}x=1$,條件與公式（2）、（3）相同。

對$f(x)$求二階導數，得

$f\prime \prime (x)=?\frac{1}{x}<0$ …(5)

二階導數小于零，則該函數是凹函數，凹函數有一條性質：

$f(\frac{x_1+x_2}{2})\ge \frac{f(x_1)+f(x_2)}{2}$…(6)

將公式（6）拓展一下可得：

$f(\frac{x_1+x_2+?+x_n}{n})\ge \frac{f(x_1)+f(x_2)+?+f(x_n)}{n}$…(7)

這個公式也叫琴生不等式（Jensen Inequality）。

公式（6）、（7）去等號的條件是：

$x_1=x_2=?=x_x$…(8)

好了，現在將公式（1）改寫成

$H(x)=f(p(x_1))+f(p(x_2))+?+f(p(x_n))$ $\le n?f(\frac{p(x_1)+p(x_2)+?+p(x_n)}{n})$

當且僅當

$p(x_1)=p(x_2)=?=p(x_n)$時，等號成立。

所以，當單符號離散信源等概率發送符號時，信源熵最大。

總結

以上是生活随笔為你收集整理的离散信源最大熵证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。