離散信源最大熵證明

我們都知道對(duì)于單符號(hào)離散信源，信源熵H(X)最大的條件是：X滿足均勻分布。

準(zhǔn)備工作 $H(X)=?{\sum }_{i=1}^{n}p(x_i)?log(p(x_i))$…(1)

公式(1) 是信源熵的公式，其中，‘n’ 表示信源發(fā)送符號(hào)的類型數(shù)量，’$p(x_i)$’ 表示發(fā)送符號(hào)’$x_i$’ 的概率。

已知條件：

$p(x_i)>0$ … （2）
${\sum }_{i=1}^{n}p(x_i)=1$ … （3）

目標(biāo)：

$max\{H(X)\}$

開始證明

令

$f(x)=?x?log(x)$… (4)

其中$x>0，{\sum }_{i=1}^{n}x=1$,條件與公式（2）、（3）相同。

對(duì)$f(x)$求二階導(dǎo)數(shù)，得

$f\prime \prime (x)=?\frac{1}{x}<0$ …(5)

二階導(dǎo)數(shù)小于零，則該函數(shù)是凹函數(shù)，凹函數(shù)有一條性質(zhì)：

$f(\frac{x_1+x_2}{2})\ge \frac{f(x_1)+f(x_2)}{2}$…(6)

將公式（6）拓展一下可得：

$f(\frac{x_1+x_2+?+x_n}{n})\ge \frac{f(x_1)+f(x_2)+?+f(x_n)}{n}$…(7)

這個(gè)公式也叫琴生不等式（Jensen Inequality）。

公式（6）、（7）去等號(hào)的條件是：

$x_1=x_2=?=x_x$…(8)

好了，現(xiàn)在將公式（1）改寫成

$H(x)=f(p(x_1))+f(p(x_2))+?+f(p(x_n))$ $\le n?f(\frac{p(x_1)+p(x_2)+?+p(x_n)}{n})$

當(dāng)且僅當(dāng)

$p(x_1)=p(x_2)=?=p(x_n)$時(shí)，等號(hào)成立。

所以，當(dāng)單符號(hào)離散信源等概率發(fā)送符號(hào)時(shí)，信源熵最大。

總結(jié)

以上是生活随笔為你收集整理的离散信源最大熵证明的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。