文章目錄

• • • 連續(xù)熵（無(wú)窮大）
    • 微分熵（相對(duì)熵）
    • 常見(jiàn)約束下信源的最大相對(duì)熵

信源輸出的消息是時(shí)間和取值都連續(xù)的隨機(jī)函數(shù)，連續(xù)信源可以用一個(gè)隨機(jī)過(guò)程{x(t)}表示，其輸出的消息是隨機(jī)過(guò)程{x(t)}中的一個(gè)樣本函數(shù)。我們可以用概率密度的形式來(lái)進(jìn)行描述：

$[X\square P]:\{\begin{array}{ll}X:& [\mathrm{a},\mathrm{b}](\text{?或?}\mathrm{R})\\ P(X)& \mathrm{p}(\mathrm{x})\end{array}$
由概率密度函數(shù) $p(x)$ 就可確定單維連續(xù)信源 X的概率分布:
$\mathrm{F}\left(x_1\right)=P\left\{X\le x_1\right\}={\int }_a^{x_1}p(x)dx$
且 ${\int }_a^{b}p(x)dx=1$

連續(xù)熵（無(wú)窮大）

因?yàn)檫B續(xù)信源是連續(xù)的，分析它的時(shí)候，我們對(duì)它的分割是有無(wú)窮多種的，所以無(wú)窮大是合理的。

微分熵（相對(duì)熵）

$h(X)=?{\int }_a^{b}p(x)\log p(x)dx$，相對(duì)熵不具有信息的內(nèi)涵，它在單維連續(xù)信道中的平均交互信息量中有作用。單維連續(xù)信源的信息熵是無(wú)限大的正數(shù)，相對(duì)熵是其中確定值的一部分，可以計(jì)算。

我們暫時(shí)用它比較兩個(gè)連續(xù)信源的不確定性。

性質(zhì)：不具有非負(fù)性

常見(jiàn)約束下信源的最大相對(duì)熵

峰值功率受限最大相對(duì)熵定理：對(duì)于峰值功率受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度是均勻分布時(shí)，相對(duì)熵達(dá)到最大值。

比如：輸出信號(hào)的瞬間電壓受限

均值受限信源的最大相對(duì)熵定理：對(duì)于輸出消息非負(fù)且均值受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度函數(shù)為單邊指數(shù)分布時(shí)，相對(duì)熵達(dá)到最大值。

平均功率受限信源的最大相對(duì)熵定理：若單維連續(xù)信源輸出信號(hào)的平均功率限定為P，則其輸出消息的概率密度函數(shù)為高斯分布時(shí)，相對(duì)熵達(dá)到最大值

總結(jié)

以上是生活随笔為你收集整理的信息论2——单维连续信源的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。