熵的公理化定義的提出

$\begin{array}{l}若對(duì)稱函數(shù)序列H_m(p_1,p_2,...,p_m)滿足下列性質(zhì)\\ (1)標(biāo)準(zhǔn)化:H_2\frac{1}{2}\frac{1}{2}=1\\ (2)連續(xù)性:H_2(p,1?p)為p的連續(xù)函數(shù)\\ (3)組合法則：H_m(p_1,p_2,...,p_m)=H_{m?1}(p_1+p_2,...,p_m)+(p_1+p_2)H_2(\frac{p_1}{p_1+p_2},\frac{p_2}{p_1+p_2})\end{array}$

熵的公理化定義的推導(dǎo)

由上述熵的性質(zhì)可做如下推導(dǎo)：
$\begin{array}{l}X～U,g(MN)=f\underset{MN}{(\frac{1}{MN},\frac{1}{MN}...,\frac{1}{MN})}=f(\frac{1}{M},\frac{1}{M},...,\frac{1}{M})+\sum _{i=1}^M\frac{1}{M}f(\frac{1}{N},\frac{1}{N},...,\frac{1}{N})\\ =g(M)+g(N)\end{array}$

$\begin{array}{l}g(s^m)\le g(t^n)<g(s^{m+1})?mg(s)\le ng(t)<(m+1)g(s)\\ \frac{m}{n}\le \frac{g(t)}{g(s)}<\frac{m+1}{n}?|\frac{m}{n}?\frac{g(t)}{g(s)}|\le \frac{1}{n}\\ n\log s\le n\log t<(m+1)\log s\\ |\frac{m}{n}?\frac{n\log t}{n\log s}|\le \frac{1}{n}?|\frac{g(t)}{g(s)}?\frac{n\log t}{n\log s}|\le \frac{2}{n}\\ n\to \infty ,\frac{g(t)}{g(s)}\to \frac{\log t}{\log s}?g(x)=\alpha \log (x)\\ p(n)=\frac{m_n}{M}\end{array}$

進(jìn)一步推出

$\therefore g(M)=f\underset{m_n}{(\frac{1}{M},\frac{1}{M}...,\frac{1}{M})}=f(p_1,p_2,...,p_N)+\sum _{i=1}^M\frac{m_n}{M}g(m_n)$
$\begin{array}{l}f(p_1,p_2,...,p_N)=g(M)?\sum _{i=1}^M{p}_{i}g(m_i)\\ =\alpha \log (M)?\sum _{i=1}^M{p}_i\alpha \log (m_i)\\ =?\alpha \sum _{i=1}^M{p}_i[\log (m_i)?\log (M)]\\ =?\alpha \sum p_i\log p_i\\ 由H(\frac{1}{2},\frac{1}{2})=1，可取常數(shù)\alpha =1\\ 因此熵的形式可以寫成H_m(p_1,p_2,...,p_m)=?\sum _{i=1}^m{p}_i\log p_i,m=2,3,...\end{array}$
**

有關(guān)信息量的描述形式的推導(dǎo)

**：
我們知道用概率描述信息量的時(shí)候，滿足以下條件：
（1） 事件發(fā)生的概率越大，信息量越小；
（2） 事件發(fā)生的概率越小，信息量越大；
（3） 兩個(gè)事件同時(shí)發(fā)生的信息量等于兩個(gè)事件的信息量之和。
用數(shù)學(xué)語言，描述為
設(shè)f(x)為事件A發(fā)生時(shí)所攜帶的信息量，x為事件A發(fā)生的概率，則
$\begin{array}{l}\underset{x\to \infty }{\lim }f(x)=+\infty ,f(1)=0,f(x_1{x}_2)=f\left(x_1\right)+f\left(x_2\right),x_1,x_2\in (0,1]\\ f(xy)=f(x)+f(y)\end{array}$

我們對(duì)上述方程進(jìn)行求解

$x=y=1,f(1)=f(1)+f(1)?f(1)=0$

由牛頓萊布尼茲公式可得

$\begin{array}{l}f(1)?f(x)={\int }_x^1{f}^{\prime }(t)dt={\int }_x^1\frac{f(t+dt)?f(t)}{dt}dt={\int }_x^1\frac{f(t\frac{t+dt}{t})?f(t)}{dt}dt\\ ={\int }_x^1\frac{f(t)+f(1+\frac{dt}{t})?f(t)}{dt}dt\\ ={\int }_x^1\frac{f(1+\frac{dt}{t})?f(1)}{dt}dt\\ ={\int }_x^1\frac{1}{t}\frac{f(1+\frac{dt}{t})?f(1)}{\frac{dt}{t}}dt\\ \Delta t\to 0,f(1)?f(x)={\int }_x^1\frac{1}{t}{f}^{\prime }(1)dt?0?f(x)=f^{\prime }(1){\int }_x^1\frac{1}{t}{f}^{\prime }(1)dt\\ ?f(x)=?f^{\prime }(1)\ln x\\ ?f(x)=?\frac{f^{\prime }(1)}{{\log }_{a}e}{\log }_{a}x\end{array}$
其實(shí)這個(gè)縮放系數(shù)可以理解為信息量的單位，不影響信息量的本質(zhì)計(jì)算。因此，我們把信息量的函數(shù)表達(dá)式寫成取對(duì)數(shù)求和的形式。

總結(jié)

以上是生活随笔為你收集整理的熵的公理化定义的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。