香農輔助定理、KL散度和Jensen不等式

• 香農輔助定理
• KL散度
• 琴生(Jensen)不等式

香農輔助定理

對于任意兩個信息數(shù)相同的信源$X$和$Y$。有
$$?\sum _{i=1}^{N}p(x_i){\log }_{2}p(x_i)\le ?\sum _{i=1}^{N}p(x_i){\log }_{2}p(y_i)$$
其中${\sum }_{i=1}^{N}p(x_i)={\sum }_{i+1}^{N}p(y_i)=1$

通俗的來說，任一概率分布對其他概率分布的自信息量取數(shù)學期望，必大于等于本身的熵，當且僅當$X$和$Y$的概率分布完全相同時取等號。不等式的左邊是$X$的信源熵，即無損壓縮條件下的最短平均編碼長度。不等式的右側，以信源$Y$的概率分布$p(y)$得到的最優(yōu)編碼，來為概率分布為$p(x)$的信源$X$的字符進行編碼而計算得的平均碼長。

KL散度

KL散度又稱為相對熵，是用來體現(xiàn)兩個概率分布之間差別的非對稱性度量，即$KL(P||Q)=KL(Q||P)$。相對熵可以作為一些優(yōu)化算法的損失函數(shù)來度量模型概率分布和真實分布之間的差距。
設$P(x)$和$Q(x)$是隨機變量$X$上的兩個概率分布，則在離散和連續(xù)的情況下，KL散度的定義為：
$$\begin{gathered} KL(P||Q)=\sum P(x)\ln \frac{P(x)}{Q(x)} \\ KL(P||Q)=\int P(x)\ln \frac{P(x)}{Q(x)}dx \end{gathered}$$
值得注意的是，香農輔助定理稍加變形就成為了KL散度的形式：
$$\begin{gathered} ?\sum _{i=1}^{N}p(x_i){\log }_{2}p(x_i)\le ?\sum _{i=1}^{N}p(x_i){\log }_{2}p(y_i) \\ \sum _{i=1}^{N}p(x_i){\log }_2\frac{p(x_i)}{p(y_i)}\ge 0 \\ \frac{1}{\ln 2}\times \sum _{i=1}^{N}p(x_i)\ln \frac{p(x_i)}{p(y_i)}\ge 0 \\ \sum _{i=1}^{N}p(x_i)\ln \frac{p(x_i)}{p(y_i)}\ge 0 \end{gathered}$$
所以，證明香農輔助定理等價于證明KL散度為正值。

琴生(Jensen)不等式

首先說明一點，本文所說的凸函數(shù)和凹函數(shù)采用的是國際上的習慣稱呼。以一元函數(shù)為例，曲線往下凸的函數(shù)稱為凸函數(shù)，曲線往上凸的稱為凹函數(shù)。這與國內教材的習慣相反。
Jensen不等式是關于凸函數(shù)性質的不等式，也可以類推得到關于凹函數(shù)性質的不等式。對于凸函數(shù)曲線$f(x)$而言，有
$$\begin{gathered} tf(x_1)+(1?t)f(x_2)\ge f(t{x}_1+(1?t)x_2) \\ 0\le t\le 1 \end{gathered}$$
這是Jensen不等式的兩點形式。

對于任意點集$\{x_i\}$，若${\lambda }_i\ge 0，\sum {\lambda }_i=1$，$f(x)$是凸函數(shù)，有
$$f(\sum {\lambda }_i{x}_i)\le \sum {\lambda }_{i}f(x_i)$$
此結論是Jensen不等式兩點形式的推廣，可以由數(shù)學歸納法簡單證明。當${\lambda }_i$取$p(x_i)$時，上式變?yōu)?#xff1a;
$$f(E(x))\le E(f(x))$$

應用微分的思想，可以由離散形式的Jensen不等式轉變?yōu)檫B續(xù)形式。若$\int g(x)=1,g(x)\ge 0$且$f(x)$是凸函數(shù)。有
$$f(\int g(x)h(x)dx)\le \int g(x)f(h(x))dx$$
這是Jensen不等式的一般形式，對于凹函數(shù)只需要變號即可。

應用Jensen不等式可以快速證明KL散度非負，即香農輔助定理成立，無需贅言。

總結

以上是生活随笔為你收集整理的香农辅助定理、KL散度和Jensen不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。