香農輔助定理、KL散度和Jensen不等式

• 香農輔助定理
• KL散度
• 琴生(Jensen)不等式

香農輔助定理

對于任意兩個信息數相同的信源$X$和$Y$。有
$$?\sum _{i=1}^{N}p(x_i){\log }_{2}p(x_i)\le ?\sum _{i=1}^{N}p(x_i){\log }_{2}p(y_i)$$
其中${\sum }_{i=1}^{N}p(x_i)={\sum }_{i+1}^{N}p(y_i)=1$

通俗的來說，任一概率分布對其他概率分布的自信息量取數學期望，必大于等于本身的熵，當且僅當$X$和$Y$的概率分布完全相同時取等號。不等式的左邊是$X$的信源熵，即無損壓縮條件下的最短平均編碼長度。不等式的右側，以信源$Y$的概率分布$p(y)$得到的最優編碼，來為概率分布為$p(x)$的信源$X$的字符進行編碼而計算得的平均碼長。

KL散度

KL散度又稱為相對熵，是用來體現兩個概率分布之間差別的非對稱性度量，即$KL(P||Q)=KL(Q||P)$。相對熵可以作為一些優化算法的損失函數來度量模型概率分布和真實分布之間的差距。
設$P(x)$和$Q(x)$是隨機變量$X$上的兩個概率分布，則在離散和連續的情況下，KL散度的定義為：
$$\begin{gathered} KL(P||Q)=\sum P(x)\ln \frac{P(x)}{Q(x)} \\ KL(P||Q)=\int P(x)\ln \frac{P(x)}{Q(x)}dx \end{gathered}$$
值得注意的是，香農輔助定理稍加變形就成為了KL散度的形式：
$$\begin{gathered} ?\sum _{i=1}^{N}p(x_i){\log }_{2}p(x_i)\le ?\sum _{i=1}^{N}p(x_i){\log }_{2}p(y_i) \\ \sum _{i=1}^{N}p(x_i){\log }_2\frac{p(x_i)}{p(y_i)}\ge 0 \\ \frac{1}{\ln 2}\times \sum _{i=1}^{N}p(x_i)\ln \frac{p(x_i)}{p(y_i)}\ge 0 \\ \sum _{i=1}^{N}p(x_i)\ln \frac{p(x_i)}{p(y_i)}\ge 0 \end{gathered}$$
所以，證明香農輔助定理等價于證明KL散度為正值。

琴生(Jensen)不等式

首先說明一點，本文所說的凸函數和凹函數采用的是國際上的習慣稱呼。以一元函數為例，曲線往下凸的函數稱為凸函數，曲線往上凸的稱為凹函數。這與國內教材的習慣相反。
Jensen不等式是關于凸函數性質的不等式，也可以類推得到關于凹函數性質的不等式。對于凸函數曲線$f(x)$而言，有
$$\begin{gathered} tf(x_1)+(1?t)f(x_2)\ge f(t{x}_1+(1?t)x_2) \\ 0\le t\le 1 \end{gathered}$$
這是Jensen不等式的兩點形式。

對于任意點集$\{x_i\}$，若${\lambda }_i\ge 0，\sum {\lambda }_i=1$，$f(x)$是凸函數，有
$$f(\sum {\lambda }_i{x}_i)\le \sum {\lambda }_{i}f(x_i)$$
此結論是Jensen不等式兩點形式的推廣，可以由數學歸納法簡單證明。當${\lambda }_i$取$p(x_i)$時，上式變為：
$$f(E(x))\le E(f(x))$$

應用微分的思想，可以由離散形式的Jensen不等式轉變為連續形式。若$\int g(x)=1,g(x)\ge 0$且$f(x)$是凸函數。有
$$f(\int g(x)h(x)dx)\le \int g(x)f(h(x))dx$$
這是Jensen不等式的一般形式，對于凹函數只需要變號即可。

應用Jensen不等式可以快速證明KL散度非負，即香農輔助定理成立，無需贅言。

總結

以上是生活随笔為你收集整理的香农辅助定理、KL散度和Jensen不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。