Jensen不等式（Jensen’s inequality）是以丹麥數(shù)學(xué)家Johan Jensen命名的，它在概率論、機(jī)器學(xué)習(xí)、測度論、統(tǒng)計(jì)物理等領(lǐng)域都有相關(guān)應(yīng)用。

在機(jī)器學(xué)習(xí)領(lǐng)域，我目前接觸到的是用Jensen不等式用來證明KL散度大于等于0（以后寫一篇文章總結(jié)一下）。

Jensen不等式是和凸函數(shù)的定義是息息相關(guān)的。

首先介紹什么是凸函數(shù)(convec function)。

凸函數(shù)

凸函數(shù)是一個定義在某個向量空間的凸子集 C（區(qū)間）上的實(shí)值函數(shù) f，如果在其定義域 C 上的任意兩點(diǎn) $x_1,x_2$ ， $0\le t\le 1$ ，有

$$tf(x_1)+(1?t)f(x_2)\ge f(t{x}_1+(1?t)x_2)\text{\hspace{1em}(1)}$$

也就是說凸函數(shù)任意兩點(diǎn)的割線位于函數(shù)圖形上方， 這也是Jensen不等式的兩點(diǎn)形式。

Jensen不等式

若對于任意點(diǎn)集$\{x_i\}$，若 ${\lambda }_i\ge 0$且 ${\sum }_i{\lambda }_i=1$ ，使用數(shù)學(xué)歸納法，可以證明凸函數(shù) $f(x)$滿足：

$$f(\sum _{i=1}^M{\lambda }_i{x}_i)\le \sum _{i=1}^M{\lambda }_{i}f(x_i)\text{\hspace{1em}(2)}$$

公式(2)被稱為 Jensen 不等式，它是式(1)的泛化形式。

證明如下：

(1) 當(dāng)$i=1，2$時，由凸函數(shù)的定義成立

(2) 假設(shè)當(dāng)$i=M$時，公式(2)成立

(3) 現(xiàn)在證明則$i=M+1$時，Jensen不等式也成立：

$$\begin{array}{rl}f(\sum _{i=1}^{M+1}{\lambda }_i{x}_i)& =f({\lambda }_{M+1}{x}_{M+1}+\sum _{i=1}^M{\lambda }_i{x}_i)\\ & =f({\lambda }_{M+1}{x}_{M+1}+（1?{\lambda }_{M+1})\sum _{i=1}^M{\eta }_i{x}_i)\end{array}\text{\hspace{1em}(3)}$$

其中

$${\eta }_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$$

由公式(1)的結(jié)論，公式(3)滿足:

$$f(\sum _{i=1}^{M+1}{\lambda }_i{x}_i)\le {\lambda }_{M+1}f(x_{M+1})+(1?{\lambda }_{M+1})f(\sum _{i=1}^{M+1}{\eta }_i{x}_i))$$

注意到 ${\lambda }_i$滿足:

$$\sum _{i=1}^{M+1}{\lambda }_i=1$$

因此：

$$\sum _{i=1}^M{\lambda }_i=1?{\lambda }_{M+1}$$

因此${\eta }_i$ 也滿足：

$$\sum _i^M{\eta }_i=\frac{{\sum }_1^M{\lambda }_i}{1?{\lambda }_{M+1}}\text{\hspace{1em}(5)}$$

由公式(2)和(5)得到：

$$\sum _i^{M}f({\eta }_i{x}_i)\le \sum _{i=1}^M{\eta }_{i}f(x_i)\text{\hspace{1em}(6)}$$

由(4)和(6)：

$$f(\sum _i^{M+1}{\lambda }_i{x}_i)\le {\lambda }_{M+1}f(x_{M+1})+(1?{\lambda }_{M+1})\sum _{i=1}^M{\eta }_{i}f(x_i)=\sum _{i=1}^{M+1}{\lambda }_{i}f(x_i)$$

因此$i=M+1$時，Jensen不等式也成立綜上，Jensen不等式成立。

在概率論中，如果把${\lambda }_i$看成取值為 $x_i$ 的離散變量 $x$ 的概率分布，那么公式(2)就可以寫成

$$f(E[x])\le E[f(x)]$$其中,$E[?]$表示期望。
對于連續(xù)變量，Jensen不等式給出了積分的凸函數(shù)值和凸函數(shù)的積分值間的關(guān)系：$$f(\int xp(x)dx)\le \int f(x)p(x)dx$$
參考文獻(xiàn)：

• [1] PRML
• [2] wikipedia Jensen’s inequality

---

• 以上內(nèi)容來自：清雅的數(shù)學(xué)筆記_Jensen不等式初步理解及證明【知乎】

總結(jié)

以上是生活随笔為你收集整理的Jensen不等式初步理解及证明的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。