常见不等式考察(一)——Jensen不等式
- 常見不等式考察(一)——Jensen不等式
- 0. 引言
- 1. Jensen不等式定義
- 2. Jensen不等式證明
- 3. Jensen不等式的常見形式
- 1. 具體凸函數下的Jesen不等式
- 1. 冪函數
- 2. 對數函數
- 3. 指數函數
- 4. 三角函數
- 2. 連續形式下的Jensen不等式
- 3. 概率論中的Jensen不等式
- 1. 具體凸函數下的Jesen不等式
- 4. 參考鏈接
0. 引言
這兩天在看文獻的時候,突然注意到文獻中使用了Jensen不等式,然后猛地發現似乎太久不看這些東西,都已經忘得差不多了,是時候得好好復習一下這些東西了……
1. Jensen不等式定義
Jensen不等式是針對凸函數的一個常用的不等式,其定義如下:
f(λ?x1+(1?λ)?x2)≤λ?f(x1)+(1?λ)?f(x2)f(\lambda \cdot x_1 + (1-\lambda)\cdot x_2) \leq \lambda \cdot f(x_1) + (1-\lambda)\cdot f(x_2)f(λ?x1?+(1?λ)?x2?)≤λ?f(x1?)+(1?λ)?f(x2?)
上述不等式可以由凸函數的定義快速地得到,我們可以將其推廣至一般的情況,即下述表達式:
f(∑i=1nλixi)≤∑i=1nλif(xi)f(\sum_{i=1}^{n} \lambda_i x_i) \leq \sum_{i=1}^{n} \lambda_i f(x_i) f(i=1∑n?λi?xi?)≤i=1∑n?λi?f(xi?)
其中,∑i=1nλi=1\sum_{i=1}^{n} \lambda_i = 1∑i=1n?λi?=1。
而如果函數為嚴格的凹函數,則上述Jensen不等式同樣可以成立,但是符號需要反向,即修改為:
f(∑i=1nλixi)≥∑i=1nλif(xi)f(\sum_{i=1}^{n} \lambda_i x_i) \geq \sum_{i=1}^{n} \lambda_i f(x_i) f(i=1∑n?λi?xi?)≥i=1∑n?λi?f(xi?)
2. Jensen不等式證明
關于Jensen不等式的證明方法,其實網上已經有了不少的解答,不過基本都是基于數學歸納法的解答。
這里,我們來仿照網上的一些解法來自行進行一下推導。
顯然,對于n≤2n \leq 2n≤2的情況,又凸函數的定義,上述不等式是易得的。
下面,我們假設在n=kn=kn=k的情況下,不等式成立,則我們考慮n=k+1n = k+1n=k+1時的情況。
f(∑i=1k+1λi?xi)=f(∑i=1kλi?xi+λk+1?xk+1)=f((1?λk+1)?(∑i=1kλi1?λk+1?xi)+λk+1?xk+1)≤(1?λk+1)?f(∑i=1kλi1?λk+1?xi)+λk+1?f(xk+1)≤(1?λk+1)?(∑i=1kλi1?λk+1?f(xi))+λk+1?f(xk+1)=∑i=1kλi?f(xi)+λk+1?f(xk+1)=∑i=1k+1λi?f(xi)\begin{aligned} f(\sum_{i=1}^{k+1} \lambda_i \cdot x_i) & = f(\sum_{i=1}^{k} \lambda_i \cdot x_i + \lambda_{k+1} \cdot x_{k+1}) \\ & = f((1-\lambda_{k+1})\cdot (\sum_{i=1}^{k} \frac{\lambda_i}{1-\lambda_{k+1}} \cdot x_i) + \lambda_{k+1} \cdot x_{k+1}) \\ & \leq (1-\lambda_{k+1})\cdot f(\sum_{i=1}^{k}\frac{\lambda_i}{1-\lambda_{k+1}} \cdot x_i) + \lambda_{k+1} \cdot f(x_{k+1}) \\ & \leq (1-\lambda_{k+1}) \cdot (\sum_{i=1}^{k}\frac{\lambda_i}{1-\lambda_{k+1}} \cdot f(x_i)) + \lambda_{k+1} \cdot f(x_{k+1}) \\ & = \sum_{i=1}^{k} \lambda_i \cdot f(x_i) + \lambda_{k+1} \cdot f(x_{k+1}) \\ & = \sum_{i=1}^{k+1} \lambda_i \cdot f(x_i) \end{aligned} f(i=1∑k+1?λi??xi?)?=f(i=1∑k?λi??xi?+λk+1??xk+1?)=f((1?λk+1?)?(i=1∑k?1?λk+1?λi???xi?)+λk+1??xk+1?)≤(1?λk+1?)?f(i=1∑k?1?λk+1?λi???xi?)+λk+1??f(xk+1?)≤(1?λk+1?)?(i=1∑k?1?λk+1?λi???f(xi?))+λk+1??f(xk+1?)=i=1∑k?λi??f(xi?)+λk+1??f(xk+1?)=i=1∑k+1?λi??f(xi?)?
由此可見,不等式成立。
綜上,一般情況下的Jensen不等式即可證明完畢。
而同理,對于凹函數情況下的Jensen不等式,我們只需要完全仿照上述的解法即可證明。
3. Jensen不等式的常見形式
下面,我們來看一下Jensen不等式在不同場景下的一些引申表達方式以及應用。
1. 具體凸函數下的Jesen不等式
1. 冪函數
對于冪函數f(x)=xkf(x) = x^kf(x)=xk,我們有:
(∑i=1nλi?xi)k≤∑i=1nλi?xik(\sum_{i=1}^{n} \lambda_i \cdot x_i)^k \leq \sum_{i=1}^{n}\lambda_i \cdot x_i^k (i=1∑n?λi??xi?)k≤i=1∑n?λi??xik?
特別的,當所有的系數都相同時,我們即有:
(∑i=1nxin)k≤∑i=1nxikn(\frac{\sum_{i=1}^{n} x_i}{n})^k \leq \frac{\sum_{i=1}^{n}x_i^k}{n} (n∑i=1n?xi??)k≤n∑i=1n?xik??
2. 對數函數
對于對數函數,我們可以寫出對應的Jensen不等式如下:
log(∑i=1nλi?xi)≤∑i=1nλi?log(xi)log(\sum_{i=1}^{n} \lambda_i \cdot x_i) \leq \sum_{i=1}^{n} \lambda_i \cdot log(x_i) log(i=1∑n?λi??xi?)≤i=1∑n?λi??log(xi?)
特別地,當所有的系數都相同時,即有:
log(∑i=1nxin)≤1n?∑i=1nlog(xi)log(\frac{\sum_{i=1}^{n}x_i}{n}) \leq \frac{1}{n} \cdot \sum_{i=1}^{n} log(x_i) log(n∑i=1n?xi??)≤n1??i=1∑n?log(xi?)
3. 指數函數
對于指數函數,我們可以寫出對應的Jensen不等式如下:
exp(∑i=1nλi?xi)≤∑i=1nλi?exiexp(\sum_{i=1}^{n} \lambda_i \cdot x_i) \leq \sum_{i=1}^{n} \lambda_i \cdot e^{x_i} exp(i=1∑n?λi??xi?)≤i=1∑n?λi??exi?
特別地,當所有的系數都相同時,即有:
exp(∑i=1nxin)≤1n?∑i=1nexiexp(\frac{\sum_{i=1}^{n}x_i}{n}) \leq \frac{1}{n} \cdot \sum_{i=1}^{n} e^{x_i} exp(n∑i=1n?xi??)≤n1??i=1∑n?exi?
4. 三角函數
對于三角函數(我們以sinsinsin為例,其在[0,π][0, \pi][0,π]范圍內為凹函數),我們可以寫出對應的Jensen不等式如下:
sin(∑i=1nλi?θi)≥∑i=1nλi?sinθisin(\sum_{i=1}^{n} \lambda_i \cdot \theta_i) \geq \sum_{i=1}^{n} \lambda_i \cdot sin\theta_i sin(i=1∑n?λi??θi?)≥i=1∑n?λi??sinθi?
特別地,當所有的系數都相同時,即有:
sin(∑i=1nθin)≥1n?∑i=1nsinθisin(\frac{\sum_{i=1}^{n}\theta_i}{n}) \geq \frac{1}{n} \cdot \sum_{i=1}^{n} sin\theta_i sin(n∑i=1n?θi??)≥n1??i=1∑n?sinθi?
特別的,對于三角形的三個內角,我們有:
13(sinA+sinB+sinC)≤sin(π3)\frac{1}{3}(sinA + sinB + sinC) \leq sin(\frac{\pi}{3}) 31?(sinA+sinB+sinC)≤sin(3π?)
即:
sinA+sinB+sinC≤332sinA + sinB + sinC \leq \frac{3\sqrt{3}}{2} sinA+sinB+sinC≤233??
2. 連續形式下的Jensen不等式
已知g(x)>0g(x) > 0g(x)>0,∫xg(x)dx=1\int_{x}g(x)dx = 1∫x?g(x)dx=1,且函數f(x)f(x)f(x)為凸函數,則有:
f(∫xg(x)?xdx)≤∫xg(x)?f(x)dxf(\int_x g(x) \cdot x dx) \leq \int_x g(x) \cdot f(x) dx f(∫x?g(x)?xdx)≤∫x?g(x)?f(x)dx
3. 概率論中的Jensen不等式
特別的,我們將上述2中的連續形式下的g(x)g(x)g(x)函數表示為概率分布函數,那么我們就可以很簡單地導出概率論當中常見的Jensen不等式的表達式:
f(Eˉ(x))≤Eˉ(f(x))f(\bar{E}(x)) \leq \bar{E}(f(x)) f(Eˉ(x))≤Eˉ(f(x))
4. 參考鏈接
總結
以上是生活随笔為你收集整理的常见不等式考察(一)——Jensen不等式的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数据结构与算法经典书籍——大话数据结构(
- 下一篇: Jensen不等式及其应用