• 參考：
• 《數(shù)值最優(yōu)化方法》—— 高立
• Jensen不等式初步理解及證明
• Jensen不等式講解與證明

---

文章目錄

• 1. 凸集與凸函數(shù)
• • 1.1 凸集
  • 1.2 凸函數(shù)
• 2. Jensen不等式
• • 2.1 Jensen不等式
  • 2.2 證明
  • 2.3 擴(kuò)展

1. 凸集與凸函數(shù)

1.1 凸集

定義：設(shè)集合 $C?{\mathbb{R}}^n$，若對(duì) $?x,y\in C$，有
$$\theta x+(1?\theta )y\in C,\theta \in [0,1]$$
則稱 $C$ 為 凸集

幾何意義：若 $x,y$ 屬于凸集 $C$ 則 $x$ 與 $y$ 連線上的所有點(diǎn)都屬于凸集 $C$

性質(zhì)：凸集關(guān)于加法、數(shù)乘和交運(yùn)算都是封閉的。對(duì)于凸集 $C_1,C_2\in {\mathbb{R}}^n$，$\beta \in \mathbb{R}$，則

$C_1+C_2=\{x_1+x_2|x_1\in C_1,x_2\in C_2\}$ 是凸集

$\beta C_1=\{\beta x|x\in C_1\}$ 是凸集

$C_1\cap C_2$ 是凸集

1.2 凸函數(shù)

定義：設(shè)集合 $C?{\mathbb{R}}^n$ 為非空凸集，函數(shù) $f:C\to \mathbb{R}$。若對(duì) $?x,y\in C$，有
$$f(\theta x+(1?\theta )y)\le \theta f(x)+(1?\theta )f(y),\theta \in [0,1]$$
則稱 $f$ 為 $C$ 上 凸函數(shù)。若不等式對(duì) $x=y$ 嚴(yán)格成立，則稱 $f$ 為 $C$ 上的 嚴(yán)格凸函數(shù)

幾何意義：凸函數(shù)曲線上任意兩點(diǎn)連線都在函數(shù)曲線之上

判定方法

一階判定條件

二階判定條件

2. Jensen不等式

2.1 Jensen不等式

• 根據(jù)凸函數(shù)性質(zhì)，凸集 $C$ 上的凸函數(shù) $f$ 上的兩點(diǎn) $x_1,x_2$ 滿足
  $$\theta f(x_1)+(1?\theta )f(x_2)\ge f(\theta x_1+(1?\theta )x_2),\theta \in [0,1]$$
• 把上式推廣到 $n$ 個(gè)點(diǎn)的情況，即得 Jensen 不等式：對(duì)于凸函數(shù) $f$，其所在凸集 $C$ 中的任意點(diǎn)集 $\{x_i\}?C$，若 ${\theta }_i\ge 0$ 且 ${\sum }_i{\theta }_i=1$，則有
  $$\sum _{i=1}^M{\theta }_{i}f(x_i)\ge f(\sum _{i=1}^M{\theta }_i{x}_i)$$

2.2 證明

• 可以使用數(shù)學(xué)歸納法證明，參見：Jensen不等式講解與證明

2.3 擴(kuò)展

在概率論中，如果把 ${\theta }_i$ 看作離散型隨機(jī)變量 $X$ 取值 $x_i$ 的概率，則根據(jù)Jensen不等式
$$E[f(X)]\ge f(E[X])$$

把Jensen不等式拓展到連續(xù)情況，有
$$\int f(x)p(x)dx\ge f(\int xp(x)dx)$$
這里 $f$ 是凸函數(shù)，$p$ 是隨機(jī)變量的概率密度函數(shù)

當(dāng)隨機(jī)變量X是常數(shù)時(shí)，Jensen不等式中等號(hào)成立。從幾何角度容易理解（此時(shí)凸函數(shù) $f(x)=c$是一條直線）

總結(jié)

以上是生活随笔為你收集整理的Jensen 不等式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。