UA SIE545 優化理論基礎 函數凸性的一些有趣的判斷方法

Convex function $f:S\to \mathbb{R}$ where $S$ is a nonempty convex set. Call $f$ a convex function on $S$ if $?x_1,x_2\in S$, $\lambda \in (0,1)$
$$f(\lambda x_1+(1?\lambda )x_2)\le \lambda f(x_1)+(1?\lambda )f(x_2)$$

Call $f$ a strictly convex function on $S$ if $?x_1,x_2\in S$, $\lambda \in (0,1)$
$$f(\lambda x_1+(1?\lambda )x_2)<\lambda f(x_1)+(1?\lambda )f(x_2)$$

Call $f$ a (strictly) concave function on $S$ if $?f$ is (strictly) convex.

---

hypograph $f:S\to \mathbb{R}$ where $S$ is a nonempty convex set.
$$hypf=\{(x,y):x\in S,y\in \mathbb{R},y\le f(x)\}$$

方法1 $f:S\to \mathbb{R}$，$S$是非空凸集，則$f$ concave的充要條件是$hypf$是凸集。
證明
$?$: 假設$f$是凹函數，$?x_1,x_2\in S$, $\lambda \in (0,1)$
$$f(\lambda x_1+(1?\lambda )x_2)\ge \lambda f(x_1)+(1?\lambda )f(x_2)$$考慮$?y_1,y_2\in \mathbb{R}$，滿足$(x_1,y_1)\in hypf,(x_2,y_2)\in hypf$，即
$$y_1\le f(x_1),y_2\le f(x_2)$$

于是
$$\begin{gathered} \lambda y_1+(1?\lambda )y_2\le \lambda f(x_1)+(1?\lambda )f(x_2) \\ \le f(\lambda x_1+(1?\lambda )x_2) \end{gathered}$$

所以$\lambda (x_1,y_1)+(1?\lambda )(x_2,y_2)\in hypf$，即$hypf$是凸集。

$?$: 假設$hypf$是凸集，$(x_1,f(x_1))\in hypf,(x_2,f(x_2))\in hypf$，$?\lambda \in (0,1)$, $\lambda (x_1,f(x_1))+(1?\lambda )(x_2,f(x_2))\in hypf$，也就是
$$\lambda f(x_1)+(1?\lambda )f(x_2)\le f(\lambda x_1+(1?\lambda )x_2)$$于是$f$是凹函數。

---

方法2 凸函數的線性組合 假設$f_1,?,f_k$是一列凸函數，$f={\sum }_{j=1}^k{\alpha }_j{f}_j,{\alpha }_j>0,?j$，則$f$是凸函數。
證明
因為$f_j:S\to \mathbb{R},?j$是凸函數，所以$?\lambda \in (0,1)$, $?x_1,x_2\in S$
$$\begin{gathered} f_j(\lambda x_1+(1?\lambda )x_2)\le \lambda f_j(x_1)+(1?\lambda )f_j(x_2) \\ {\alpha }_j{f}_j(\lambda x_1+(1?\lambda )x_2)\le \lambda {\alpha }_j{f}_j(x_1)+(1?\lambda ){\alpha }_j{f}_j(x_2) \\ \sum _{j=1}^k{\alpha }_j{f}_j(\lambda x_1+(1?\lambda )x_2)\le \lambda \sum _{j=1}^k{\alpha }_j{f}_j(x_1)+(1?\lambda )\sum _{j=1}^k{\alpha }_j{f}_j(x_2) \end{gathered}$$

因此$f$也是凸函數。

---

方法3 凸函數的最值 假設$f_1,?,f_k$是一列凸函數，$f=\max (f_1,?,f_k)$，則$f$是凸函數。
證明
因為$f_j:S\to \mathbb{R},?j$是凸函數，所以$?\lambda \in (0,1)$, $?x_1,x_2\in S$
$$f_j(\lambda x_1+(1?\lambda )x_2)\le \lambda f_j(x_1)+(1?\lambda )f_j(x_2)$$

因為$f=\max (f_1,?,f_k)$，
$$\begin{gathered} f(\lambda x_1+(1?\lambda )x_2)=\underset{j}{\max }{f}_j(\lambda x_1+(1?\lambda )x_2) \\ \le \underset{j}{\max }[\lambda f_j(x_1)+(1?\lambda )f_j(x_2)]\le \underset{j}{\max }\lambda f_j(x_1)+\underset{j}{\max }(1?\lambda )f_j(x_2) \end{gathered}$$

所以$f$是凸函數。

---

distance function $f:{\mathbb{R}}^n\to \mathbb{R}$，$S$是非空凸集，distance function的定義是
$$f(y)=\inf \{\Vert y?x\Vert :x\in S\}$$

方法4 distance function是凸函數
證明
$?y_1,y_2\in {\mathbb{R}}^n$，$?\lambda \in (0,1)$，
$$\begin{gathered} f(\lambda y_1+(1?\lambda )y_2)=\inf \{\Vert \lambda y_1+(1?\lambda )y_2?x\Vert :x\in S\} \\ \le \inf \{\lambda \Vert y_1?x\Vert +(1?\lambda )\Vert y_2?x\Vert :x\in S\} \\ \le \lambda \inf \{\Vert y_1?x\Vert :x\in S\}+(1?\lambda )\inf \{\Vert y_2?x\Vert :x\in S\} \\ \le \lambda f(y_1)+(1?\lambda )f(y_2) \end{gathered}$$

所以$f$是凸函數。

---

Support function $f:{\mathbb{R}}^n\to \mathbb{R}$，$S$是非空有界凸集，support function的定義是
$$f(y)=\sup \{y^{T}x:x\in S\}$$

方法5 Support function是凸函數
證明
$?y_1,y_2\in {\mathbb{R}}^n$，$?\lambda \in (0,1)$，
$$\begin{gathered} f(\lambda y_1+(1?\lambda )y_2)=\sup \{[\lambda y_1+(1?\lambda )y_2{]}^{T}x:x\in S\} \\ =\sup \{\lambda y_1^{T}x+(1?\lambda )y_2^{T}x:x\in S\} \\ \le \lambda \sup \{y_1^{T}x:x\in S\}+(1?\lambda )\sup \{y_2^{T}x:x\in S\}\le \lambda f(y_1)+(1?\lambda )f(y_2) \end{gathered}$$所以$f$是凸函數。

---

perturbation function $f:{\mathbb{R}}^n\to \mathbb{R}$, $g:{\mathbb{R}}^n\to {\mathbb{R}}^m$是凸函數，$S$是非空凸集，perturbation function的定義是
$$?(y)=\inf \{f(x):g(x)\le y,x\in S\}$$

方法6 perturbation function是凸函數
證明
$?y_1,y_2\in {\mathbb{R}}^n$，$?\lambda \in (0,1)$，
$$?(\lambda y_1+(1?\lambda )y_2)=\inf \{f(x):g(x)\le \lambda y_1+(1?\lambda )y_2,x\in S\}$$

考慮集合$$\begin{gathered} \{x\in S:g(x)\le \lambda y_1+(1?\lambda )y_2\} \\ =\{x\in S:\lambda g(x)+(1?\lambda )g(x)\le \lambda y_1+(1?\lambda )y_2\} \\ ?\{x\in S:g(\lambda x+(1?\lambda )x)\le \lambda y_1+(1?\lambda )y_2\} \end{gathered}$$

因此
$$\begin{gathered} \inf \{f(x):g(x)\le \lambda y_1+(1?\lambda )y_2,x\in S\} \\ \le \inf \{f(\lambda x+(1?\lambda )x):g(\lambda x+(1?\lambda )x)\le \lambda y_1+(1?\lambda )y_2,x\in S\} \\ \le \lambda \inf \{f(x):g(\lambda x+(1?\lambda )x)\le \lambda y_1+(1?\lambda )y_2,x\in S\} \\ +(1?\lambda )\inf \{f(x):g(\lambda x+(1?\lambda )x)\le \lambda y_1+(1?\lambda )y_2,x\in S\} \\ =\lambda \inf \{f(x):g(x)\le \lambda y_1,x\in S\}+(1?\lambda )\inf \{f(x):g(x)\le \lambda y_2,x\in S\} \end{gathered}$$

總結

以上是生活随笔為你收集整理的UA SIE545 优化理论基础 函数凸性的一些有趣的判断方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。