UA MATH567 高維統計I 概率不等式3 亞高斯性與亞高斯范數

• • 亞高斯性
  • 亞高斯范數

概率不等式1中介紹了Hoeffding不等式與Chernoff不等式，這兩個不等式的共性是它們的上界關于$t$的遞減階數都是指數級的，這類上界有非常好的性質，比如尾部概率迅速降低，概率集中在分布中心位置等。但這兩個不等式使用條件非常受限，只能適用于Bernoulli分布或者有界的分布，這一講我們要嘗試的是尋找具有尾部概率遞減階數滿足$e^{?c{t}^2}$的所有可能的分布，注意到$e^{?c{t}^2}$這個形式就是正態的kernel，而正態分布，比如$X～N(0,1)$，也滿足
$$P(|X|\ge t)\le e^{?t^2/2}$$

所以我們稱滿足這個條件的分布為亞高斯分布 (sub-Gaussian distribution)。

亞高斯性

亞高斯性 (sub-Gaussian property)

尾部概率條件：$P(|X|\ge t)\le 2\exp (?t^2/K_1^2),?t\ge 0$

矩條件: ${\Vert X\Vert }_{L^p}\le K_2\sqrt{p},?p\ge 1$

矩母函數條件: $E{e}^{{\lambda }^2{X}^2}\le \exp (K_3^2{\lambda }^2),?|\lambda |\le 1/K_3$

矩母函數上界: $E{e}^{X^2/K_4^2}\le 2$

矩母函數又一個條件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),?\lambda \in \mathbb{R},EX=0$

這五個條件是等價的，我們稱滿足這五個條件中的任何一個的隨機變量為亞高斯隨機變量。我們下一講簡單分析一下這五條性質。

亞高斯范數

在亞高斯隨機變量空間上可以定義亞高斯范數（sub-Gaussian norm）：
$${\Vert X\Vert }_{{\psi }_2}=\inf \{t>0:E{e}^{X^2/t^2}\le 2\}$$

我們先驗證一下這個定義的確是范數：

非負性：
非負是顯然的，我們考慮是否有${\Vert X\Vert }_{{\psi }_2}=0?X=0,a.s.$，后者直接能推出前者，而前者成立意味著$?t>0$, $E{e}^{X^2/t^2}\le 2$，根據Markov不等式（對$|X|$與$g(x)=e^{x^2/t^2}$）$$P(|X|>?)\le e^{?{?}^2/t^2}E{e}^{X^2/t^2}\le 2e^{?{?}^2/t^2}\to 0,?0<t<<?$$因此${\Vert X\Vert }_{{\psi }_2}=0?X=0,a.s.$

正齊次性：$?\lambda \in \mathbb{R}$
$$\begin{gathered} {\Vert \lambda X\Vert }_{{\psi }_2}=\inf \{t>0:E{e}^{{\lambda }^2{X}^2/t^2}\le 2\} \\ =|\lambda |\inf \{t>0:E{e}^{{\lambda }^2{X}^2/(\lambda t{)}^2}\le 2\}=|\lambda |{\Vert X\Vert }_{{\psi }_2} \end{gathered}$$

三角不等式：
記$s={\Vert X\Vert }_{{\psi }_2},t={\Vert X\Vert }_{{\psi }_2}$，對于函數$f(x)=e^{x^2}$，用Jensen不等式：$$\begin{gathered} f\left(\frac{X+Y}{s+t}\right)\le f\left(\frac{|X|+|Y|}{s+t}\right) \\ \le \frac{t}{s+t}f\left(\frac{|X|}{t}\right)+\frac{s}{s+t}f\left(\frac{|Y|}{s}\right) \end{gathered}$$對這個式子兩端計算期望：$$\begin{gathered} E\exp {\left(\frac{X+Y}{s+t}\right)}^2 \\ \le \frac{t}{s+t}E\exp {\left(\frac{|X|}{t}\right)}^2+\frac{s}{s+t}E\exp {\left(\frac{|Y|}{s}\right)}^2\le 2 \end{gathered}$$因此$${\Vert X+Y\Vert }_{{\psi }_2}\le s+t$$

這個范數是非常有用的，因為亞高斯性的五個條件中，每個不等式都一個參數，我們可以用亞高斯范數統一這些參數：參數$C,c>0$

尾部概率條件：$P(|X|\ge t)\le 2\exp (?c{t}^2/{\Vert X\Vert }_{{\psi }_2}^2),?t\ge 0$

矩條件：${\Vert X\Vert }_{L^p}\le C{\Vert X\Vert }_{{\psi }_2}\sqrt{p},?p\ge 1$

矩母函數條件：$E{e}^{X^2/{\Vert X\Vert }_{{\psi }_2}^2}\le 2$

矩母函數又一個條件： $E{e}^{\lambda X}\le \exp (C{\lambda }^2{\Vert X\Vert }_{{\psi }_2}^2),?\lambda \in \mathbb{R},EX=0$

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。