UA MATH567 高維統(tǒng)計(jì)II 隨機(jī)向量5 亞高斯隨機(jī)向量

這一講我們將亞高斯分布推廣到高維。

亞高斯隨機(jī)向量 $X$是一個(gè)$n$維隨機(jī)向量，稱$X$是亞高斯隨機(jī)向量如果$?x\in S^{n?1}$，$?X,x?$是亞高斯隨機(jī)變量。其中$S^{n?1}$是$n$維歐式空間中的單位球面，
$$S^{n?1}=\{x\in {\mathbb{R}}^n:{\Vert x\Vert }_2=1\}$$

亞高斯隨機(jī)向量的亞高斯范數(shù)
$${\Vert X\Vert }_{{\psi }_2}=\underset{x\in S^{n?1}}{\sup }{\Vert ?X,x?\Vert }_{{\psi }_2}$$

引理 假設(shè)隨機(jī)向量$X$的各個(gè)分量均是亞高斯、互相獨(dú)立且零均值的，則$X$是亞高斯隨機(jī)向量，并且存在常數(shù)$C>0$
$${\Vert X\Vert }_{{\psi }_2}\le C\underset{i=1,?,n}{\sup }{\Vert X_i\Vert }_{{\psi }_2}$$

證明
$?x\in S^{n?1}$，根據(jù)推廣Hoeffding不等式的第一個(gè)結(jié)論
$${\Vert ?X,x?\Vert }_{{\psi }_2}^2={\Vert \sum _{i=1}^n{x}_i{X}_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2$$

根據(jù)范數(shù)的正齊次性，
$$\begin{gathered} C\sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2=C\sum _{i=1}^n|x_i{|}^2{\Vert X_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^n|x_i{|}^2\max {\Vert X_i\Vert }_{{\psi }_2}^2 \\ =C\max {\Vert X_i\Vert }_{{\psi }_2}^2 \end{gathered}$$

于是
$${\Vert ?X,x?\Vert }_{{\psi }_2}^2\le C\underset{i=1,?,n}{\sup }{\Vert X_i\Vert }_{{\psi }_2}$$

事實(shí)上，在證明的第一步，我們也可以用范數(shù)的三角不等式得到：
$${\Vert \sum _{i=1}^n{x}_i{X}_i\Vert }_{{\psi }_2}^2\le \sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2$$

例 spherical distribution是亞高斯向量
$X～Unif(\sqrt{n}{S}^{n?1})$，則$X$是亞高斯向量，且亞高斯范數(shù)有界。

證明
假設(shè)$g～N(0,I_n)$，則$X=\sqrt{n}\frac{g}{{\Vert g\Vert }_2}～Unif(\sqrt{n}{S}^{n?1})$，根據(jù)對稱性$?X,x?$具有相同的性質(zhì)，$?x\in S^{n?1}$，于是為了簡化討論，我們?nèi)?span id="ozvdkddzhkzd" class="katex--inline">$x=e_1$，于是$?X,x?=X_1$，下面我們計(jì)算
$$P(X_1\ge t)=P(\sqrt{n}\frac{g_1}{{\Vert g\Vert }_2}\ge t)=P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}})$$

定義$\mathcal{E}=\{{\Vert g\Vert }_2\ge \frac{\sqrt{n}}{2}\}$，第一講我們討論過，${\Vert g\Vert }_2$是亞高斯的，于是
$$P({\mathcal{E}}^C)\le P(|{\Vert g\Vert }_2?\sqrt{n}|>\frac{\sqrt{n}}{2})\le 2e^{?cn},?c>0$$

計(jì)算
$$\begin{gathered} P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}})=P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},{\mathcal{E}}^C) \\ \le P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},\mathcal{E})+P({\mathcal{E}}^C)\le P(|g_1|\ge \frac{t}{2})+P({\mathcal{E}}^C) \\ \le 2e^{?\frac{t^2}{8}}+2e^{?cn} \end{gathered}$$

第一項(xiàng)使用的是正態(tài)分布的上界，
$$1?\Phi (t)\le \frac{1}{\sqrt{2\pi }t}{e}^{?t^2/2}$$

下面分類討論：

情況1，假設(shè)$t\le \sqrt{n}$，則$e^{?cn}\le e^{?c{t}^2}$，于是上面的tail probability是亞高斯的；

情況2，如果$t>\sqrt{n}$，則$P(|X_1|\ge t)=0$，因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$|X_1|\le {\Vert X\Vert }_2=2$，上面的tail probability同樣是亞高斯的；

投影極限定理(project limit theorem)
$X～Unif(\sqrt{n}{S}^{n?1})$，$?x\in S^{n?1}$，$?X,x{?}_d\to N(0,1),n\to \infty$

說明
在高維的情況下，正態(tài)分布與spherical distribution有非常緊密的聯(lián)系，上上講我們說明了在高維的情況下，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n?1})$；這個(gè)定理則說明$Unif(\sqrt{n}{S}^{n?1})$沿球面$S^{n?1}$任意半徑的投影近似服從標(biāo)準(zhǔn)正態(tài)分布。

根據(jù)對稱性，我們同樣考慮$X_1$，
$$X_1=\sqrt{n}\frac{g_1}{{\Vert g\Vert }_2}$$

根據(jù)弱大數(shù)定律與依概率收斂的性質(zhì)，
$$\frac{\sqrt{n}}{{\Vert g\Vert }_2}{\to }_{p}1$$

而$g_1～N(0,1)$，所以$?X,x?$趨近于標(biāo)準(zhǔn)正態(tài)分布。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计II 随机向量5 亚高斯随机向量的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。