UA MATH567 高維統計II 隨機向量3 常見的高維隨機向量的分布

• • Spherical Distribution
  • Symmetric Bernoulli Distribution
  • 正態分布
  • Frames

Spherical Distribution

$X～Unif(\sqrt{n}{S}^{n?1})$，其中$S^{n?1}$表示$n$維空間中的單位球面，這個符號說明$X$在半徑在$\sqrt{n}$的球面上服從均勻分布。對于這個在球面上的均勻分布，它具有非常完美的對稱性，比如任意改變若干個坐標的符號，分布不會變，比如$(?X_1,?,X_n)～Unif(\sqrt{n}{S}^{n?1})$。

考慮
$$\begin{gathered} (?X_1,?,X_n)～Unif(\sqrt{n}{S}^{n?1}) \\ (X_1,?,X_n)～Unif(\sqrt{n}{S}^{n?1}) \end{gathered}$$

因為$\sqrt{n}{S}^{n?1}$的球心在原點，所以$E{X}_1=0$（因為關于原點對稱），對于每一個坐標，這個結論都成立，也就是$E{X}_i=0,?i$。根據這種完美的對稱性，我們還可以得到一個結論：
$$E(?X_1{X}_i)=E(X_1{X}_i)?E(X_1{X}_i)=0$$

事實上$?i=j$，$E{X}_i{X}_j=0$。因為球的半徑為$\sqrt{n}$，所以
$$X_1^2+?+X_n^2=n$$

根據對稱性，$E{X}_1^2=?=E{X}_n^2$，所以
$$E{X}_1^2=?=E{X}_n^2=\frac{n}{n}=1$$

于是$EX{X}^T=I_n$，也就是說Spherical Distribution是零均值各向同性的。

注意事項
Spherical Distribution是一個非常神奇的分布，它滿足任意兩個坐標協方差為0但不獨立，比如考慮$(X_1,X_2)$服從$X_1^2+X_2^2=1$上的均勻分布，則
$$\begin{gathered} P(X_1>a)P(X_2>a)=0,?a\in (1/\sqrt{2},1) \\ P(X_1>a,X_2>a)=0 \end{gathered}$$

即$X_1,X_2$不獨立。

Symmetric Bernoulli Distribution

$X～Unif(\{?1,1{\}}^n)$，也就是$X=(X_1,?,X_n)$，每一個坐標取值都是$?1$或$1$且概率都是1/2。這個分布就是Spherical Distribution的特殊情況，所以它也是零均值、各向同性的隨機變量。但是與Spherical Distribution不同的是，它的每個坐標是獨立的。

正態分布

先考慮標準正態分布，$X～N(0,I_n)$，顯然它是各向同性的，它的概率密度為
$$f(x)=(2\pi {)}^{?n/2}{e}^{?\frac{{\Vert x\Vert }_2^2}{2}}$$

根據location-scale變換，如果$X～N(\mu ,\Sigma )$，
$$\begin{gathered} X+a～N(\mu +a,\Sigma ) \\ AX～N(A\mu ,A\Sigma A^T) \end{gathered}$$

于是對于一般的正態分布，我們總是可以做標準化：
$$Z={\Sigma }^{?1/2}(X?\mu )～N(0,I_n)$$

正態分布的邊緣分布與條件分布都是正態分布，正態分布協方差為0等價于獨立，這些性質可以參考多元正態分布基礎。

關于標準正態分布還有一個重要的結果，$X～N(0,I_n)$，則${\Vert X\Vert }_2?\sqrt{n}$是亞高斯的，這個可以直接用第一講的結論L2-Norm的Concentration得到。

接下來我們討論標準正態分布的分解：
$$X=r\theta ={\Vert X\Vert }_2\frac{X}{{\Vert X\Vert }_2}$$

根據第一講定理的推論：
$$E|{\Vert X\Vert }_2?\sqrt{n}|<o(1)$$

于是當$n$足夠大時，我們可以做近似：
$$X\approx \sqrt{n}\theta ～Unif(\sqrt{n}{S}^{n?1})$$

這說明在高維的情況下，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n?1})$。

Frames

frames的思想比較像是對標準正交基的推廣，我們稱$\{u_i{\}}_{i=1}^N,u_i\in {\mathbb{R}}^n$是frames，如果
$$A{\Vert x\Vert }_2^2\le \sum _{i=1}^N?u_i,x{?}^2\le B{\Vert x\Vert }_2^2,?x\in {\mathbb{R}}^n$$

其中$A,B$叫frame bound。如果$A=B$，稱這個frame為tight frame。tight frame也可以用來表示一個向量，但是它比標準正交基更有一般性。比如在二維歐氏空間中，$u_1=(1,0),u_2=(?1/2,\sqrt{3}/2),u_3=(?1/2,?\sqrt{3}/2)$就是一組tight frame，frame bound是$3/2$，對于任意點$(x_1,x_2)$，
$$\sum _{i=1}^3?u_i,x{?}^2=\frac{3}{2}(x_1^2+x_2^2)$$

tight frame的充要條件 $\{u_i{\}}_{i=1}^N$是tight frame的充要條件是${\sum }_{i=1}^N{u}_i{u}_i^T=A{I}_n,?A$，其中$A$是frame bound

說明

根據定義，tight frame等價于
$$\sum _{i=1}^N?u_i,x{?}^2=A{\Vert x\Vert }_2^2=x^T(A{I}_n)x$$

其中
$$\sum _{i=1}^N?u_i,x{?}^2=\sum _{i=1}^N{x}^T{u}_i{u}_i^{T}x=x^T(\sum _{i=1}^N{u}_i{u}_i^T)x$$

于是
$$\sum _{i=1}^N{u}_i{u}_i^T=A{I}_n$$

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计II 随机向量3 常见的高维随机向量的分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。