UA MATH567 高維統計III 隨機矩陣10 亞高斯矩陣的應用：協方差估計與聚類的樣本量

如果$X$是零均值的隨機變量，則$\Sigma =EX{X}^T$，假設$\{X_i{\}}_{i=1}^m$是$X$的一組樣本，一種常用的協方差的估計是
$$\hat{\Sigma }=\frac{1}{m}\sum _{i=1}^m{X}_i{X}_i^T$$

假設$X$的四階矩有限，則根據弱大數定律，
$$\hat{\Sigma }{\to }_{L^2}\Sigma ,m\to \infty$$

這個是估計量的一個漸近性質，它保證估計量是一個一致估計。但一致性是一個理論性質，因為在實際統計問題中我們不可能有無限個樣本，于是一個在實踐中更有價值的問題時，我們至少需要多少個樣本（也就是$m$要多大）才能使$\hat{\Sigma }$與$\Sigma$盡可能接近？

---

我們用算子范數$\Vert \hat{\Sigma }?\Sigma \Vert$表示$\hat{\Sigma }$與$\Sigma$接近的程度，則下面的結論成立：

協方差估計偏差的上界
假設$X$是零均值的亞高斯隨機向量，$?x\in {\mathbb{R}}^n$, $?K\ge 1$，
$${\Vert ?X,x?\Vert }_{{\psi }_2}\le K{\Vert ?X,x?\Vert }_2$$

則$?C>0$
$$E\Vert \hat{\Sigma }?\Sigma \Vert \le C{K}^2(\sqrt{\frac{n}{m}}+\frac{n}{m})\Vert \Sigma \Vert$$

證明
定義$Z={\Sigma }^{?1/2}X$，則$EZ{Z}^T=I_n$，根據定義
$$\begin{gathered} {\Vert Z\Vert }_{{\psi }_2}=\underset{x\in S^{n?1}}{\sup }{\Vert ?Z,x?\Vert }_{{\psi }_2}=\underset{x\in S^{n?1}}{\sup }{\Vert ?{\Sigma }^{?1/2}X,x?\Vert }_{{\psi }_2} \\ =\underset{x\in S^{n?1}}{\sup }{\Vert ?X,{\Sigma }^{?1/2}x?\Vert }_{{\psi }_2}\le K{\Vert ?X,{\Sigma }^{?1/2}x?\Vert }_2 \\ =K{\Vert ?Z,x?\Vert }_2=K \end{gathered}$$

計算
$$\begin{gathered} \Vert \hat{\Sigma }?\Sigma \Vert =\Vert {\Sigma }^{1/2}({\Sigma }^{?1/2}\hat{\Sigma }{\Sigma }^{?1/2}){\Sigma }^{1/2}?{\Sigma }^{1/2}{\Sigma }^{1/2}\Vert \\ =\Vert {\Sigma }^{1/2}({\Sigma }^{?1/2}\hat{\Sigma }{\Sigma }^{?1/2}?I_n){\Sigma }^{1/2}\Vert ?\Vert {\Sigma }^{1/2}R{\Sigma }^{1/2}\Vert \\ \le \Vert {\Sigma }^{1/2}\Vert \Vert R\Vert \Vert {\Sigma }^{1/2}\Vert =\Vert R\Vert \Vert \Sigma \Vert \end{gathered}$$

接下來要做的就是找$\Vert R\Vert$的上界，
$$\begin{gathered} R={\Sigma }^{?1/2}\hat{\Sigma }{\Sigma }^{?1/2}?I_n={\Sigma }^{?1/2}(\frac{1}{m}\sum _{i=1}^m{X}_i{X}_i^T){\Sigma }^{?1/2}?I_n \\ =\frac{1}{m}\sum _{i=1}^m{Z}_i{Z}_i^T?I_n=\frac{1}{m}{A}^{T}A?I_n \end{gathered}$$

其中$A$的行向量是$Z_i^T$，使用未證明的結論(Vershynin Exercise 4.6.2)，$?C>0$
$$E\Vert \frac{1}{m}{A}^{T}A?I_n\Vert \le C{K}^2(\sqrt{\frac{n}{m}}+\frac{n}{m})$$

綜上，定理得證。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计III 随机矩阵10 亚高斯矩阵的应用：协方差估计与聚类问题的样本量需求计算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。