UA MATH567 高維統計I 概率不等式7 亞指數分布與亞指數范數

第三講到第六講討論了亞高斯分布，這類分布的尾部概率滿足
$$P(|X|\ge t)?e^{?t^2/2}$$

隨著$t$增長，尾部概率下降的速率是非常大的，另一個與之類似的分布族是亞指數分布，這類分布的尾部概率滿足
$$P(|X|\ge t)?e^{?t}$$

這個尾部概率下降的概率比亞高斯分布尾部概率下降得更慢，所以亞指數分布族包含的分布比亞高斯分布族包含的分布更多。這一講我們討論亞指數性。

亞指數性 (sub-exponential property)

尾部概率條件：$P(|X|\ge t)\le 2\exp (?t/K_1),?t\ge 0$

矩條件: ${\Vert X\Vert }_{L^p}\le K_{2}p,?p\ge 1$

矩母函數條件: $E{e}^{\lambda |X|}\le \exp (K_3\lambda ),?0<\lambda \le 1/K_3$

矩母函數上界: $E{e}^{|X|/K_4}\le 2$

矩母函數又一個條件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),?\lambda ,|\lambda |\le 1/K_5,EX=0$

稱滿足這五條性質的分布叫亞指數分布(sub-exponential distribution)與亞高斯性類似，前四個性質等價性的證明與亞高斯分布類似（1推2，2推3，3推4，4推1），這里介紹一下第五條性質與其他性質的等價性（亞高斯性是3推5，5推1；亞指數性我們用5推2，2推5）。

2推5
假設性質2成立，取$K_2=1$，考慮$E{e}^{\lambda X}$，假設$EX=0$，做Taylor展開，
$$E{e}^{\lambda X}=E\left[1+\lambda X+\sum _{p=2}^{\infty }\frac{(\lambda X{)}^p}{p!}\right]=1+\sum _{p=2}^{\infty }\frac{{\lambda }^{p}E[X^p]}{p!}$$

性質2說明
$$E[X^p]\le p^p,?p\ge 1$$

根據Stirling公式，
$$p!\ge (p/e{)}^p$$

于是，當$|e\lambda |<1$時
$$E{e}^{\lambda X}\le 1+\sum _{p=2}^{\infty }\frac{{\lambda }^p{p}^p}{(p/e{)}^p}=1+\sum _{p=2}^{\infty }(e\lambda {)}^p=1+\frac{(e\lambda {)}^2}{1?e\lambda }$$

當$|e\lambda |<1/2$時，
$$1+\frac{(e\lambda {)}^2}{1?e\lambda }\le 1+2(e\lambda {)}^2\le e^{2e^2{\lambda }^2}$$

于是

$$E{e}^{\lambda X}\le e^{2e^2{\lambda }^2},?|\lambda |<1/2e$$

5推2 假設性質5成立，取$K_5=1$，根據不等式
$$|x{|}^p\le p^p(e^x+e^{?x}),?x\in \mathbb{R},p>0$$

我們可以得到期望的估計：
$$E|X{|}^p\le p^p(E{e}^X+E{e}^{?X})$$

性質5說明
$$E{e}^X\le e,E{e}^{?X}\le e$$

所以
$$E|X{|}^p\le 2e{p}^p$$

這就驗證了$K_2=2e$時性質2成立。

---

例 亞指數分布的應用
在判別分析、特征選擇等統計學習模型中，我們總是需要對特征$X=(X_1,?,X_p{)}^T$的協方差矩陣$\Sigma$進行估計，記估計量為$\hat{\Sigma }$，目標是這個估計量與真實的協方差不要差別太大，也就是二者之差的某個范數$\Vert \hat{\Sigma }?\Sigma \Vert$需要足夠小。

但$\hat{\Sigma }$并不是一個確定的值，它是一個隨機變量，所以一種保證$\Vert \hat{\Sigma }?\Sigma \Vert$足夠小的充分條件是$\hat{\Sigma }$的每一個元素${\hat{\sigma }}_{ij}$的分布都盡量集中在對應的真實值${\sigma }_{ij}$附近，也就是
$$P(|{\hat{\sigma }}_{ij}?{\sigma }_{ij}|)$$

這個概率要足夠的小。

一種非常常用的協方差的估計是
$${\hat{\sigma }}_{ij}=\frac{X_i^T{X}_j}{n}$$

這里$n$表示樣本量，如果$X$是高斯的，則我們下一講會證明，$X_i^T{X}_j$是亞指數分布，于是我們可以用亞指數性來研究概率$P(|{\hat{\sigma }}_{ij}?{\sigma }_{ij}|)$的大小。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。