UA MATH567 高維統(tǒng)計(jì)I 概率不等式7 亞指數(shù)分布與亞指數(shù)范數(shù)

第三講到第六講討論了亞高斯分布，這類分布的尾部概率滿足
$$P(|X|\ge t)?e^{?t^2/2}$$

隨著$t$增長(zhǎng)，尾部概率下降的速率是非常大的，另一個(gè)與之類似的分布族是亞指數(shù)分布，這類分布的尾部概率滿足
$$P(|X|\ge t)?e^{?t}$$

這個(gè)尾部概率下降的概率比亞高斯分布尾部概率下降得更慢，所以亞指數(shù)分布族包含的分布比亞高斯分布族包含的分布更多。這一講我們討論亞指數(shù)性。

亞指數(shù)性 (sub-exponential property)

尾部概率條件：$P(|X|\ge t)\le 2\exp (?t/K_1),?t\ge 0$

矩條件: ${\Vert X\Vert }_{L^p}\le K_{2}p,?p\ge 1$

矩母函數(shù)條件: $E{e}^{\lambda |X|}\le \exp (K_3\lambda ),?0<\lambda \le 1/K_3$

矩母函數(shù)上界: $E{e}^{|X|/K_4}\le 2$

矩母函數(shù)又一個(gè)條件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),?\lambda ,|\lambda |\le 1/K_5,EX=0$

稱滿足這五條性質(zhì)的分布叫亞指數(shù)分布(sub-exponential distribution)與亞高斯性類似，前四個(gè)性質(zhì)等價(jià)性的證明與亞高斯分布類似（1推2，2推3，3推4，4推1），這里介紹一下第五條性質(zhì)與其他性質(zhì)的等價(jià)性（亞高斯性是3推5，5推1；亞指數(shù)性我們用5推2，2推5）。

2推5
假設(shè)性質(zhì)2成立，取$K_2=1$，考慮$E{e}^{\lambda X}$，假設(shè)$EX=0$，做Taylor展開，
$$E{e}^{\lambda X}=E\left[1+\lambda X+\sum _{p=2}^{\infty }\frac{(\lambda X{)}^p}{p!}\right]=1+\sum _{p=2}^{\infty }\frac{{\lambda }^{p}E[X^p]}{p!}$$

性質(zhì)2說明
$$E[X^p]\le p^p,?p\ge 1$$

根據(jù)Stirling公式，
$$p!\ge (p/e{)}^p$$

于是，當(dāng)$|e\lambda |<1$時(shí)
$$E{e}^{\lambda X}\le 1+\sum _{p=2}^{\infty }\frac{{\lambda }^p{p}^p}{(p/e{)}^p}=1+\sum _{p=2}^{\infty }(e\lambda {)}^p=1+\frac{(e\lambda {)}^2}{1?e\lambda }$$

當(dāng)$|e\lambda |<1/2$時(shí)，
$$1+\frac{(e\lambda {)}^2}{1?e\lambda }\le 1+2(e\lambda {)}^2\le e^{2e^2{\lambda }^2}$$

于是

$$E{e}^{\lambda X}\le e^{2e^2{\lambda }^2},?|\lambda |<1/2e$$

5推2 假設(shè)性質(zhì)5成立，取$K_5=1$，根據(jù)不等式
$$|x{|}^p\le p^p(e^x+e^{?x}),?x\in \mathbb{R},p>0$$

我們可以得到期望的估計(jì)：
$$E|X{|}^p\le p^p(E{e}^X+E{e}^{?X})$$

性質(zhì)5說明
$$E{e}^X\le e,E{e}^{?X}\le e$$

所以
$$E|X{|}^p\le 2e{p}^p$$

這就驗(yàn)證了$K_2=2e$時(shí)性質(zhì)2成立。

---

例 亞指數(shù)分布的應(yīng)用
在判別分析、特征選擇等統(tǒng)計(jì)學(xué)習(xí)模型中，我們總是需要對(duì)特征$X=(X_1,?,X_p{)}^T$的協(xié)方差矩陣$\Sigma$進(jìn)行估計(jì)，記估計(jì)量為$\hat{\Sigma }$，目標(biāo)是這個(gè)估計(jì)量與真實(shí)的協(xié)方差不要差別太大，也就是二者之差的某個(gè)范數(shù)$\Vert \hat{\Sigma }?\Sigma \Vert$需要足夠小。

但$\hat{\Sigma }$并不是一個(gè)確定的值，它是一個(gè)隨機(jī)變量，所以一種保證$\Vert \hat{\Sigma }?\Sigma \Vert$足夠小的充分條件是$\hat{\Sigma }$的每一個(gè)元素${\hat{\sigma }}_{ij}$的分布都盡量集中在對(duì)應(yīng)的真實(shí)值${\sigma }_{ij}$附近，也就是
$$P(|{\hat{\sigma }}_{ij}?{\sigma }_{ij}|)$$

這個(gè)概率要足夠的小。

一種非常常用的協(xié)方差的估計(jì)是
$${\hat{\sigma }}_{ij}=\frac{X_i^T{X}_j}{n}$$

這里$n$表示樣本量，如果$X$是高斯的，則我們下一講會(huì)證明，$X_i^T{X}_j$是亞指數(shù)分布，于是我們可以用亞指數(shù)性來研究概率$P(|{\hat{\sigma }}_{ij}?{\sigma }_{ij}|)$的大小。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式7 亚指数性与亚指数分布的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。