UA MATH567 高維統計I 概率不等式10 Bernstein不等式

我們在介紹亞高斯分布后介紹了適用于亞高斯分布的推廣的Hoeffding不等式，對于亞指數分布，我們可以得到類似的不等式。因為亞指數分布相對更具有一般性，因此亞指數分布的這個概率不等式是一個適用性比較廣的不等式。

Bernstein不等式 版本1 假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞指數隨機變量，$?t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(?c\min \left(\frac{t}{K},\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}\right)\right)$$

其中$c$是一個常數。

證明
我們先用Markov不等式討論$P({\sum }_{i=1}^N{X}_i\ge t)$,
$$\begin{gathered} P(\sum _{i=1}^N{X}_i\ge t)=P(e^{\lambda {\sum }_{i=1}^N{X}_i}\ge e^{\lambda t}) \\ \le e^{?\lambda t}E{e}^{\lambda {\sum }_{i=1}^N{X}_i}=e^{?\lambda t}\prod _{i=1}^{N}E{e}^{\lambda X_i} \end{gathered}$$

根據亞指數性5，$K_5=c{\Vert X_i\Vert }_{{\psi }_1}$
$$E{e}^{\lambda X_i}\le e^{c^2{\Vert X_i\Vert }_{{\psi }_1}^2{\lambda }^2},?0<\lambda \le 1/K_5$$

要使對所有的$i$，上式均適用，我們需要進一步限制$\lambda$的取值為
$$0<\lambda \le \frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}$$

于是
$$\begin{gathered} e^{?\lambda t}\prod _{i=1}^{N}E{e}^{\lambda X_i}\le e^{?\lambda t}\prod _{i=1}^N{e}^{c^2{\Vert X_i\Vert }_{{\psi }_1}^2{\lambda }^2} \\ =\exp (?\lambda t+c^2{\lambda }^2\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2) \end{gathered}$$

接下來，我們要選擇一個$\lambda$使得這個上界最小，即我們需要解
$$\underset{0<\lambda \le \frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}}{\min }?\lambda t+c^2{\lambda }^2\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2$$

這個二次函數的最小值要么在全局最小點處取得，要么在邊界上取得，即
$$\lambda =\frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}or\frac{t}{2c^2{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}$$

于是最小的上界為
$$\exp \left(?c\min \left(\frac{t}{K},\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}\right)\right)$$

對于$P(?{\sum }_{i=1}^N{X}_i\ge t)$，我們可以得到一樣的結果，這樣就說明了Bernstein不等式 版本1。

---

Bernstein不等式 版本2 假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞指數隨機變量，$a$是一個常向量，$?t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\sum _{i=1}^N{a}_i{X}_i\right|\ge t\right)\le 2\exp \left(?c\min \left(\frac{t}{K{\Vert a\Vert }_{\infty }},\frac{t^2}{K^2{\Vert a\Vert }_2^2}\right)\right)$$

其中$c$是一個常數。

說明 我們簡單比較一下版本1和版本2，版本2試圖討論的是$X_i$的線性組合，我們可以找到版本1和2上界的對應關系。

根據亞指數范數的正齊次性
$$\sum _{i=1}^N{\Vert a_i{X}_i\Vert }_{{\psi }_1}^2=\sum _{i=1}^N{a}_i^2{\Vert X_i\Vert }_{{\psi }_1}^2\le \sum _{i=1}^N{a}_i^2{K}^2=K^2{\Vert a\Vert }_2^2$$

這體現了版本1中上界$\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}$與$\frac{t^2}{K^2{\Vert a\Vert }_2^2}$的對應關系。

同樣根據亞指數范數的正齊次性
$$\underset{i}{\max }{\Vert a_i{X}_i\Vert }_{{\psi }_1}=\underset{i}{\max }|a_i|{\Vert X_i\Vert }_{{\psi }_1}\le {\Vert a\Vert }_{\infty }K$$

這體現了版本1中上界$\frac{t}{K}$與$\frac{t}{K{\Vert a\Vert }_{\infty }}$的對應關系。

如果取$a_i=1/N$，我們可以得到關于樣本均值的不等式：

Bernstein不等式 版本3 假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞指數隨機變量，$?t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\bar{X}\right|\ge t\right)\le 2\exp \left(?cN\min \left(\frac{t}{K},\frac{t^2}{K^2}\right)\right)$$

其中$c$是一個常數。

---

Bernstein不等式 版本4 假設$\{X_i{\}}_{i=1}^N$是一列零均值獨立亞指數上界為$K$的隨機變量，$?t>0$,
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(?\frac{t^2/2}{{\sigma }^2+Kt/3}\right)$$

${\sigma }^2={\sum }_{i=1}^{N}E{X}_i^2$。這是使用最廣泛的一個版本，因為它能提供一個比Hoeffding不等式更小的上界。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式10 Bernstein不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。