UA MATH567 高維統計I 概率不等式11 Azuma不等式

前十一講介紹的不等式的理論基礎都是Markov不等式，根據Markov不等式我們導出了Chebyshev不等式、Hoeffding不等式、Chernoff不等式、推廣的Hoeffding不等式、Khintchine不等式與Bernstein不等式，并發展了用來表示一類具有相同concentration performance的分布族的方法：亞高斯分布、亞指數分布、以及更一般的Orlicz空間與Orlicz范數方法。

從這一講開始，我們介紹另外兩種導出概率不等式的方法：鞅差序列法、Lipschitz函數法，鞅差序列法可以放松獨立性的假設，而Lipschitz函數法在后續介紹隨機向量、隨機矩陣等結構的時候具有非常重要的作用。這一講我們先介紹用鞅差序列法+Markov不等式導出Azuma不等式。

---

Azuma不等式
假設$(X_j,{\mathcal{F}}_j)$是一個鞅差序列，即

$X_j\in {\mathcal{F}}_j$

$X_j\in L^1$

$E[X_{j+1}|{\mathcal{F}}_j]=0$

簡單起見，我們定義${\mathcal{F}}_j=\sigma (\{X_1,?,X_j\})$。假設$|X_j|\le 1,a.s.$，則$?\lambda >0$，$S_n=X_1+?+X_n$滿足
$$P(|S_n|\ge \lambda \sqrt{n})\le C{e}^{?c{\lambda }^2}$$

其中$C,c$是兩個正的常數。

說明
我們計算$E{e}^{t{S}_n}$，其中$S_n=S_{n?1}+X_n$，
$$E{e}^{t{S}_n}=E{e}^{t{S}_{n?1}}{e}^{t{X}_n}$$

需要注意的是$S_{n?1}$與$X_n$并不獨立，所以不能把這個乘積的期望分開，但是我們可以用條件概率表示，記
$$Y_n=E[e^{t{S}_{n?1}}{e}^{t{X}_n}|{\mathcal{F}}_{n?1}]$$

則$E{e}^{t{S}_n}=E[Y_n]$。因為
$$\begin{gathered} Y_n=E[e^{t{S}_{n?1}}{e}^{t{X}_n}|{\mathcal{F}}_{n?1}]=e^{t{S}_{n?1}}E[e^{t{X}_n}|{\mathcal{F}}_{n?1}] \\ E{Y}_n=E{e}^{t{S}_{n?1}}E[e^{t{X}_n}|{\mathcal{F}}_{n?1}] \end{gathered}$$

根據有界的隨機變量的Chernoff不等式（$|X_n|\le 1,a.s.$），
$$E[e^{t{X}_n}|{\mathcal{F}}_{n?1}]\le e^{c_1{t}^2},?c_1>0$$

所以
$$E{Y}_n\le e^{c_1{t}^2}E{e}^{t{S}_{n?1}}$$

這樣就得到了一個可以遞歸的不等式，于是
$$E{Y}_n\le e^{{\sum }_{i=1}^n{c}_{i}n{t}^2},?c_i>0$$

記$C={\sum }_{i=1}^n{c}_i$，根據Markov不等式，
$$P(S_n\ge \lambda \sqrt{n})\le e^{?t\lambda \sqrt{n}}E{Y}_n\le e^{Cn{t}^2?t\lambda \sqrt{n}}$$

我們可以選擇一個$t$來最小化這個上界，考慮
$$t=\frac{\lambda \sqrt{n}}{2Cn}$$

則最小的上界為
$$Cn{t}^2?t\lambda \sqrt{n}=Cn\frac{{\lambda }^{2}n}{4C^2{n}^2}?\frac{{\lambda }^{2}n}{2Cn}=e^{?\frac{{\lambda }^2}{4C}}$$

于是
$$P(S_n\ge \lambda \sqrt{n})\le e^{?\frac{{\lambda }^2}{4C}}$$

對于$P(S_n\le ?\lambda \sqrt{n})=P(?S_n\ge \lambda \sqrt{n})$也可以做類似的討論。

評注
Azuma不等式與Bernstein不等式相比，它不需要獨立性的假設，取而代之的是鞅差序列的假設，鞅差序列是在研究非獨立隨機變量序列常用的假設，Azuma不等式的意義在于即使沒有獨立性的假設，對于幾乎必然有界的隨機變量，$e^{?c{\lambda }^2}$的尾部概率性質也是成立的。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计I 概率不等式11 Azuma不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。