UA MATH563 概率論的數學基礎 中心極限定理8 弱大數定律 Bernstein多項式逼近

前七講我們已經討論清楚了獨立性以及獨立的隨機變量序列，接下來我們想要建立關于樣本均值的理論。考慮一個獨立的隨機變量序列$\{X_1,X_2,?,X_n\}$，定義樣本和為
$$S_n=\sum _{i=1}^n{X}_i$$

定義樣本均值為
$$\bar{X}=\frac{S_n}{n}$$

我們要試圖回答的問題是$\bar{X}$服從什么漸近分布？它在什么條件下會收斂到常數？

---

弱大數定律(weak law of large number, WLLN)
假設$\{X_n{\}}_{n\ge 1}$是不相關的隨機變量，$E{X}_n=\mu ,Var(X_n)\le c,?n\ge 1,?c>0$，則
$$\bar{X}{\to }_{L^2}\mu$$

說明
另外一個版本的弱大數定律的結論是$\bar{X}{\to }_p\mu$，但依概率收斂比均方收斂更弱，所以這里敘述的是均方收斂。

Lp收斂：$X_n{\to }_{L^p}X$等價于
$$\underset{n\to \infty }{\lim }E|X_n?X{|}^p=0$$

這種收斂弱于幾乎必然收斂但強于依概率收斂，當$p=2$時是$L^2$收斂，也叫均方收斂，于是$\bar{X}{\to }_{L^2}\mu$的含義是
$$E[\bar{X}?\mu {]}^2\to 0$$

因為
$$E\bar{X}=E\sum _{i=1}^n\frac{X_i}{n}=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$

所以$E[\bar{X}?\mu {]}^2=Var(\bar{X})$，于是弱大數法則的含義是樣本均值的方差趨近于0。

證明
根據Chebyshev不等式，$??>0$，
$$P(|\bar{X}?\mu |>?)\le \frac{E[\bar{X}?\mu {]}^2}{{?}^2}$$

其中（在$Var(\bar{X})$的計算中，我們需要不相關的假設）
$$E[\bar{X}?\mu {]}^2=Var(\bar{X})=\frac{1}{n^2}\sum _{i=1}^{n}Var(X_i)\le \frac{c}{n}\to 0$$

于是$P(|\bar{X}?\mu |>?)\to 0$，所以$\bar{X}{\to }_p\mu$。

事實上，這個結果同樣說明$E[\bar{X}?\mu ]=0,Var(\bar{X})\to 0$于是均方收斂成立。

應用：Bernstein多項式近似

假設$f:[0,1]\to \mathbb{R}$是一個連續函數，定義
$$f_n(x)=\sum _{k=0}^n{C}_n^k{x}^k(1?x{)}^{n?k}f(k/n)$$

稱$f_n$是$f$的$n$階Bernstein多項式(Bernstein polynomial of degree n with respect to f)，我們可以證明
$$\underset{x\in [0,1]}{\sup }|f_n(x)?f(x)|\to 0,n\to \infty$$

先簡單觀察一下Bernstein多項式的構造，它非常像二項式定理的展開式，于是在概率論的語境下，我們應該把它聯系到二項分布：

假設$X_1,?,X_n{～}_{iid}Ber(p)$，即
$$P(X_i=1)=p,P(X_i=0)=1?p$$

并且
$$E{X}_i=p,Var(X_i)=p(1?p)$$

Bernoulli分布的樣本和就是二項分布，
$$\begin{gathered} S_n=\sum _{i=1}^n{X}_i～Binom(n,p) \\ P(S_n=k)=C_n^k{p}^k(1?p{)}^{n?k} \end{gathered}$$

接下來我們嘗試把Bernstein不等式用期望表示出來，先做一下簡單的輔助計算幫助理解，如果$x=p$，則
$$f_n(p)=\sum _{k=0}^n{C}_n^k{p}^k(1?p{)}^{n?k}f(k/n)=\sum _{k=0}^{n}P(S_n=k)f(k/n)$$

$k$就是$S_n$的取值，顯然這個式子就是$f(S_n/n)$的期望。因為$p\in [0,1]$，于是我們要證明的可以是$f_n(p)\to f(p)$。

下面我們嘗試用WLLN說明這個結論：

閉區間上的連續函數有界，于是
$$M=\underset{x\in [0,1]}{\sup }|f(x)|<\infty$$

閉區間上的連續函數一致連續，于是$??>0,?\delta >0$, $|x?y|<\delta$則$|f(x)?f(y)|<?$；

計算
$$\begin{gathered} |f_n(p)?f(p)|=|E[f(S_n/n)]?f(p)|=|E[f(S_n/n)?f(p)]| \\ \le E|f(S_n/n)?f(p)| \\ =E[|f(S_n/n)?f(p)|,|S_n/n?p|\le \delta ] \\ +E[|f(S_n/n)?f(p)|,|S_n/n?p|>\delta ] \end{gathered}$$

其中$E[X,A]=E[X{1}_A]$，第一項
$$\begin{gathered} E[|f(S_n/n)?f(p)|,|S_n/n?p|\le \delta ] \\ \le E[?,|S_n/n?p|\le \delta ]\le ? \end{gathered}$$

第二項
$$\begin{gathered} E[|f(S_n/n)?f(p)|,|S_n/n?p|>\delta ] \\ \le E[2M,|S_n/n?p|>\delta ]=2MP(|S_n/n?p|>\delta ) \end{gathered}$$

根據Chebyshev不等式
$$2MP(|S_n/n?p|>\delta )\le \frac{2MVar(S_n/n)}{{\delta }^2}$$

根據弱大數定律，不妨取$Var(S_n/n)<\frac{{\delta }^2?}{2M}$，
$$\frac{2MVar(S_n/n)}{{\delta }^2}<?$$

如果不僅僅考慮收斂性，而是考慮近似誤差的話，我們可以通過計算$Var(S_n/n)$得到$2MP(|S_n/n?p|>\delta )$的上界為
$$\frac{2M}{n^2{\delta }^2}np(1?p)\le \frac{M}{2n{\delta }^2}$$

于是
$$\underset{p\in [0,1]}{\sup }|f_n(p)?f(p)|\le ?+\frac{M}{2n{\delta }^2}$$

總結

以上是生活随笔為你收集整理的UA MATH563 概率论的数学基础 中心极限定理8 弱大数定律 Bernstein多项式逼近的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。