UA MATH563 概率論的數學基礎 中心極限定理6 獨立隨機變量的和的分布

因為中心極限定理回答的是$n$個隨機變量的和/均值的極限分布的問題，所以在考慮漸近結果之前，我們有必要先理解一下如果不考慮極限分布，有沒有可能計算出當$n$有限時，$n$個隨機變量的和/均值的極限分布。

考慮$n=2$，假設$X,Y$獨立，我們試圖分析一下$X+Y$的分布：
$$\begin{gathered} F_{X+Y}(z)=P(X+Y\le z)={\int }_{x+y\le z}d{\mu }_X\times {\mu }_Y \\ =?1_{(?\infty ,z]}(x+y)d{\mu }_X\times {\mu }_Y \\ {=}_{Fubini}?1_{(?\infty ,z]}(x+y)d{\mu }_{X}d{\mu }_Y \\ =\int F_X(z?y)d{F}_Y(y)=\int F_Y(z?x)d{F}_X(x) \end{gathered}$$

它的密度為
$$\begin{gathered} f_{X+Y}(z)=\int f_X(z?y)d{F}_Y(y)=\int f_Y(z?x)d{F}_X(x) \\ =\int f_X(z?y)f_Y(y)dy=\int f_Y(z?x)f_X(x)dx \end{gathered}$$

稱$f_{X+Y}$是$f_X$與$f_Y$的卷積，記為
$$f_{X+Y}=f_X?f_Y$$

評注

有一些比較特殊的分布族，分布族的函數之間的卷積仍然屬于這個分布族，這樣的分布族有：Gamma分布、正態分布、Poisson分布、Bernoulli/二項分布、幾何分布/負二項分布等；

直接計算卷積是比較困難的，通常我們用Fourier變換計算卷積會容易得多，或者在概率論的語境下，即用特征函數來計算卷積。

應用 在對實際問題進行建模時，我們常常需要用隨機變量，記為$X$，描述一些復雜的隨機性，這樣的隨機變量通常是沒有辦法寫出密度函數的解析式的，但是我們可以加上一個非常“小”的正態分布$Y～N(0,{?}^2)$，使得$X+Y$有密度函數的解析式，這樣我們就可以用下面的近似：
$$f_X(x)\approx f_{X+Y}(x)$$

---

接下來我們考慮$n$個獨立的隨機變量，關于$n$個獨立隨機變量我們首要關心的問題并不是它們的分布如何計算，因為按照$n=2$的結果進行類比，$n$個獨立隨機變量的和的密度一定它們密度的卷積，至于如何計算它們的卷積那就是統計計算的問題，而不是概率論的問題了。所以從理論的角度討論$n$個獨立隨機變量, $n\in \mathbb{N}$，我們真正需要討論的是對任意自然數$n$，是否真的存在$n$個互相獨立的隨機變量？這個問題由Kolmogorov extension theorem回答。

我們首先建立一個合適的概率空間$(\Omega ,\mathcal{F},P)$：
$$\begin{gathered} \Omega ={\mathbb{R}}^n,\mathcal{F}=\mathcal{B}({\mathbb{R}}^n) \\ P={\mu }_1\times {\mu }_2\times ?\times {\mu }_n \end{gathered}$$

其中${\mu }_i$表示第$i$個概率分布。然后我們定義隨機變量$X_i:\Omega \to \mathbb{R}$，簡單起見，我們假設$X_i$是coordinate map，即
$$X_i(w)=w_i,w=(w_1,?,w_i,?,w_n)$$

不難驗證$X_1,?,X_n$就是$n$個獨立的隨機變量。

但當我們想要進一步延長這個隨機變量序列，問題就比較復雜了，是否存在$\{X_i{\}}_{i\ge 1}$（無限個隨機變量的序列）使得所有的隨機變量都是獨立的呢？

同樣的，我們先試圖建立概率空間，
$$\begin{gathered} \Omega ={\mathbb{R}}^{\infty }=\{(w_1,w_2,?,w_i,?),w_i\in \mathbb{R},i\ge 1\} \\ \mathcal{F}=\mathcal{B}({\mathbb{R}}^{\infty })=\sigma (\{A_{i_1}\times ?\times A_{i_k},k\ge 1\}) \end{gathered}$$

其中$A_{i_1},?,A_{i_k}$是rectangles。那么如何在$(\Omega ,\mathcal{F})$上定義概率測度呢？

• 對于$A_{i_1}\times ?\times A_{i_k}$，$$P(A_{i_1}\times ?\times A_{i_k})={\mu }_{i_1}(A_1)\times ?\times {\mu }_{i_k}(A_k)$$
• Kolmogorov extension theorem: 如果在$({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n))$上有概率測度${\nu }_n$，且${\nu }_n$是一致的(consistent)，即$${\nu }_{n+1}((a_1,b_1]\times ?\times (a_n,b_n]\times \mathbb{R})={\nu }_n((a_1,b_1]\times ?\times (a_n,b_n])$$那么我們可以在可測空間$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上構造唯一一個概率測度$P$，它滿足$$P(\{w:w_i\in (a_i,b_i],1\le i\le n\})={\nu }_n((a_1,b_1]\times ?\times (a_n,b_n])$$事實上Kolmogorov extension theorem的含義更具有一般性，只是這里我們應用一下這個定理用來構造無限個獨立的隨機變量。

下面我們用這個思路構造無限個獨立隨機變量。前文我們論述了當$n$有限時，$X_1,?,X_n$是獨立的，記它們的分布為${\mu }_i,1\le i\le n$，定義
$$\begin{gathered} {\nu }_n={\mu }_1\times ?\times {\mu }_n \\ {\nu }_n((a_1,b_1]\times ?\times (a_n,b_n])=\prod _{i=1}^n{\mu }_i((a_i,b_i]) \end{gathered}$$

可以驗證${\nu }_n$是一致的概率測度,
$$\begin{gathered} {\nu }_{n+1}((a_1,b_1]\times ?\times (a_n,b_n]\times \mathbb{R})=\prod _{i=1}^n{\mu }_i((a_i,b_i]){\mu }_{n+1}(\mathbb{R}) \\ =\prod _{i=1}^n{\mu }_i((a_i,b_i])={\nu }_n((a_1,b_1]\times ?\times (a_n,b_n]) \end{gathered}$$

根據Kolmogorov extension theorem，存在唯一一個$P$是$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上的概率測度，于是定義coordinate map
$$X_i:\Omega \to \mathbb{R},X_i(w)=w_i,?i\ge 1$$

這就是無限個獨立的隨機變量。

總結

以上是生活随笔為你收集整理的UA MATH563 概率论的数学基础 中心极限定理6 独立随机变量的和与Kolmogorov扩展定理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。