UA MATH563 概率論的數(shù)學(xué)基礎(chǔ) 中心極限定理6 獨(dú)立隨機(jī)變量的和的分布

因?yàn)橹行臉O限定理回答的是$n$個(gè)隨機(jī)變量的和/均值的極限分布的問題，所以在考慮漸近結(jié)果之前，我們有必要先理解一下如果不考慮極限分布，有沒有可能計(jì)算出當(dāng)$n$有限時(shí)，$n$個(gè)隨機(jī)變量的和/均值的極限分布。

考慮$n=2$，假設(shè)$X,Y$獨(dú)立，我們?cè)噲D分析一下$X+Y$的分布：
$$\begin{gathered} F_{X+Y}(z)=P(X+Y\le z)={\int }_{x+y\le z}d{\mu }_X\times {\mu }_Y \\ =?1_{(?\infty ,z]}(x+y)d{\mu }_X\times {\mu }_Y \\ {=}_{Fubini}?1_{(?\infty ,z]}(x+y)d{\mu }_{X}d{\mu }_Y \\ =\int F_X(z?y)d{F}_Y(y)=\int F_Y(z?x)d{F}_X(x) \end{gathered}$$

它的密度為
$$\begin{gathered} f_{X+Y}(z)=\int f_X(z?y)d{F}_Y(y)=\int f_Y(z?x)d{F}_X(x) \\ =\int f_X(z?y)f_Y(y)dy=\int f_Y(z?x)f_X(x)dx \end{gathered}$$

稱$f_{X+Y}$是$f_X$與$f_Y$的卷積，記為
$$f_{X+Y}=f_X?f_Y$$

評(píng)注

有一些比較特殊的分布族，分布族的函數(shù)之間的卷積仍然屬于這個(gè)分布族，這樣的分布族有：Gamma分布、正態(tài)分布、Poisson分布、Bernoulli/二項(xiàng)分布、幾何分布/負(fù)二項(xiàng)分布等；

直接計(jì)算卷積是比較困難的，通常我們用Fourier變換計(jì)算卷積會(huì)容易得多，或者在概率論的語境下，即用特征函數(shù)來計(jì)算卷積。

應(yīng)用 在對(duì)實(shí)際問題進(jìn)行建模時(shí)，我們常常需要用隨機(jī)變量，記為$X$，描述一些復(fù)雜的隨機(jī)性，這樣的隨機(jī)變量通常是沒有辦法寫出密度函數(shù)的解析式的，但是我們可以加上一個(gè)非常“小”的正態(tài)分布$Y～N(0,{?}^2)$，使得$X+Y$有密度函數(shù)的解析式，這樣我們就可以用下面的近似：
$$f_X(x)\approx f_{X+Y}(x)$$

---

接下來我們考慮$n$個(gè)獨(dú)立的隨機(jī)變量，關(guān)于$n$個(gè)獨(dú)立隨機(jī)變量我們首要關(guān)心的問題并不是它們的分布如何計(jì)算，因?yàn)榘凑?span id="ozvdkddzhkzd" class="katex--inline">$n=2$的結(jié)果進(jìn)行類比，$n$個(gè)獨(dú)立隨機(jī)變量的和的密度一定它們密度的卷積，至于如何計(jì)算它們的卷積那就是統(tǒng)計(jì)計(jì)算的問題，而不是概率論的問題了。所以從理論的角度討論$n$個(gè)獨(dú)立隨機(jī)變量, $n\in \mathbb{N}$，我們真正需要討論的是對(duì)任意自然數(shù)$n$，是否真的存在$n$個(gè)互相獨(dú)立的隨機(jī)變量？這個(gè)問題由Kolmogorov extension theorem回答。

我們首先建立一個(gè)合適的概率空間$(\Omega ,\mathcal{F},P)$：
$$\begin{gathered} \Omega ={\mathbb{R}}^n,\mathcal{F}=\mathcal{B}({\mathbb{R}}^n) \\ P={\mu }_1\times {\mu }_2\times ?\times {\mu }_n \end{gathered}$$

其中${\mu }_i$表示第$i$個(gè)概率分布。然后我們定義隨機(jī)變量$X_i:\Omega \to \mathbb{R}$，簡(jiǎn)單起見，我們假設(shè)$X_i$是coordinate map，即
$$X_i(w)=w_i,w=(w_1,?,w_i,?,w_n)$$

不難驗(yàn)證$X_1,?,X_n$就是$n$個(gè)獨(dú)立的隨機(jī)變量。

但當(dāng)我們想要進(jìn)一步延長(zhǎng)這個(gè)隨機(jī)變量序列，問題就比較復(fù)雜了，是否存在$\{X_i{\}}_{i\ge 1}$（無限個(gè)隨機(jī)變量的序列）使得所有的隨機(jī)變量都是獨(dú)立的呢？

同樣的，我們先試圖建立概率空間，
$$\begin{gathered} \Omega ={\mathbb{R}}^{\infty }=\{(w_1,w_2,?,w_i,?),w_i\in \mathbb{R},i\ge 1\} \\ \mathcal{F}=\mathcal{B}({\mathbb{R}}^{\infty })=\sigma (\{A_{i_1}\times ?\times A_{i_k},k\ge 1\}) \end{gathered}$$

其中$A_{i_1},?,A_{i_k}$是rectangles。那么如何在$(\Omega ,\mathcal{F})$上定義概率測(cè)度呢？

• 對(duì)于$A_{i_1}\times ?\times A_{i_k}$，$$P(A_{i_1}\times ?\times A_{i_k})={\mu }_{i_1}(A_1)\times ?\times {\mu }_{i_k}(A_k)$$
• Kolmogorov extension theorem: 如果在$({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n))$上有概率測(cè)度${\nu }_n$，且${\nu }_n$是一致的(consistent)，即$${\nu }_{n+1}((a_1,b_1]\times ?\times (a_n,b_n]\times \mathbb{R})={\nu }_n((a_1,b_1]\times ?\times (a_n,b_n])$$那么我們可以在可測(cè)空間$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上構(gòu)造唯一一個(gè)概率測(cè)度$P$，它滿足$$P(\{w:w_i\in (a_i,b_i],1\le i\le n\})={\nu }_n((a_1,b_1]\times ?\times (a_n,b_n])$$事實(shí)上Kolmogorov extension theorem的含義更具有一般性，只是這里我們應(yīng)用一下這個(gè)定理用來構(gòu)造無限個(gè)獨(dú)立的隨機(jī)變量。

下面我們用這個(gè)思路構(gòu)造無限個(gè)獨(dú)立隨機(jī)變量。前文我們論述了當(dāng)$n$有限時(shí)，$X_1,?,X_n$是獨(dú)立的，記它們的分布為${\mu }_i,1\le i\le n$，定義
$$\begin{gathered} {\nu }_n={\mu }_1\times ?\times {\mu }_n \\ {\nu }_n((a_1,b_1]\times ?\times (a_n,b_n])=\prod _{i=1}^n{\mu }_i((a_i,b_i]) \end{gathered}$$

可以驗(yàn)證${\nu }_n$是一致的概率測(cè)度,
$$\begin{gathered} {\nu }_{n+1}((a_1,b_1]\times ?\times (a_n,b_n]\times \mathbb{R})=\prod _{i=1}^n{\mu }_i((a_i,b_i]){\mu }_{n+1}(\mathbb{R}) \\ =\prod _{i=1}^n{\mu }_i((a_i,b_i])={\nu }_n((a_1,b_1]\times ?\times (a_n,b_n]) \end{gathered}$$

根據(jù)Kolmogorov extension theorem，存在唯一一個(gè)$P$是$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上的概率測(cè)度，于是定義coordinate map
$$X_i:\Omega \to \mathbb{R},X_i(w)=w_i,?i\ge 1$$

這就是無限個(gè)獨(dú)立的隨機(jī)變量。

總結(jié)

以上是生活随笔為你收集整理的UA MATH563 概率论的数学基础 中心极限定理6 独立随机变量的和与Kolmogorov扩展定理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。