UA MATH564 概率論VI 數理統計基礎2

• 多元正態分布
• • 矩母函數
  • 概率密度
• 多元正態分布的矩
• 條件分布
• 獨立性

抽樣分布簡單地說就是統計量服從的分布，正態分布時最常用的總體分布，因此研究正態總體的抽樣分布是相當重要的。一般我們研究下面這三種分布：卡方分布、t分布、F分布。關于統計量的內容可以參考統計理論的第一篇。這一講介紹多元正態分布，之后逐個介紹這三種分布。

多元正態分布

假設$X$是$n$個獨立標準正態隨機變量構成的列向量，則多元正態隨機變量被定義為$X$的有限個線性函數：
$$Y=AX+\mu ,A\in {\mathbb{R}}^{m\times n},\mu \in {\mathbb{R}}^{m\times 1}$$
記為$Y～N_m(\mu ,A{A}^{\prime })$，$X$的分布可以記為$X～N_n(0,I_n)$。不妨假設$m<n$。多元正態分布具有如下性質：

$Z=BY+d,B\in {\mathbb{R}}^{l\times m},d\in {\mathbb{R}}^{l\times 1}$，則$Z～N_l(B\mu +d,BA{A}^{\prime }{B}^{\prime })$

$Y=(Y_1^{\prime },Y_2^{\prime }{)}^{\prime },\mu =({\mu }_1^{\prime },{\mu }_2^{\prime }{)}^{\prime },Y_1,{\mu }_1\in {\mathbb{R}}^{r\times 1},Y_2,{\mu }_2\in {\mathbb{R}}^{(m?r)\times 1}$，$A{A}^{\prime }=\left[\begin{array}{cc}{V}_{11}& V_{12}\\ V_{21}& V_{22}\end{array}\right]$，$V_{11}\in {\mathbb{R}}^{r\times r},V_{22}\in {\mathbb{R}}^{(m?r)\times (m?r)},V_{12}\in {\mathbb{R}}^{r\times (m?r)},V_{21}\in {\mathbb{R}}^{(m?r)\times r}$，則$$Y_1～N_r({\mu }_1,V_{11}),Y_2～N_{m?r}({\mu }_1,V_{22})$$

顯然2就是1的特例，性質1根據定義可以直接看出來：
$$Z=BY+d=B(AX+\mu )+d=BAX+(B\mu +d)～N_l(B\mu +d,BA{A}^{\prime }{B}^{\prime })$$
性質1說明多元正態隨機變量的線性變換也是多元正態隨機變量；性質2說明多元正態隨機變量的部分元素也服從多元正態分布。

矩母函數

現在考慮記$V=A{A}^{\prime }$，并假設$\det (V)=0$，則$Y～N_m(\mu ,V)$，我們來嘗試推導它的矩母函數。先考慮$X～N_n(0,I_n)$的矩母函數，
$$M_X(t)=E{e}^{t^{\prime }X}=E{e}^{{\sum }_{i=1}^n{t}_i{X}_i}=\prod _{i=1}^{n}E{e}^{t_i{X}_i}=\prod _{i=1}^n{e}^{?\frac{1}{2}{t}_i^2}=\exp \left(?\frac{1}{2}{t}^{\prime }t\right)$$
因為$Y=AX+\mu$，$M_Y(t)=E{e}^{t^{\prime }Y}=E{e}^{t^{\prime }AX+t^{\prime }\mu }=e^{t^{\prime }\mu }E{e}^{t^{\prime }AX}$，記$t^{\prime }A=s^{\prime }$，則
$$E{e}^{t^{\prime }AX}=E{e}^{s^{\prime }X}=\exp \left(?\frac{1}{2}{s}^{\prime }s\right)=\exp \left(?\frac{1}{2}{t}^{\prime }A{A}^{\prime }t\right)$$
所以多元正態隨機變量的矩母函數為
$$M_Y(t)=\exp \left(t^{\prime }\mu ?\frac{1}{2}{t}^{\prime }A{A}^{\prime }t\right)=\exp \left(t^{\prime }\mu ?\frac{1}{2}{t}^{\prime }Vt\right)$$

概率密度

接下來推導密度函數：
$$f_Y(y)=(2\pi {)}^{?m/2}(\det (V){)}^{?1/2}\exp \left(?\frac{1}{2}(y?\mu {)}^{\prime }{V}^{?1}(y?\mu )\right)$$
首先，$X$就是$n$個標準正態簡單隨機樣本，它的密度函數是
$$f_{(}X)(x)=(2\pi {)}^{?n/2}\exp \left(?\frac{1}{2}{x}^{\prime }x\right)$$
把$Y$看成是基于$X$的變換，
$$P(Y\le a)={\int }_{Ax+\mu \le a}(2\pi {)}^{?n/2}\exp \left(?\frac{1}{2}{x}^{\prime }x\right)dx$$
假設$Y$的密度函數為$f_Y(y)$，則
$$P(Y\le a)={\int }_{y\le a}{f}_Y(y)dy$$
計算$f_Y(y)$的思路是對$x$的積分做積分換元，使積分域與對$y$的積分的積分域相同。積分換元公式只能處理用滿秩的$C^1$變換換元的情況，考慮到$Y=AX+\mu$不是一個滿秩的變換，我們可以把它補成滿秩的。定義$T=[A^{\prime },B^{\prime }{]}^{\prime }\in {\mathbb{R}}^{n\times n}$，其中$B\in {\mathbb{R}}^{(n?m)\times n}$滿足$A{B}^{\prime }=0,B{B}^{\prime }=I_{n?m}$，記$u_1=Ax,u_2=Bx,u=Tx$，因為$T$是滿秩的，因此$x=T^{?1}u$，$Ax+\mu \le a?u_1+\mu \le a$，
$$\begin{gathered} T{T}^{\prime }=\left(\begin{array}{c}A\\ B\end{array}\right)\left(\begin{array}{cc}{A}^{\prime }& B^{\prime }\end{array}\right)=diag(V,I_{n?m}) \\ (T{T}^{\prime }{)}^{?1}=diag(V^{?1},I_{n?m}),\det (T{T}^{\prime }{)}^{?1}=\det (V^{?1}) \\ {x}^{\prime }x=u^{\prime }(T{T}^{\prime }{)}^{?1}u=u_1^{\prime }{V}^{?1}{u}_1+u_2^{\prime }{u}_2 \\ \det (T^{?1})=(\det (T){)}^{?1}=(\det (T{T}^{\prime }){)}^{?1/2}=(\det (V){)}^{?1/2} \end{gathered}$$
根據積分換元公式，
$$\begin{gathered} P(Y\le a)={\int }_{Ax+\mu \le a}(2\pi {)}^{?n/2}\exp \left(?\frac{1}{2}{x}^{\prime }x\right)dx \\ ={\int }_{u_1+\mu \le a}(2\pi {)}^{?n/2}(\det (V){)}^{?1/2}\exp \left(?\frac{1}{2}(u_1^{\prime }{V}^{?1}{u}_1+u_2^{\prime }{u}_2)\right)du \\ ={\int }_{{\mu }_1+\mu \le a}(2\pi {)}^{?m/2}(\det (V){)}^{?1/2}\exp \left(?\frac{1}{2}{u}_1^{\prime }{V}^{?1}{u}_1\right)d{u}_1 \end{gathered}$$
再做變換$w=u_1+\mu$，則上式可進一步化簡，
$$RHS={\int }_{w\le a}(2\pi {)}^{?m/2}(\det (V){)}^{?1/2}\exp \left(?\frac{1}{2}(w?\mu {)}^{\prime }{V}^{?1}(w?\mu )\right)dw$$
根據一階微分的唯一性，
$$f_Y(y)=(2\pi {)}^{?m/2}(\det (V){)}^{?1/2}\exp \left(?\frac{1}{2}(y?\mu {)}^{\prime }{V}^{?1}(y?\mu )\right)$$

多元正態分布的矩

對于$Y～N_m(\mu ,V)$，稱$\mu$是$Y$的期望，$V$是$Y$的協方差矩陣：
$$\mu =EY,V=Var(Y)=Cov(Y,Y)=E((Y?\mu )(Y?\mu {)}^{\prime })$$
他們有如下性質：

$E[AX]=AE[X]$

$E[AXB]=AE[X]B$

$Var(AX)=AVar(X)A^{\prime }$

$Cov(AX,BY)=ACov(X,Y)B^{\prime }$

前兩條就是期望的線性性，第三條是第四條的特例，在第四條中取$B=A,Y=X$即可，下面說一下第四條：
$$\begin{gathered} Cov(AX,BY)=E[(AX?AE[X])(BY?BE[Y]{)}^{\prime }] \\ =E[AX{Y}^{\prime }{B}^{\prime }]?AE[X]E[Y^{\prime }]B^{\prime }=A\{E[X{Y}^{\prime }]?E[X]E[Y^{\prime }]\}{B}^{\prime }=ACov(X,Y)B^{\prime } \end{gathered}$$

條件分布

現在考慮多元正態分布性質2中的分塊：
$Y=(Y_1^{\prime },Y_2^{\prime }{)}^{\prime },\mu =({\mu }_1^{\prime },{\mu }_2^{\prime }{)}^{\prime },Y_1,{\mu }_1\in {\mathbb{R}}^{r\times 1},Y_2,{\mu }_2\in {\mathbb{R}}^{(m?r)\times 1}$，$A{A}^{\prime }=\left[\begin{array}{cc}{V}_{11}& V_{12}\\ V_{21}& V_{22}\end{array}\right]$，$V_{11}\in {\mathbb{R}}^{r\times r},V_{22}\in {\mathbb{R}}^{(m?r)\times (m?r)},V_{12}\in {\mathbb{R}}^{r\times (m?r)},V_{21}\in {\mathbb{R}}^{(m?r)\times r}$，則
$$\begin{gathered} E[Y_1|Y_2]={\mu }_1+V_{12}{V}_{22}^{?1}(Y_{22}?{\mu }_2) \\ Var(Y_1|Y_2)=V_{11,2}=V_{11}?V_{12}{V}_{22}^{?1}{V}_{11} \end{gathered}$$
其中$V_{12}{V}_{22}$被稱為$Y_1$關于$Y_2$的回歸系數陣，$V_{11,2}$被稱為條件協方差矩陣。這兩個公式的推導不需要額外的技巧，思路是計算條件分布$Y_1|Y_2$即可，因為邊緣密度和聯合密度都有，所以按定義仔細計算就好。

獨立性

對于隨機向量$X$與$Y$，稱$X,Y$獨立，如果
$$P(X<a,Y<b)=P(X<a)P(Y<b),?a,b$$
關于多元正態分布的獨立性有如下性質：

$X～N(0,I_n)$，$Y=AX+\mu ,Z=BX+\nu ,A{A}^{\prime }>0,B{B}^{\prime }>0$，則$Y$與$Z$獨立的充要條件是$A{B}^{\prime }=0$

$Y_1$與$Y_2$互相獨立的條件是$V_{12}=0$

因為$V_{12}=Cov(Y_1,Y_2)$，所以第二條性質也是說明多元的情況下，獨立性也是協方差為0的充分條件。這個性質比較明顯，因為協方差為0保證在計算概率的時候可以使用Fubini定理。接受了這一點后再看性質1就會比較顯然了，
$$Cov(Y,Z)=Cov(AX+\mu ,BX+\nu )=Cov(AX,BX)=A{B}^{\prime }$$
當$A{B}^{\prime }=0$的時候協方差會等于0，因此二者獨立。

總結

以上是生活随笔為你收集整理的UA MATH564 概率论VI 数理统计基础2 多元正态分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。