協方差的公式定義是什么？協方差是用來衡量什么的？

• 公式定義 $Cov(X,Y)=E[(X?EX)(Y?EY)]$
• 協方差用來衡量隨機變量之間的相關關系的，如果 $Cov(X,Y)=0$, 就可以說兩個隨機變量之間不相關。
• 由于獨立的要求比相關更嚴格，即：獨立一定不相關，但不相關不一定獨立。那么我們就可以進行斷行
  • 如果兩個隨機變量具有某種相關關系，那么他們一定不相互獨立。
  • 如果兩個隨機變量相互獨立，那么他們就一定相關。

當兩個隨機變量相互獨立的時候，協方差的值是什么？簡要證明并嘗試列舉和方差的關系。

• 在第一個問題中已經得到了解答，當兩個隨機變量相互獨立的時候，一定是不相關的，那么 $Cov(X,Y)=0$.

證明：首先，我們分解 $Cov(X,Y)$ 就有：

$$\begin{array}{rl}Cov(X,Y)& =E(XY)?XE(Y)?YE(X)+E(X)E(Y)\\ & =E(XY)?2E(X)E(Y)+E(X)E(Y)\\ & =E(XY)?E(X)E(Y)\end{array}$$

同時，如果 $X,Y$ 相互獨立的話，有 $E(XY)=E(X)E(Y)$ , 因此就可知 $Cov(X,Y)=0$

• 另外，從協方差的定義中可以看到 ， 當 $X=Y$ 的時候， $Cov(X,Y)=D(X)$
• $D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$

證明： （從一般情況得到兩個隨機變量的情況）

由于有 $D(X)=Cov(X,X)$ 因此可知 $D({\sum }_{i=1}^n{X}_i)=Cov({\sum }_{i=1}^n{X}_i,{\sum }_{j=1}^n{X}_j)$

上面的公式是把 ${\sum }_{i=1}^n{X}_i$ 看做一個隨機變量，這時候 ${\sum }_{i=1}^n{X}_i$ 和 ${\sum }_{i=j}^n{X}_j$ 是相等的。

同時，根據協方差的性質，$Cov({\sum }_{i=1}^n{a}_i{X}_i,{\sum }_{j=1}^m{b}_j{Y}_j)={\sum }_{i=1}^n{\sum }_{j=1}^m{a}_i{b}_{j}Cov(X_i,Y_j)$

就有：
$\begin{array}{rl}Cov(\sum _{i=1}^n{X}_i,\sum _{j=1}^n{X}_j)& =\sum _{i=1}^n\sum _{j=1}^{n}Cov(X_i,X_j)\\ & =\sum _{i=1}^{n}Cov(X_i,X_i)+{\sum \sum }_{i?=j}Cov(X_i,X_j)\\ & =\sum _{i=1}^{n}D(X_i)+2{\sum \sum }_{1\le i<j\le n}Cov(X_i,X_j)\end{array}$

從上面的一般式就可以得出 n = 2 的情況。

簡述柯西–許瓦茲不等式以及不等式等號成立條件的證明。

• 對任意的隨機變量 $X,Y$, 若 $E(X^2)<+\infty ,E(Y^2)<+\infty$, 則有 $[E(XY){]}^2\le E(X^2)?E(Y^2)$, 當且僅當 $P\{Y=t_{0}X\}=1$ 時等號成立，其中 $t_0$ 為某常數。

  證明：令 $u(t)=E(tX?Y{)}^2=t^{2}E(X^2)?2tE(XY)+E(Y^2)$ 可以知道 $u(t)$ 沒有實根或者只有一個重根。因此就有 $\Delta =[2E(XY){]}^2?4E(X^2)E(Y^2)\le 0?[E(XY){]}^2\le E(X^2)?E(Y^2)$

  如果 $\Delta =0$, 就有 存在一個 $t_0$ 使得 $E(tX?Y{)}^2=0$

  同時，有 $0\le D(t_{0}X?Y)=E(t_{0}X?Y{)}^2?[E(t_{0}X?Y){]}^2=?[E(t_{0}X?Y){]}^2\le 0$

  因此可知 $D(t_{0}X?Y)=0,E(t_{0}X?Y)=0$

  根據方差的性質有：$D(X)=0$的充要條件是存在常數C使得$P\{X=C\}=1$, 其中$C=E(X)$

  這里，我們使 $Z=t_{0}X?Y$ 有 $D(Z)=0,E(Z)=0$ 因此有 $P\{Z=0\}=1?P\{t_{0}X?Y=0\}=1?P\{t_{0}X=Y\}=1$

• 將上面的公式里面的 $X$ 替換成 $X?E(X)$, $Y$ 替換成 $Y?E(Y)$ 就有 $[Cov(X,Y){]}^2\le D(X)D(Y)$

相關系數的公式定義是什么？它又是用來衡量什么的？為什么要是用相關系數？

• ${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=Cov(\frac{X?E(X)}{\sqrt{D(X)}},\frac{Y?E(Y)}{\sqrt{D(Y)}})=Cov(X^{?},Y^{?})$
• 相關系數和協方差的關系就類似于變異系數和方差的關系一樣，它是協方差的標準化表示，也是表示隨機變量之間相關關系的表示，于協方差不同的是，協方差容易受隨機變量本身數值大小的影響，由于相關系數是進行標準化后的度量，因此可以更好的度量相關關系。

給出隨機變量 $X,Y$ 不相關的幾條等價表示。

• $Cov(X,Y)=0$
• ${\rho }_{XY}=0$
• $D(X\pm Y)=D(X)+D(Y)$
• $E(XY)=E(X)E(Y)$

給出相關系數 ${\rho }_{XY}$ 兩條性質的證明。

• $|{\rho }_{XY}|\le 1$

  證明：令 $X^{?}=\frac{X?E(X)}{\sqrt{D(X)}},Y^{?}=\frac{Y?E(Y)}{\sqrt{D(Y)}}$。 有 $D(X^{?})=1,D(Y^{?})=1$

  同時，根據第三問中的結論 $[Cov(X,Y){]}^2\le D(X)D(Y)$ 可知 ${\rho }_{XY}^2\le D(X^{?})D(Y^{?})=1$

  因此可知 $|{\rho }_{XY}|\le 1$

• $|{\rho }_{XY}|=1$ 的充要條件是 X 與 Y 以概率 1 線性相關，即存在常數 a 和 b 使得 $P\{Y=aX+b\}=1$。即

  • ${\rho }_{XY}=1$ 當且僅當 $P\{\frac{Y?E(Y)}{\sqrt{D(Y)}}=\frac{X?E(X)}{\sqrt{D(X)}}\}=1$
  • ${\rho }_{XY}=?1$ 當且僅當 $P\{\frac{Y?E(Y)}{\sqrt{D(Y)}}=?\frac{X?E(X)}{\sqrt{D(X)}}\}=1$

  證明：

  $$|{\rho }_{XY}|=1?{\rho }_{XY}^2=1?[E(X^{?}{Y}^{?})?E(X^{?})E(Y^{?}){]}^2=1$$

  同時，由于 $E(X^{?})=E(Y^{?})=0,E(X^{?}{)}^2=E(Y^{?}{)}^2=1$

  可以知道

  $$[E(X^{?}{Y}^{?})?E(X^{?})E(Y^{?}){]}^2=[E(X^{?}{Y}^{?}){]}^2=1=E(X^{?}{)}^{2}E(Y^{?}{)}^2$$

  根據 柯西–許瓦茲不等式我們知道，滿足上面等式的當且僅當存在 $t_0$ 使得 $P\{Y^{?}=C{X}^{?}\}=1$

  因此有

  $$P\{\frac{Y?E(Y)}{\sqrt{D(Y)}}=C\frac{X?E(X)}{\sqrt{D(X)}}\}?P\{Y=C\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}X+(E(Y)?CE(X)\frac{\sqrt{D(Y)}}{\sqrt{D(X)}})\}$$

  根據上面的公式，很明顯，令 $a=C\frac{\sqrt{D(Y)}}{\sqrt{D(X)}},b=E(Y)?CE(X)\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}$ 就能得到 $Y=aX+b$

  同理，根據 ${\rho }_{XY}=1$ 有 $Y^{?}=C{X}^{?}$

  就有 $Cov(X^{?},Y^{?})=Cov(X^{?},C{X}^{?})=CD(X?)=C=1$, 證畢。

  同理當 ${\rho }_{XY}=?1$ 也可證明。