下面的二維向量$W$只是一個樣本，對于多個樣本才能談論協方差，因為協方差和方差是求一系列樣本的協方差和方差，單個樣本并沒有協方差這一說。

下面公式中的求$w1$的期望和方差，是求所有樣本的$w1$特征的期望和方差。

不過下面的$W{W}^T$不叫協方差矩陣，因為各個特征(例如$w1$)沒有減去平均值（又叫期望），只有減去平均值（期望）的之后才能叫協方差矩陣，除非期望為0,最后還得除以樣本數目，才是協方差矩陣。
$$W=\left[\begin{array}{c}w1\\ w2\end{array}\right]$$
那么對于$w1和w2$期望為0的$W$協方差矩陣為：
$$P=E(W{W}^T)$$
注意，上面的協方差是對$W{W}^T$求期望，并非$協方差=W{W}^T$。

$$W{W}^T=\left[\begin{array}{c}w1\\ w2\end{array}\right]\left[\begin{array}{c}w1w2\end{array}\right]=?\begin{array}{cc}w{1}^2& w1?w2\\ & \\ w1?w2& w{2}^2\end{array}?$$

對上面等式求期望：
$$E\left[\begin{array}{cc}w{1}^2& w1?w2\\ w1?w2& w{2}^2\end{array}\right]=?\begin{array}{cc}E(w{1}^2)& E(w1?w2)\\ & \\ E(w1?w2)& E(w{2}^2)\end{array}?$$

方差的性質：
$$Var(x)=E(x^2)?E^2(x)\text{\hspace{1em}(1)}$$
如果$W$的兩個特征$w1,w2$都服從正態分布，那么：
期望為0，即：
$$?\begin{array}{l}E(w1)=0\\ \\ E(w2)=0\end{array}$$
那么，可以得到：
$$?\begin{array}{l}Var(w1)=E(w{1}^2)\\ \\ Var(w2)=E(w{2}^2)\end{array}$$
我們還可以求出$w1,w2$的協方差：
$$Cov(w1,w2)=E(w1?w2)$$
因此：
$$E(W{W}^T)=?\begin{array}{cc}Var(w1)& Cov(w1,w2)\\ & \\ Cov(w1,w2)& Var(w2)\end{array}?\text{\hspace{1em}(2)}$$

上面對等式求期望的那一步，其實就是求期望，只不過$E(w{1}^2)$其實是對很多樣本的$w1$求期望，也就是除以樣本數量。

---

證明過程：

下面是以三個樣本為例求$W{W}^T$，右上角標表示樣本編號：
左邊矩陣每列是一個樣本,用左上角小括號標注，下面是3個樣本。

$$\begin{gathered} W{W}^T=\left[\begin{array}{ccc}{w}_1^{(1)}& w_1^{(2)}& w_1^{(3)}\\ w_2^{(1)}& w_2^{(2)}& w_2^{(3)}\end{array}\right]??\begin{array}{cc}{w}_1^{(1)}& w_2^{(1)}\\ w_1^{(2)}& w_2^{(2)}\\ w_1^{(3)}& w_2^{(3)}\end{array}?= \\ ?\begin{array}{ccc}(w_1^{(1)}{)}^2+(w_1^{(2)}{)}^2+(w_1^{(3)}{)}^2& & w_1^{(1)}?w_2^{(1)}+w_1^{(2)}?w_2^{(2)}+w_1^{(3)}?w_2^{(3)}\\ & & \\ w_1^{(1)}?w_2^{(1)}+w_1^{(2)}?w_2^{(2)}+w_1^{(3)}?w_2^{(3)}& & (w_2^{(1)}{)}^2+(w_2^{(2)}{)}^2+(w_2^{(3)}{)}^2\end{array}? \end{gathered}$$

上面式子的$w1$和$w2$雖然期望為0，所以例如$w_1^{(1)}$這樣的每個樣本的每個特征都可以說已經做過減去均值的運算，但并沒有除以樣本數量3。矩陣中每項只有再除以樣本數量之后，才是協方差矩陣。
下面對它的矩陣中每項除以樣本數量3后：

• 左上角元素就是$w1$的方差$Var(w1)$；
• 右上角元素就是$w1,w2$的協方差$Cov(w1,w2)$；
• 左下角元素就是$w1,w2$的協方差$Cov(w1,w2)$；
• 右下角元素就是$w2$的方差$Var(w2)$；

就得到了下面的式子：
$$E(W{W}^T)=?\begin{array}{cc}Var(w1)& Cov(w1,w2)\\ & \\ Cov(w1,w2)& Var(w2)\end{array}?$$
上面的式子只針對期望為0的特征。

---

總結：

二維向量$W=\left[\begin{array}{c}w1\\ w2\end{array}\right]$的協方差矩陣 與$W{W}^T$之間可以經過轉化得到，只差兩步：

• 1.減去均值(期望)；
• 2.除以樣本數量。

總結

以上是生活随笔為你收集整理的【数学与算法】协方差矩阵 与 w*w^T 的关系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。