7.4.10 白化 whitening

回顧PCA，$Y=U^{T}A$ 即對數據矩陣 $A$ 進行旋轉變換 $U^T$ 得到主成分 $Y$ ，矩陣 $Y$ 的每列數據為每個學生新成績向量。所以 PCA 算法本質上是對數據點云進行旋轉變換，變換后數據矩陣的協方差矩陣為對角陣 ${\Sigma }^2$ ，即各個主成分無相關性。因為 $A{A}^T=U{\Sigma }^2{U}^T$ 即 $U$ 是協方差矩陣 $A{A}^T$ 的特征向量組，${\Sigma }^2$ 是特征值對角陣。

變換后數據矩陣 $Y$ 線性無關，每個分量的方差為 ${\sigma }_i^2$ 。我們還可以進一步變換 $Z={\Sigma }^{?1}Y={\Sigma }^{?1}{U}^{T}A$，使其每個分量的方差為 $1$ 。
$$\begin{gathered} Z^{T}Z=Y^T{\Sigma }^{?T}{\Sigma }^{?1}Y=Y^T{\Sigma }^{?T}{\Sigma }^{?1}Y \\ =A^{T}U{\Sigma }^{?T}{\Sigma }^{?1}{U}^{T}A \\ =(V{\Sigma }^T{U}^T)U{\Sigma }^{?T}{\Sigma }^{?1}{U}^T(U\Sigma V^T) \\ =E \end{gathered}$$

數據矩陣 $Z$ 的協方差矩陣為單位陣 $E$ ，即每個分量均值為 $0$，方差為 $1$，每個分量從均值和方差角度看都是一樣的，這時稱其為白化數據矩陣。由于白化 $Z={\Sigma }^{?1}Y$，需要除以奇異值，當奇異值趨近 $0$ 時，白化分量會趨于無窮大，造成數值不穩定，而且奇異值趨近 $0$ 的分量基本都是噪聲引起的，故一般只對奇異值較大的主成分進行白化。

白化數據矩陣有個重要性質，即任意正交矩陣 $Q$ ，變換數據矩陣 $X=QZ$ ，有 $X^{T}X=Z^T{Q}^{T}QZ=Z^{T}EZ=E$ ，數據矩陣 $X$ 也是白化數據矩陣，即白化后的數據矩陣任意旋轉操作后還是白化數據矩陣，在旋轉操作下具有不變性。當正交矩陣取 $U$ 時，此時 $Z=U{\Sigma }^{?1}{U}^{T}A=WA$ 稱為 ZCA 白化。白化變換矩陣 $W=U{\Sigma }^{?1}{U}^T$ 有個重要性質
$$WWA{A}^T=(U{\Sigma }^{?1}{U}^{T}U{\Sigma }^{?1}{U}^T)(U{\Sigma }^2{U}^T)=E$$

即 $WW$ 是 $A{A}^T$ 的逆矩陣，$W$ 是 $A{A}^T$ 的逆矩陣的平方根矩陣。

總結

以上是生活随笔為你收集整理的7.4.10 白化 whitening的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。