7.4.10 白化 whitening

回顧PCA，$Y=U^{T}A$ 即對數(shù)據(jù)矩陣 $A$ 進(jìn)行旋轉(zhuǎn)變換 $U^T$ 得到主成分 $Y$ ，矩陣 $Y$ 的每列數(shù)據(jù)為每個學(xué)生新成績向量。所以 PCA 算法本質(zhì)上是對數(shù)據(jù)點云進(jìn)行旋轉(zhuǎn)變換，變換后數(shù)據(jù)矩陣的協(xié)方差矩陣為對角陣 ${\Sigma }^2$ ，即各個主成分無相關(guān)性。因為 $A{A}^T=U{\Sigma }^2{U}^T$ 即 $U$ 是協(xié)方差矩陣 $A{A}^T$ 的特征向量組，${\Sigma }^2$ 是特征值對角陣。

變換后數(shù)據(jù)矩陣 $Y$ 線性無關(guān)，每個分量的方差為 ${\sigma }_i^2$ 。我們還可以進(jìn)一步變換 $Z={\Sigma }^{?1}Y={\Sigma }^{?1}{U}^{T}A$，使其每個分量的方差為 $1$ 。
$$\begin{gathered} Z^{T}Z=Y^T{\Sigma }^{?T}{\Sigma }^{?1}Y=Y^T{\Sigma }^{?T}{\Sigma }^{?1}Y \\ =A^{T}U{\Sigma }^{?T}{\Sigma }^{?1}{U}^{T}A \\ =(V{\Sigma }^T{U}^T)U{\Sigma }^{?T}{\Sigma }^{?1}{U}^T(U\Sigma V^T) \\ =E \end{gathered}$$

數(shù)據(jù)矩陣 $Z$ 的協(xié)方差矩陣為單位陣 $E$ ，即每個分量均值為 $0$，方差為 $1$，每個分量從均值和方差角度看都是一樣的，這時稱其為白化數(shù)據(jù)矩陣。由于白化 $Z={\Sigma }^{?1}Y$，需要除以奇異值，當(dāng)奇異值趨近 $0$ 時，白化分量會趨于無窮大，造成數(shù)值不穩(wěn)定，而且奇異值趨近 $0$ 的分量基本都是噪聲引起的，故一般只對奇異值較大的主成分進(jìn)行白化。

白化數(shù)據(jù)矩陣有個重要性質(zhì)，即任意正交矩陣 $Q$ ，變換數(shù)據(jù)矩陣 $X=QZ$ ，有 $X^{T}X=Z^T{Q}^{T}QZ=Z^{T}EZ=E$ ，數(shù)據(jù)矩陣 $X$ 也是白化數(shù)據(jù)矩陣，即白化后的數(shù)據(jù)矩陣任意旋轉(zhuǎn)操作后還是白化數(shù)據(jù)矩陣，在旋轉(zhuǎn)操作下具有不變性。當(dāng)正交矩陣取 $U$ 時，此時 $Z=U{\Sigma }^{?1}{U}^{T}A=WA$ 稱為 ZCA 白化。白化變換矩陣 $W=U{\Sigma }^{?1}{U}^T$ 有個重要性質(zhì)
$$WWA{A}^T=(U{\Sigma }^{?1}{U}^{T}U{\Sigma }^{?1}{U}^T)(U{\Sigma }^2{U}^T)=E$$

即 $WW$ 是 $A{A}^T$ 的逆矩陣，$W$ 是 $A{A}^T$ 的逆矩陣的平方根矩陣。

總結(jié)

以上是生活随笔為你收集整理的7.4.10 白化 whitening的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。