7.4.7 2DPCA

回顧PCA方法本質是求向量 $\alpha$ 使所有樣本與之內積最大，樣本只能是向量數據。

$${\mathbf{u}}_1=argma{x}_{\alpha }\sum _{{\mathbf{a}}_i\in A}({\alpha }^T{\mathbf{a}}_i{)}^2$$

如果樣本是圖像，則樣本都是矩陣數據，怎么推廣PCA使之能適用矩陣數據呢？一種最簡單的方法是把矩陣拉伸為向量，然后采用PCA。拉伸方法很簡單，把矩陣所有列向量拼接為一個向量即可。例如矩陣有兩個列向量：$(1,2),(3,4)$， 則拉伸為一個向量是 $(1,2,3,4)$ 。這個方法很直觀，但缺點是當矩陣尺寸很大時，拉伸向量維度很高，進行特征值分解或奇異值分解都比較困難，難以獲得精確的主成分。那能不能直接從矩陣計算呢，顯然是可以的。

樣本都是向量時，

$$\begin{gathered} \sum _{{\mathbf{a}}_i\in A}({\mathbf{a}}_i^T\alpha {)}^2 \\ =\sum _{{\mathbf{a}}_i\in A}({\alpha }^T{\mathbf{a}}_i)({\mathbf{a}}_i^T\alpha ) \\ ={\alpha }^T[\sum _{{\mathbf{a}}_i\in A}({\mathbf{a}}_i{\mathbf{a}}_i^T)]\alpha \\ ={\alpha }^{T}A{A}^T\alpha \end{gathered}$$

顯然主成分 $\alpha$ 是矩陣 $A{A}^T$ 的特征向量，該矩陣為協方差矩陣。

如果樣本都是矩陣 $A_i$，上面公式核心 $({\mathbf{a}}_i^T\alpha {)}^2$ 可改為 $J_i=\Vert A_i^T\alpha {\Vert }^2$ 則

$$\begin{gathered} J=\sum _i{J}_i=\sum _{A_i\in A}\Vert A_i^T\alpha {\Vert }^2 \\ =\sum _{A_i\in A}(A_i^T\alpha {)}^T(A_i^T\alpha ) \\ =\sum _{A_i\in A}{\alpha }^T{A}_i{A}_i^T\alpha \\ ={\alpha }^T[\sum _{A_i\in A}(A_i{A}_i^T)]\alpha \end{gathered}$$

令 $S={\sum }_{A_i\in A}(A_i{A}_i^T)$ 為對稱矩陣，可稱為廣義協方差矩陣。

主成分 $\alpha$ 是矩陣 $S$ 的特征向量，則前 $k$ 個主成分即是使 $J$ 最大的 $k$ 個投影方向。

我們來分析主成分的幾何意義
$$\begin{gathered} J_i=\Vert A_i^T\alpha {\Vert }^2 \\ =\sum _i({\mathbf{a}}_i^T\alpha {)}^2 \end{gathered}$$
$J_i$ 是矩陣 $A_i$ 所有列向量投影平方和，則 $J$ 是所有矩陣 $A_i$ 的所有列向量投影平方和，即把矩陣看作列向量組，求所有列向量的投影，投影平方和最大的方向即為主方向，其本質和PCA一樣！都是求向量組投影平方和最大值。

令矩陣 $S$ 前 $k$ 個主成分和特征值分別為 ${\mathbf{u}}_1,?,{\mathbf{u}}_k$ 和 ${\sigma }_1,?,{\sigma }_k$ 。
則 ${\mathbf{v}}_j＝A_i^T{\mathbf{u}}_j$ 表示樣本矩陣 $A_i$ 每個列向量在主方向 ${\mathbf{u}}_j$ 坐標值構成的向量，稱為主成分分量。令矩陣 $U=[{\mathbf{u}}_1,?,{\mathbf{u}}_k]$，則 $V=[A_i^T{\mathbf{u}}_1,?,A_i^T{\mathbf{u}}_k]=A_i^{T}U$ 為樣本 $A_i$ 前 $k$ 個主成分分量，即樣本矩陣 2DPCA 降維后的矩陣表示。利用樣本矩陣 2DPCA 降維后的矩陣表示重構原樣本矩陣為
$${\bar{A}}_i^T=V{U}^T=\sum _j{\mathbf{v}}_j{\mathbf{u}}_j^T$$

以上內容就是 2DPCA 的核心內容。實際計算過程中，計算廣義協方差矩陣 $S={\sum }_{A_i\in A}(A_i{A}_i^T)$ 的特征值分解時，需先對其進行中心化。由于 2DPCA 本質是求所有列向量的投影平方和，故僅需對樣本矩陣中列向量進行中心化。所以提出一種新的中心化方法，這種方法不同于提出 2DPCA 原始論文的方法。令所有樣本矩陣的所有列向量的平均向量為
$$\begin{gathered} \bar{\mathbf{a}}=\frac{1}{mn}\sum _{i,j}{\mathbf{a}}_j^i \\ 其中{\mathbf{a}}_j^i是樣本矩陣A_i的第j個列向量，n是樣本數量，m是樣本矩陣的列數 \end{gathered}$$

故中心化為 $\overline{{\mathbf{a}}_j^i}={\mathbf{a}}_j^i?\bar{\mathbf{a}}$ 。

原始論文的中心化方法為，求樣本矩陣的平均矩陣 $\bar{A}=\frac{1}{n}{\sum }_i{A}_i$ ，樣本中心化為 ${\bar{A}}_i=A_i?\bar{A}$ ，即對樣本矩陣的每個列向量獨立進行中心化。

以上是對列向量計算投影平方和，同理可對行向量計算投影平方和，原理完全一致，即令 $J_i=\Vert A_i\alpha {\Vert }^2$ 則

$$J=\sum _i{J}_i={\alpha }^T[\sum _{A_i\in A}(A_i^T{A}_i)]\alpha$$

令 $S={\sum }_{A_i\in A}(A_i^T{A}_i)$ 為對稱矩陣，可稱為廣義協方差矩陣。

主成分 $\alpha$ 是矩陣 $S$ 的特征向量，則前 $k$ 個主成分即是使 $J$ 最大的 $k$ 個投影方向 ${\mathbf{u}}_i$。令矩陣 $U=[{\mathbf{u}}_1,?,{\mathbf{u}}_k]$，則 $V=[A_i{\mathbf{u}}_1,?,A_i{\mathbf{u}}_k]=A_{i}U$ 為樣本 $A_i$ 前 $k$ 個主成分分量，即樣本矩陣 2DPCA 降維后的矩陣表示。利用樣本矩陣 2DPCA 降維后的矩陣表示重構原樣本矩陣為
$${\bar{A}}_i=V{U}^T=\sum _j{\mathbf{v}}_j{\mathbf{u}}_j^T$$

令所有樣本矩陣的所有行向量的平均向量為
$$\begin{gathered} \bar{\mathbf{a}}=\frac{1}{mn}\sum _{i,j}{\mathbf{a}}_j^{ci} \\ 其中{\mathbf{a}}_j^{ci}是樣本矩陣A_i的第j個行向量，n是樣本數量，m是樣本矩陣的行數 \end{gathered}$$

故中心化為 $\overline{{\mathbf{a}}_j^{ci}}={\mathbf{a}}_j^{ci}?\bar{\mathbf{a}}$ 。

實際應用時，可先對樣本矩陣進行列方向的 2DPCA 得到樣本矩陣 $V$ ，然后對 $V$ 進行行方向的 2DPCA 得到樣本矩陣 $W$ 。

上面介紹的所有PCA方法有兩點需要特別強調，第一，為什么需要先對數據進行中心化？中心化主要有兩個目的，第一，使矩陣 $A{A}^T$ 是協方差矩陣，奇異值平方為屬性方差，物理意義很明顯。第二，就不是那么明顯了，PCA主要目的是降維，利用少數幾個主成分表示樣本所有屬性，所以前提是樣本點云位于樣本空間中的低維子空間，如果點云覆蓋了整個樣本空間，則不可降維，PCA就失去意義。點云形狀本質上是由樣本屬性決定的，不可能通過中心化改變，中心化是樣本減去均值向量，是平移操作即把空間原點移到點云中心，平移操作看似平凡，但確實能對點云降維。舉個例子更能說明問題，假設三維空間中點云成一條直線，直線是一維的，所以其應該位于一維子空間中，但如果直線不通過空間原點，則該直線其實是位于二維子空間！只需要簡單的平移操作，使空間原點位于直線上，則直線就變為一維！這就是平移的力量！

再強調下旋轉操作的力量。如果同學對剛體運動比較了解，知道不管剛體運動如何復雜，都可以簡化為平移和旋轉復合運動。對數據點云的操作同樣如此，可以采用平移和旋轉。平移的力量已經展示了。旋轉的力量就是PCA操作，PCA本質是就是旋轉操作，根據公式 $Y^T=U^{T}A$ ，矩陣 $U$ 是正交矩陣，就是對點云矩陣 $A$ 的旋轉操作。所以可見，PCA加上中心化預處理，本質上就是對點云進行了剛體運動：平移和旋轉。注意沒有進行形變操作如尺度變換，加上尺度變換就是白化，后面詳細介紹。

平移操作有個比較麻煩的地方，不能用矩陣變換表示平移！根據奇異值分解，矩陣只能表示旋轉和尺度變換操作，沒有平移。但由于平移操作在物理學中十分重要，矩陣不能表示平移則會極大限制矩陣在物理學中的應用，為了使矩陣能表示平移，在數學上有個技巧，采用『齊次坐標』，增加一個維度就可以是矩陣『表示』平移操作。

第二點需要強調的是，對點云 $A$ 進行PCA變換，樣本點的順序會對結果造成影響嗎？矩陣 $A$ 列向量是樣本點向量，樣本點順序不同則矩陣 $A$ 不同，所以表面上看可能會影響PCA結果。但前面指出，PCA本質上就是對點云進行了旋轉操作，旋轉由方差最大方向決定。樣本方差與樣本順序無關，所以PCA結果不會受到樣本順序的影響。實際上，PCA核心是計算協方差矩陣的特征值，協方差為 $A{A}^T={\sum }_{{\mathbf{a}}_i\in A}{\mathbf{a}}_i{\mathbf{a}}_i^T$ ，等于所有樣本外積之和，與樣本順序無關，所以PCA結果不會受到樣本順序的影響。這個結論可以推廣，對數據矩陣 $A$ 的任何變換，一般來說，都與樣本順序無關，如果真的有關，則肯定哪里有問題。數據矩陣與樣本順序無關這個性質，是矩陣表示樣本的一個簡潔之處，是優點。但同時也是缺點，樣本順序一般會包含樣本很多信息，比如如果樣本是時間序列，即按時間順序采樣獲得的樣本，時間關系就包含在樣本順序里面。現在數據矩陣與順序無關即數據矩陣不能表示時間關系，這樣就會丟失很多信息，數據矩陣表示能力受限，這是矩陣論的一個致命缺陷，難以克服。例如圖像用矩陣表示，表面上看，矩陣列向量是按圖像的列對應排序，表示了圖像順序關系，但本質并沒有，因為對圖像矩陣的操作本質上是對列操作的集合，例如上面介紹的2DPCA，表面上是矩陣操作，本質是列操作。所以數據矩陣只能看作是樣本的集合，集合是不考慮元素的順序。

矩陣看成數據矩陣時，是列向量的集合；看成線性變換時，是個不可分割的整體，不能看成是列向量集合。矩陣乘法充分展示了這點 $AB=A[{\mathbf{b}}_1,?,{\mathbf{b}}_n]=[A{\mathbf{b}}_1,?,A{\mathbf{b}}_n]$ ，矩陣 $A$ 就是變換，是整體；矩陣 $B$ 是列向量集合。

總結

以上是生活随笔為你收集整理的7.4.7 2DPCA的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。