一、正交矩陣

二、EVD

特征值分解(Eigen Value Decomposition, EVD)。
對于對稱陣(A_{m*m})，設特征值為(lambda_i)，對應的單位特征向量為(x_i)，則有

若(A)非滿秩，會導致維度退化，使得向量落入(m)維空間的子空間中。
最后，(U)變換是(U^T)變換的逆變換。

三、SVD

奇異值分解(Singular Value Decomposition, SVD)。
對任意一個(m*n)的矩陣(A)，能否找到一組正交基使得其經(jīng)過(A)變換后得到的還是一組正交基呢？
答案是能，這也正是SVD的設計精髓所在。
現(xiàn)假設存在(A_{m*n})，(rank(A)=k)。


因此，
(A=U Sigma V^T)，
(AA^T=(U Sigma V^T)(U Sigma V^T)^T=U Sigma V^T V Sigma^T U^T=U Sigma^2 U^T)，
(A^T A=(U Sigma V^T)^T(U Sigma V^T)= V Sigma^T U^T U Sigma V^T=V Sigma^2 V^T)。