SVD

將一個矩陣分解為U，V（U,V均為列正交矩陣，即列向量直接內積為0），中間的矩陣為對角陣，元素為奇異值。

$$A_{[m?n]}=U_{[m?r]}?\sum _{[r?r]}?(V_{[n?r]}{)}^T$$

SVD計算方式

$$\begin{gathered} A=U?\sum ?V^T \\ {A}^T=V?\sum ?U^T \\ A{A}^T=U?\sum ?V^T?V?\sum ?U^T \end{gathered}$$

• 由于其為列正交向量，所以矩陣在非對角位置都為0， 因此當V的列向量是單位向量時，對角位為1，則為單位陣。

$$\begin{gathered} A{A}^T=U{\sum }^2{U}^T \\ A{A}^{T}U=U{\sum }^2 \end{gathered}$$
因此，U為$A{A}^T$特征向量構成的矩陣，然后${\sum }^2$的對角元為特征值。

同理，可知，$A^{T}A$對應于V的計算。

Python實現

• 導入包

import numpy as np

• 創建數據

A = np.linspace(0, 14, 15).reshape((3, -1)) A array([[ 0., 1., 2., 3., 4.],[ 5., 6., 7., 8., 9.],[10., 11., 12., 13., 14.]])

• 實現

def SVD(A, n):M = np.dot(A, A.T)eigval, eigvec = np.linalg.eig(M)indexes = np.argsort(-eigval)[:n]U = eigvec[:, indexes]sigma_sq = eigval[indexes]M = np.dot(A.T, A)eigval, eigvec = np.linalg.eig(M)indexes = np.argsort(-eigval)[:n]V = eigvec[:, indexes]sigma = np.diag(np.sqrt(sigma_sq)) # print(sigma)return np.dot(np.dot(U, sigma), V.T)

• 調用

A_ = SVD(A, 2) A_ array([[2.01625019e-16, 1.00000000e+00, 2.00000000e+00, 3.00000000e+00,4.00000000e+00],[5.00000000e+00, 6.00000000e+00, 7.00000000e+00, 8.00000000e+00,9.00000000e+00],[1.00000000e+01, 1.10000000e+01, 1.20000000e+01, 1.30000000e+01,1.40000000e+01]])

非常近了，然后量化判斷下，用二范數來測量下：

np.linalg.norm(A_ - A)

• 總共的誤差：1.8697717541841314e-14
• 非常的小了。

總結

以上是生活随笔為你收集整理的SVD理论以及Python实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。