文章目錄

• • 1. 奇異值分解的定義與性質
  • • 1.1 定義
    • 1.2 兩種形式
    • • 1.2.1 緊奇異值分解
      • 1.2.2 截斷奇異值分解
    • 1.3 幾何解釋
    • 1.4 主要性質
  • 2. 奇異值分解與矩陣近似
  • • 2.1 弗羅貝尼烏斯范數
    • 2.2 矩陣的最優近似
    • 2.3 矩陣的外積展開式
  • 3. 奇異值分解Python計算
  • 4. SVD應用

• 一種矩陣因子分解方法
• 矩陣的奇異值分解一定存在，但不唯一
• 奇異值分解可以看作是矩陣數據壓縮的一種方法，即用因子分解的方式近似地表示原始矩陣，這種近似是在平方損失意義下的最優近似

1. 奇異值分解的定義與性質

1.1 定義

$$\begin{gathered} A_{m\times n}=U\Sigma V^T \\ U{U}^T=I_m \\ V{V}^T=I_n \\ \Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge ...\ge {\sigma }_p\ge 0 \\ p=\min (m,n) \end{gathered}$$

• $U\Sigma V^T$ 稱為矩陣 $A$ 的奇異值分解（SVD），$U$ 是 $m$ 階正交矩陣， $V$ 是 $n$ 階正交矩陣，$\Sigma$ 是 $m\times n$ 的對角矩陣
• ${\sigma }_i$ 稱為矩陣 $A$ 的奇異值
• $U$ 的列向量，左奇異向量
• $V$ 的列向量，右奇異向量

1.2 兩種形式

1.2.1 緊奇異值分解

上面的SVD稱為：完全SVD
$$A_{m\times n}=U_r{\Sigma }_r{V}_r^T$$
緊奇異值分解，僅由前 $r$ 列得到，對角矩陣 ${\Sigma }_r$ 的秩與原始矩陣 $A$ 的秩相等

1.2.2 截斷奇異值分解

只取最大的 k 個奇異值 $(k<r,r為矩陣的秩)$ 對應的部分，就得到矩陣的截斷奇異值分解

• 實際應用中提到的，經常指的 截斷SVD

$$A_{m\times n}\approx U_k{\Sigma }_k{V}_k^T,0<k<Rank(A)$$

• 在實際應用中，常常需要對矩陣的數據進行壓縮，將其近似表示，奇異值分解提供了一種方法
• 奇異值分解是在平方損失（弗羅貝尼烏斯范數）意義下對矩陣的最優近似
• 緊奇異值分解—>無損壓縮
• 截斷奇異值分解—>有損壓縮

1.3 幾何解釋

矩陣的SVD也可以看作是將其 對應的線性變換 分解為 旋轉變換、縮放變換及旋轉變換的組合。
這個變換的組合一定存在。

1.4 主要性質

• (1) 由 $A=U\Sigma V^T$ 有

$$\begin{gathered} A^{T}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T \\ A{A}^T=(U\Sigma V^T)(U\Sigma V^T{)}^T=U(\Sigma {\Sigma }^T)U^T \end{gathered}$$
對稱矩陣 $A^{T}A$ 和 $A{A}^T$ 的特征分解 可由矩陣 $A$ 的奇異值分解矩陣表示

• (2)
  $$\begin{gathered} AV=U\Sigma ?A{v}_j={\sigma }_j{u}_j,j=1,2,...,n \\ {A}^{T}U=V{\Sigma }^T?A^T{u}_j={\sigma }_j{v}_j,j=1,2,...,n;A^T{u}_j=0,j=n+1,n+2,...,m \end{gathered}$$

• (3) SVD奇異值 ${\sigma }_1,{\sigma }_1,...,{\sigma }_n$ 是唯一的，但矩陣 $U,V$ 不唯一

• (4) 矩陣 $A$ 和 $\Sigma$ 的秩相等，等于正奇異值 ${\sigma }_i$ 的個數 $r$

• (5) 矩陣 $A$ 的 $r$ 個右奇異向量 $v_1,v_2,...,v_r$ 構成 $A^T$ 的值域 的一組標準正交基；
  矩陣 $A$ 的 $n?r$ 個右奇異向量 $v_r+1,v_r+2,...,v_n$ 構成 $A$ 的零空間 的一組標準正交基；
  矩陣 $A$ 的 $r$ 個左奇異向量 $u_1,u_2,...,u_r$ 構成 $A$ 的值域 的一組標準正交基；
  矩陣 $A$ 的 $m?r$ 個左奇異向量 $u_r+1,u_r+2,...,u_m$ 構成 $A^T$ 的零空間 的一組標準正交基

2. 奇異值分解與矩陣近似

2.1 弗羅貝尼烏斯范數

奇異值分解也是一種矩陣近似的方法，這個近似是在弗羅貝尼烏斯范數（Frobenius norm）意義下的近似
矩陣的弗羅貝尼烏斯范數是 向量的L2范數的直接推廣，對應著機器學習中的平方損失函數

設矩陣 $A=[a_{ij}{]}_{m\times n}$, 其弗羅貝尼烏斯范數為：$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n(a_{ij}{)}^2{)}^{1/2}$

假設 $A$ 的奇異值分解為 $A=U\Sigma V^T$ ，其中對角矩陣 $\Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p)$，則 $||A|{|}_F=({\sigma }_1^2+{\sigma }_2^2+...+{\sigma }_n^2{)}^{1/2}$

2.2 矩陣的最優近似

奇異值分解 是在平方損失（弗羅貝尼烏斯范數）意義下對矩陣的最優近似，即數據壓縮

• 緊奇異值分解：是在弗羅貝尼烏斯范數意義下的無損壓縮
• 截斷奇異值分解：是有損壓縮。截斷奇異值分解得到的矩陣的秩為k，通常遠小于原始矩陣的秩r，所以是由低秩矩陣實現了對原始矩陣的壓縮

2.3 矩陣的外積展開式

矩陣 $A$ 的奇異值分解 $U\Sigma V^T$ 也可以由外積形式表示

• 將 $A$ 的奇異值分解看成矩陣 $U\Sigma$ 和 $V^T$ 的乘積，將 $U\Sigma$ 按列向量分塊，將 $V^T$ 按行向量分塊，即得
  
  

3. 奇異值分解Python計算

import numpy as np a = np.random.randint(-10,10,(4, 3)).astype(float) print(a) print("-----------------") u, sigma, vT = np.linalg.svd(a) print(u) print("-----------------") print(sigma) print("-----------------") print(vT) print("-----------------") # 將sigma 轉成矩陣 SigmaMat = np.zeros((4,3)) SigmaMat[:3, :3] = np.diag(sigma) print(SigmaMat) print("------驗證-------") a_ = np.dot(u, np.dot(SigmaMat, vT)) print(a_)

結果：

[[-6. 8. 9.][ 6. 8. -8.][ 6. -1. 2.][ 6. 9. -9.]] ----------------- [[-0.30430452 0.93673281 0.17295875 -0.00395842][ 0.64134399 0.19762952 0.04109474 -0.74022408][ 0.06410812 -0.16033168 0.98267774 0.0672931 ][ 0.70140345 0.24034966 -0.05235412 0.66897256]] ----------------- [19.56867211 12.83046891 6.0370638 ] ----------------- [[ 0.52466311 0.45709993 -0.71818401][-0.30821258 0.88838353 0.34026417][ 0.79355758 0.04282928 0.60698602]] ----------------- [[19.56867211 0. 0. ][ 0. 12.83046891 0. ][ 0. 0. 6.0370638 ][ 0. 0. 0. ]] ------驗證------- [[-6. 8. 9.][ 6. 8. -8.][ 6. -1. 2.][ 6. 9. -9.]]

4. SVD應用

請參考：基于奇異值分解（SVD）的圖片壓縮實踐

總結

以上是生活随笔為你收集整理的奇异值分解（Singular Value Decomposition，SVD）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。