目錄

• 簡述矩陣分解
• • 定義
  • 作用
• 三角分解（LU分解、LR分解）
• • 必要條件
  • 定義
  • 步驟
  • 作用
• QR分解
• • 必要條件
  • 定義
  • 步驟
  • 作用
• 特征值分解（譜分解，EVD分解）
• • 必要條件
  • 定義
  • 步驟
  • 作用
• 奇異值分解（SVD分解）
• • 必要條件
  • 定義
  • 步驟
  • 作用

簡述矩陣分解

定義

把一個矩陣$A$表示為多個矩陣連乘的形式。

作用

• 用更少的內存消耗，存儲一樣多信息。eg：稀疏矩陣分解為多個稠密矩陣。
• 提高計算速度。eg：小矩陣比大矩陣更容易求逆。
• 用于矩陣補全。eg：推薦系統中，填補評分矩陣中的空缺項；圖像復原。
• 分解后的矩陣有一些實際的意義。

三角分解（LU分解、LR分解）

這部分可以參考我之前的博客，鏈接

必要條件

• $A$可逆，即：滿秩矩陣
• $A$可以被前面的$r(A)$行線性表示

定義

$A=LU=LR$

• LU分解中，$L$是下三角矩陣
• LR分解中，$L$是單位下三角矩陣（單位的意思是“對角線全為1”）
• $U$或$R$是上三角矩陣
• 三角分解本質上是高斯消元法的一種表達形式
  

步驟

通過對$A$不斷的左乘初等矩陣，對$A$進行初等變換，使其變為上三角矩陣，那么得到的上三角矩陣即為$U$，這些初等矩陣的逆即為$L$。

eg：$E_3{E}_2{E}_{1}A=U=>A=(E_3{E}_2{E}_1{)}^{?1}U$

作用

• 求$A$的行列式$|A|$時，轉換為求解$|L||U|$，三角矩陣求解行列式只需計算對角元素。
• 求線性方程組$Ax=b$時，可將其轉換為求解$Ly=b$和$Ux=y$的兩個同規模問題，由于$L$和$U$都是三角矩陣，運算量小。
• 求$A$的逆矩陣時，$A^{?1}=U^{?1}{L}^{?1}$，三角矩陣的逆可以通過矩陣分塊的方法計算。
  
  

QR分解

這部分可以參考我之前的博客，鏈接

必要條件

• $A$的所有列向量線性無關，即：列滿秩，即：可逆。

定義

$A=QR$

• $Q$是$A$的列向量的施密特標準正交化（正規正交矩陣）
• $R$是$A$的列向量在標準正交基下的坐標表（上三角矩陣）
  

步驟

對$A$進行施密特標準正交化，得到$Q$

由于$Q$是正交矩陣，$Q^{T}Q=I$，則$Q^{T}A=Q^{T}QR=R$，即：$R=Q^{T}A$

作用

• 求解矩陣$A$的全部特征值，此方法被稱為QR方法（前提：不存在絕對值相等的特征值），下面進行詳細描述。

當$A$為對稱矩陣時：
①. 通過相似變換，將$A$變換為三對角矩陣$A_0$（除主對角線、主對角線挨著的兩條線，其他元素為零）；
②. 對$A_0$進行QR分解，得到$A_0=Q_0{R}_0$，令$A_1=R_0{Q}_0$；
③. 對$A_1$進行QR分解，得到$A_1=Q_1{R}_1$，令$A_2=R_1{Q}_1$；
④. 重復上述過程，得到$A_k$，當$A_k$趨于對角矩陣時，其特征值即為$A_0$的特征值（因為$A_{k+1}=R_k{Q}_k=Q_k^{?1}{Q}_k{R}_k{Q}_k=Q_k^{?1}{A}_k{Q}_k$）。

當$A$不是對稱矩陣時：
①. 通過HouseHolder變換，將$A$變換為Hessenberg$A_0$（上三角矩陣，左下零三角中緊貼主對角線的那條線上的元素均不為零），Hessenberg矩陣的QR分解一定是另一個Hessenberg矩陣乘以上三角矩陣；
②. 對$A_0$進行QR分解，得到$A_0=Q_0{R}_0$，令$A_1=R_0{Q}_0$；
③. 對$A_1$進行QR分解，得到$A_1=Q_1{R}_1$，令$A_2=R_1{Q}_1$；
④. 重復上述過程，得到$A_k$，當$A_k$趨于上三角矩陣時，其特征值即為$A_0$的特征值。

特征值分解（譜分解，EVD分解）

必要條件

• 方陣

定義

$A=QD{Q}^{?1}$

• 當$A$為$n$階方陣時（一般形式），$A=QD{Q}^{?1}$，$Q$為$n$階方陣，$Q$的列向量$q_i$為特征向量，$D=diag\{{\lambda }_1,{\lambda }_2,...,{\lambda }_n{\}}_{n\times n}$，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$為特征值。
• 當$A$為實對稱矩陣時，$A=QD{Q}^T$，$Q$為正交陣（$Q{Q}^T=I$）。
• 當$A$為復正規矩陣時，$A=UD{U}^H$，$U$為酉矩陣。

步驟

求$A$的特征值和特征向量即可。

作用

• 求解$A$的逆矩陣，$A^{?1}={QD{Q}^{?1}}^{?1}=Q{D}^{?1}{Q}^{?1}$，可以看出，只需求$D^{?1}$即可求得$A^{?1}$，而$D$是對角矩陣，其逆矩陣只需將對角元素取倒數。
• 圖像壓縮。但是一般現實中，大多數圖片不是方的，所以奇異值分解用的較多。
  
  

奇異值分解（SVD分解）

必要條件

• 無限制

定義

$A=UD{V}^H$

• $A$為$m$行$n$列
• $U$為$m$階酉矩陣
• $V$為$n$階酉矩陣，$V^H$是$V$的共軛轉置
• $D=diag\{{\sigma }_1,{\sigma }_2,...,{\sigma }_r,0,...,0{\}}_{m\times n}$，${\sigma }_1,{\sigma }_2,...,{\sigma }_r$為奇異值。

步驟

計算$A{A}^H$的特征值和標準正交特征向量，用向量組成矩陣$U$；

計算$A^{H}A$的特征值和標準正交特征向量，用向量組成矩陣$V$；

使用特征值開根號得到奇異值，組成矩陣$D$。

作用

• 奇異值相當于方陣中的特征值，一般對應于矩陣中的重要信息，奇異值越大，信息的重要性越大。
• 圖像壓縮。假設原圖片為$800\times 600$（忽略顏色通道）的矩陣$A$，將其進行SVD分解，得到$U$、$D$和$V$三個矩陣，我們可以很容易的通過分解后的三個矩陣還原圖片。但是，當我們沒有足夠的存儲空間時，我們可以僅保留奇異值較大的若干項（保留的奇異值越多，圖片的還原程度越高），來還原一個近似的圖像。
• 圖像去噪。當圖像中存在噪聲時，我們可以假設較小的奇異值是由噪聲引起的，將這些奇異值變為零，即可去除噪聲。
• 主成分分析。
• 推薦系統。
• 語義索引LSI。
  
  

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的矩阵分解方法 概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。