目錄

• 簡(jiǎn)述矩陣分解
• • 定義
  • 作用
• 三角分解（LU分解、LR分解）
• • 必要條件
  • 定義
  • 步驟
  • 作用
• QR分解
• • 必要條件
  • 定義
  • 步驟
  • 作用
• 特征值分解（譜分解，EVD分解）
• • 必要條件
  • 定義
  • 步驟
  • 作用
• 奇異值分解（SVD分解）
• • 必要條件
  • 定義
  • 步驟
  • 作用

簡(jiǎn)述矩陣分解

定義

把一個(gè)矩陣$A$表示為多個(gè)矩陣連乘的形式。

作用

• 用更少的內(nèi)存消耗，存儲(chǔ)一樣多信息。eg：稀疏矩陣分解為多個(gè)稠密矩陣。
• 提高計(jì)算速度。eg：小矩陣比大矩陣更容易求逆。
• 用于矩陣補(bǔ)全。eg：推薦系統(tǒng)中，填補(bǔ)評(píng)分矩陣中的空缺項(xiàng)；圖像復(fù)原。
• 分解后的矩陣有一些實(shí)際的意義。

三角分解（LU分解、LR分解）

這部分可以參考我之前的博客，鏈接

必要條件

• $A$可逆，即：滿秩矩陣
• $A$可以被前面的$r(A)$行線性表示

定義

$A=LU=LR$

• LU分解中，$L$是下三角矩陣
• LR分解中，$L$是單位下三角矩陣（單位的意思是“對(duì)角線全為1”）
• $U$或$R$是上三角矩陣
• 三角分解本質(zhì)上是高斯消元法的一種表達(dá)形式
  

步驟

通過(guò)對(duì)$A$不斷的左乘初等矩陣，對(duì)$A$進(jìn)行初等變換，使其變?yōu)樯先蔷仃?#xff0c;那么得到的上三角矩陣即為$U$，這些初等矩陣的逆即為$L$。

eg：$E_3{E}_2{E}_{1}A=U=>A=(E_3{E}_2{E}_1{)}^{?1}U$

作用

• 求$A$的行列式$|A|$時(shí)，轉(zhuǎn)換為求解$|L||U|$，三角矩陣求解行列式只需計(jì)算對(duì)角元素。
• 求線性方程組$Ax=b$時(shí)，可將其轉(zhuǎn)換為求解$Ly=b$和$Ux=y$的兩個(gè)同規(guī)模問(wèn)題，由于$L$和$U$都是三角矩陣，運(yùn)算量小。
• 求$A$的逆矩陣時(shí)，$A^{?1}=U^{?1}{L}^{?1}$，三角矩陣的逆可以通過(guò)矩陣分塊的方法計(jì)算。
  
  

QR分解

這部分可以參考我之前的博客，鏈接

必要條件

• $A$的所有列向量線性無(wú)關(guān)，即：列滿秩，即：可逆。

定義

$A=QR$

• $Q$是$A$的列向量的施密特標(biāo)準(zhǔn)正交化（正規(guī)正交矩陣）
• $R$是$A$的列向量在標(biāo)準(zhǔn)正交基下的坐標(biāo)表（上三角矩陣）
  

步驟

對(duì)$A$進(jìn)行施密特標(biāo)準(zhǔn)正交化，得到$Q$

由于$Q$是正交矩陣，$Q^{T}Q=I$，則$Q^{T}A=Q^{T}QR=R$，即：$R=Q^{T}A$

作用

• 求解矩陣$A$的全部特征值，此方法被稱為QR方法（前提：不存在絕對(duì)值相等的特征值），下面進(jìn)行詳細(xì)描述。

當(dāng)$A$為對(duì)稱矩陣時(shí)：
①. 通過(guò)相似變換，將$A$變換為三對(duì)角矩陣$A_0$（除主對(duì)角線、主對(duì)角線挨著的兩條線，其他元素為零）；
②. 對(duì)$A_0$進(jìn)行QR分解，得到$A_0=Q_0{R}_0$，令$A_1=R_0{Q}_0$；
③. 對(duì)$A_1$進(jìn)行QR分解，得到$A_1=Q_1{R}_1$，令$A_2=R_1{Q}_1$；
④. 重復(fù)上述過(guò)程，得到$A_k$，當(dāng)$A_k$趨于對(duì)角矩陣時(shí)，其特征值即為$A_0$的特征值（因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$A_{k+1}=R_k{Q}_k=Q_k^{?1}{Q}_k{R}_k{Q}_k=Q_k^{?1}{A}_k{Q}_k$）。

當(dāng)$A$不是對(duì)稱矩陣時(shí)：
①. 通過(guò)HouseHolder變換，將$A$變換為Hessenberg$A_0$（上三角矩陣，左下零三角中緊貼主對(duì)角線的那條線上的元素均不為零），Hessenberg矩陣的QR分解一定是另一個(gè)Hessenberg矩陣乘以上三角矩陣；
②. 對(duì)$A_0$進(jìn)行QR分解，得到$A_0=Q_0{R}_0$，令$A_1=R_0{Q}_0$；
③. 對(duì)$A_1$進(jìn)行QR分解，得到$A_1=Q_1{R}_1$，令$A_2=R_1{Q}_1$；
④. 重復(fù)上述過(guò)程，得到$A_k$，當(dāng)$A_k$趨于上三角矩陣時(shí)，其特征值即為$A_0$的特征值。

特征值分解（譜分解，EVD分解）

必要條件

• 方陣

定義

$A=QD{Q}^{?1}$

• 當(dāng)$A$為$n$階方陣時(shí)（一般形式），$A=QD{Q}^{?1}$，$Q$為$n$階方陣，$Q$的列向量$q_i$為特征向量，$D=diag\{{\lambda }_1,{\lambda }_2,...,{\lambda }_n{\}}_{n\times n}$，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$為特征值。
• 當(dāng)$A$為實(shí)對(duì)稱矩陣時(shí)，$A=QD{Q}^T$，$Q$為正交陣（$Q{Q}^T=I$）。
• 當(dāng)$A$為復(fù)正規(guī)矩陣時(shí)，$A=UD{U}^H$，$U$為酉矩陣。

步驟

求$A$的特征值和特征向量即可。

作用

• 求解$A$的逆矩陣，$A^{?1}={QD{Q}^{?1}}^{?1}=Q{D}^{?1}{Q}^{?1}$，可以看出，只需求$D^{?1}$即可求得$A^{?1}$，而$D$是對(duì)角矩陣，其逆矩陣只需將對(duì)角元素取倒數(shù)。
• 圖像壓縮。但是一般現(xiàn)實(shí)中，大多數(shù)圖片不是方的，所以奇異值分解用的較多。
  
  

奇異值分解（SVD分解）

必要條件

• 無(wú)限制

定義

$A=UD{V}^H$

• $A$為$m$行$n$列
• $U$為$m$階酉矩陣
• $V$為$n$階酉矩陣，$V^H$是$V$的共軛轉(zhuǎn)置
• $D=diag\{{\sigma }_1,{\sigma }_2,...,{\sigma }_r,0,...,0{\}}_{m\times n}$，${\sigma }_1,{\sigma }_2,...,{\sigma }_r$為奇異值。

步驟

計(jì)算$A{A}^H$的特征值和標(biāo)準(zhǔn)正交特征向量，用向量組成矩陣$U$；

計(jì)算$A^{H}A$的特征值和標(biāo)準(zhǔn)正交特征向量，用向量組成矩陣$V$；

使用特征值開根號(hào)得到奇異值，組成矩陣$D$。

作用

• 奇異值相當(dāng)于方陣中的特征值，一般對(duì)應(yīng)于矩陣中的重要信息，奇異值越大，信息的重要性越大。
• 圖像壓縮。假設(shè)原圖片為$800\times 600$（忽略顏色通道）的矩陣$A$，將其進(jìn)行SVD分解，得到$U$、$D$和$V$三個(gè)矩陣，我們可以很容易的通過(guò)分解后的三個(gè)矩陣還原圖片。但是，當(dāng)我們沒(méi)有足夠的存儲(chǔ)空間時(shí)，我們可以僅保留奇異值較大的若干項(xiàng)（保留的奇異值越多，圖片的還原程度越高），來(lái)還原一個(gè)近似的圖像。
• 圖像去噪。當(dāng)圖像中存在噪聲時(shí)，我們可以假設(shè)較小的奇異值是由噪聲引起的，將這些奇異值變?yōu)榱?#xff0c;即可去除噪聲。
• 主成分分析。
• 推薦系統(tǒng)。
• 語(yǔ)義索引LSI。
  
  

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的矩阵分解方法 概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。