文章目錄

• 奇異值分解的主要思想
• 主要性質(zhì)
• 計(jì)算過程
• 幾何解釋
• 奇異值分解形式

奇異值分解的主要思想

奇異值（singular value decomposition, SVD）是一種矩陣因子分解方法。

其主要思想是：任意一個(gè)$m\times n$ 矩陣都可以表示為三個(gè)矩陣的乘積（因子分解）形式，即：
$$A=U\Sigma V^{\mathrm{T}}$$
$U\Sigma V^{\mathrm{T}}$稱為矩陣A的奇異值分解，并不要求A為方陣。其中 $U$ 是$m$ 階正交矩陣，$V$ 是 $n$ 階正交矩陣， $\Sigma$ 是由降序排序的非負(fù)的對(duì)角線元素組成的$m\times n$ 矩形對(duì)角矩陣。且滿足：
$$\begin{gathered} U{U}^{\mathrm{T}}=I \\ V{V}^{\mathrm{T}}=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_p\ge 0 \\ p=\min (m,n) \end{gathered}$$
${\sigma }_i$ 稱為矩陣A的奇異值，U的列向量稱為左奇異向量，V的列向量稱為右奇異向量。

主要性質(zhì)

（1）假設(shè)矩陣A的奇異值分解為：$A=U\Sigma V^{\mathrm{T}}$，則以下關(guān)系成立：
$$\begin{gathered} A^{\mathrm{T}}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T \\ A{A}^{\mathrm{T}}=(U\Sigma V^T)(U\Sigma V^T{)}^T=U({\Sigma }^T\Sigma )U^T \end{gathered}$$
說明$A{A}^{\mathrm{T}}$和$A^{\mathrm{T}}A$作為對(duì)稱矩陣，特征分解存在，且可由矩陣$A$的奇異值分解的矩陣表示。

（2）矩陣A的奇異值分解中，奇異值、左奇異向量和右奇異向量之間存在對(duì)應(yīng)關(guān)系。

已知正交矩陣U滿足：$U^{?1}=U^{\mathrm{T}}$ ，由$A=U\Sigma V^T$ 易知：
$$AV=U\Sigma$$
比較等式兩端的第 j 列，展開則有：
$$A{v}_j={\sigma }_j{u}_{j}j=1,2,\dots ,n$$
這就是奇異值、左奇異向量和右奇異向量之間的關(guān)系。進(jìn)一步可以得到：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j$$
（3）矩陣$A$的奇異值分解中，奇異值是唯一的，即：$\Sigma$ 唯一，但是矩陣$U$和$V$不是唯一的。

（4）$rank(A)=rank(\Sigma )=正奇異值個(gè)數(shù)$

計(jì)算過程

根據(jù)性質(zhì)（1）$A^{\mathrm{T}}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T$ ，$A^{\mathrm{T}}A$的特征向量構(gòu)成正交矩陣$V$ 的列；$A^{\mathrm{T}}A$的特征值${\lambda }_j$ 的平方根為奇異值${\sigma }_i$ ；即：
$${\sigma }_j=\sqrt{{\lambda }_j}j=1,2,\dots ,n$$
對(duì)其由大到小排列組為對(duì)角線元素，構(gòu)成對(duì)角矩陣$\Sigma$ 。

具體過程如下：

（1）首先求$A^{\mathrm{T}}A$ 的特征值和特征向量。

計(jì)算對(duì)稱矩陣$W=A^{\mathrm{T}}A$。

求解特征方程：
$$(W?\lambda I)x=0$$
特征值${\lambda }_i$ 從大到小排序：
$${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_n\ge 0$$
求特征值${\lambda }_i$ 對(duì)應(yīng)的特征向量。

（2）將特征向量單位化，得到對(duì)應(yīng)特征值的特征向量$v_1,v_2,\dots ,v_n$，構(gòu)成n 階正交矩陣$V$：
$$V=[v_1{v}_2\dots v_n]$$
（3）求$m\times n$ 對(duì)角矩陣$\Sigma$

計(jì)算A的奇異值：
$${\sigma }_i=\sqrt{{\lambda }_i}$$
構(gòu)造$m\times n$ 矩形對(duì)角矩陣$\Sigma$ ，主對(duì)角線元素是奇異值，其余元素是零：
$$\Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n)$$
（4）求$m$ 階正交矩陣$U$

對(duì)$A$的前$r$ 個(gè)正奇異值，令：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\dots r$$
得到：
$$U_1=[u_1{u}_2\dots u_r]$$
求$A^{\mathrm{T}}$ 的零空間的一組標(biāo)準(zhǔn)正交基$\{u_{r+1}{u}_{r+2}\dots u_m\}$，令：
$$U_2=[u_{r+1}{u}_{r+2}\dots u_m]$$
并令：
$$U=[U_1{U}_2]$$
（5）得到奇異值分解：
$$A=U\Sigma V^T$$

幾何解釋

從線性變換的角度解釋奇異值分解。設(shè)存在這樣一個(gè)線性變換：
$$T:x\to Ax$$
$x\in R^n,Ax\in R^m$，$x,Ax$ 分別是各自空間的向量，并且有$Ax=U\Sigma V^{\mathrm{T}}x$。線性變換的解釋可以按$U\Sigma V^{\mathrm{T}}x$的計(jì)算順序分解為三個(gè)簡(jiǎn)單的變換：

（1）一個(gè)坐標(biāo)系的旋轉(zhuǎn)或反射變換：$V^{\mathrm{T}}$。

（2）一個(gè)坐標(biāo)軸的縮放變換：$\Sigma$。

（3）另一個(gè)坐標(biāo)系的旋轉(zhuǎn)或反射變換：$U$。

奇異值分解過程：$A=U\Sigma V^{\mathrm{T}}$ ，$U、V$ 是正交矩陣，$V$ 可以理解為列向量$v_1,v_2\dots ,v_n$ 構(gòu)成$R^n$ 空間的一組標(biāo)準(zhǔn)正交基。 $U$ 可以理解為列向量$u_1,u_2\dots ,u_n$ 構(gòu)成$R^n$ 空間的一組標(biāo)準(zhǔn)正交基。 $\Sigma$ 的對(duì)角線元素${\sigma }_1,{\sigma }_2\dots ,{\sigma }_n$ 是一組非負(fù)實(shí)數(shù)，表示 $R^n$ 空間中原始坐標(biāo)系坐標(biāo)軸的${\sigma }_1,{\sigma }_2\dots ,{\sigma }_n$ 倍的縮放變換。

任意一個(gè)向量$x\in R^n$，經(jīng)過基于$A=U\Sigma V^{\mathrm{T}}$ 的線性變換，等價(jià)于上述的三個(gè)過程，具體如下圖所示：

奇異值分解形式

奇異值分解$A=U\Sigma V^{\mathrm{T}}$ 又稱矩陣的完全奇異值分解。實(shí)際常用的是奇異值分解的緊湊形式和截?cái)嘈问健＞o湊形式分解是與原始矩陣等秩的奇異值分解，截?cái)嗥娈愔捣纸馐潜仍季仃嚨椭鹊钠娈愔捣纸狻?/p>

（1）緊奇異值分解

緊奇異值分解：
$$A=U_r{\Sigma }_r{V}_r^{\mathrm{T}}$$
其中，$r=rank(A)$ 。

這種分解的對(duì)角矩陣${\Sigma }_r$ 的秩和原始矩陣A的秩相等。

（2）截?cái)嗥娈愔捣纸?/strong>
$$A\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}$$
其中，$rank(A)=r且0<k<r$。