當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

5.1 最小二乘法，左逆，投影矩阵

發(fā)布時(shí)間：2023/12/20 编程问答 25 豆豆

生活随笔收集整理的這篇文章主要介紹了 5.1 最小二乘法，左逆，投影矩阵小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

最小二乘法，左逆，投影矩陣

矩陣 $A$ 是列滿秩矩陣時(shí)，高斯消元法可以求得方程 $Ax=bA\mathbf{x}=\mathbf{b}$ 的解，但該方法有個(gè)致命缺點(diǎn)，往往沒有解！根據(jù)前章結(jié)論：列滿秩矩陣 $A_{mn}$ ，高斯消元法變換為 $LmmA=[UnnOm?n,n]L_{mm}A = \left[ \begin{matrix} U_{nn} \\ \mathbf{O}_{m-n,n} \end{matrix} \right]$ ， $L_{mm}$ 是 $m$ 階單位下三角陣。

對(duì)向量 $b\mathbf{b}$ ，如果 $Lmmb=[b′0]L_{mm}\mathbf{b}=\left[ \begin{matrix} \mathbf{b'} \\ \mathbf{0} \end{matrix} \right]$ ，即后 $m ? n$ 個(gè)分量都為 $0$ ，則方程 $Amnx=bA_{mn}\mathbf{x}=\mathbf{b}$ 有唯一解；只要后 $m ? n$ 個(gè)分量有一個(gè)不為 $0$ ，或者很接近 $0$ ，則方程無(wú)解。方程要保證后 $m ? n$ 個(gè)分量都為 $0$ ，幾乎不可能，所以方程往往無(wú)解。實(shí)際中，又需要找到方程最優(yōu)近似解即最小二乘解。我們舉個(gè)例子，更容易理解。

假設(shè)要測(cè)量圓的直徑 $D$ ，測(cè)量了 $m$ 次，每次測(cè)量值為 $d_i$ 。據(jù)此可以列出方程
$d_i,i \in [ 1,m]$

寫成矩陣形式為

$[11?1]D=[d1d2?dm]\left[ \begin{matrix} 1 \\ 1 \\ \vdots \\ 1 \end{matrix} \right] D = \left[ \begin{matrix} d_1 \\ d_2 \\ \vdots \\ d_m \end{matrix} \right]$

即 $A=[11?1]A=\left[ \begin{matrix} 1 \\ 1 \\ \vdots \\ 1 \end{matrix} \right]$ ， $b=[d1d2?dm]\mathbf{b}=\left[ \begin{matrix} d_1 \\ d_2 \\ \vdots \\ d_m \end{matrix} \right]$ 。

對(duì)增廣矩陣進(jìn)行高斯消元，可以發(fā)現(xiàn)只要 $d_i$ 不是完全一樣，則方程無(wú)解！如果 $d_i$ 完全一樣，則解存在且唯一 $D = d_i$ ，但由于 $d_i$ 完全一樣，則只相當(dāng)測(cè)量了一次。實(shí)際測(cè)量中，由于無(wú)處不在的誤差，測(cè)量值即使很接近，但不可能完全一致，故方程無(wú)解。常識(shí)又告訴我們，應(yīng)該多次測(cè)量取平均值作為直徑的最優(yōu)估計(jì)值，即 $\sum_i d_i /m$ 。

假設(shè)車輛做勻加速直線運(yùn)動(dòng) $s = s_0 + v_0t + 1/2at^2$ ，我們需要獲得加速度，可以測(cè)量不同時(shí)刻的位移 $t_i, s_i)$ ，即 $t_i$ 時(shí)刻的速度為 $s_i$ ，測(cè)量了 $m$ 個(gè)數(shù)據(jù)，則得到方程

$s0+v0t+1/2ati2=si,i∈[1,m]s_0 + v_0t + 1/2at^2_i = s_i ,i \in [ 1,m]$

寫成矩陣形式為

$[11?1]s0+[t1t2?tm]v0+[t12t22?tm2]1/2a=[s1s2?sm]\left[ \begin{matrix} 1 \\ 1 \\ \vdots \\ 1 \end{matrix} \right] s_0 + \left[ \begin{matrix} t_1 \\ t_2 \\ \vdots \\ t_m \end{matrix} \right] v_0+ \left[ \begin{matrix} t^2_1 \\ t^2_2 \\ \vdots \\ t^2_m \end{matrix} \right] 1/2a= \left[ \begin{matrix} s_1 \\ s_2 \\ \vdots \\ s_m \end{matrix} \right]$

即 $A=[1t1t121t2t22?1tmtm2]A=\left[ \begin{matrix} 1 & t_1& t^2_1\\ 1 & t_2& t^2_2 \\ \vdots \\ 1 & t_m& t^2_m \end{matrix} \right]$ ， $b=[s1s2?sm]\mathbf{b}=\left[ \begin{matrix} s_1 \\ s_2 \\ \vdots \\ s_m \end{matrix} \right]$ ， $x=[s0v01/2a]\mathbf{x} = \left[ \begin{matrix} s_0 \\v_0 \\ 1/2a \end{matrix} \right]$ ， $Ax=bA\mathbf{x} = \mathbf{b}$ 。

對(duì)增廣矩陣進(jìn)行高斯消元，實(shí)際測(cè)量中，由于無(wú)處不在的誤差，只有進(jìn)行三次測(cè)量，方程才存在解且唯一，測(cè)量超過(guò)三次，則無(wú)解！但常識(shí)又告訴我們，多次測(cè)量可以達(dá)到對(duì)測(cè)量誤差取平均效果，精度會(huì)更高。

實(shí)際中有大量類似的例子，為了獲得某些量的真實(shí)值，需要進(jìn)行測(cè)量，然后根據(jù)測(cè)量值獲得真實(shí)值的最優(yōu)估計(jì)值。方程 $Amnxn=bmA_{mn}\mathbf{x}_n=\mathbf{b}_m$ 表示共進(jìn)行了 $m$ 次測(cè)量，每次測(cè)量構(gòu)成一個(gè)子方程。我們希望用第 $i$ 次測(cè)量值 $ari\mathbf{a}_{ri}$ 線性擬合 $b_{i}$ ，擬合系數(shù)為 $xn\mathbf{x}_n$ ，擬合偏差盡可能小，所以也稱為線性擬合或線性回歸。每次測(cè)量值 $(ari,bi)(\mathbf{a}_{ri},b_i)$ 也稱為測(cè)量點(diǎn)或簡(jiǎn)稱點(diǎn)。

由于測(cè)量誤差，為了提高精度，需要多次測(cè)量，理論上是測(cè)量次數(shù)趨于無(wú)窮時(shí)，最優(yōu)估計(jì)值無(wú)限接近真實(shí)值。根據(jù)方程理論，當(dāng)測(cè)量次數(shù)多于需要估計(jì)的量時(shí)，由于測(cè)量誤差，方程一般是矛盾方程，無(wú)解！怎么解決這個(gè)矛盾呢？偉大的最小二乘法就是解決這個(gè)問題的，由于測(cè)量誤差，不應(yīng)該尋找表面上的精確解，而是尋找最優(yōu)近似解。

這章內(nèi)容和第一章的投影密切相關(guān)，故希望讀者熟悉投影。方程 $Ax=bA\mathbf{x} = \mathbf{b}$ ，因?yàn)橄蛄? $b\mathbf{b}$ 不位于矩陣 $A$ 的列空間，所以不存在精確解。令向量 $b\mathbf{b}$ 向矩陣 $A$ 列空間的投影向量為 $bp\mathbf{b}_p$ ，則方程 $Ax=bpA\mathbf{x} = \mathbf{b}_p$ 有唯一精確解，這個(gè)精確解就是方程 $Ax=bA\mathbf{x} = \mathbf{b}$ 最優(yōu)近似解，為了區(qū)分，我們記最優(yōu)近似解為 $x^\mathbf{\hat{x}}$ 。根據(jù)投影性質(zhì)，向量 $b?bp\mathbf{b}-\mathbf{b}_p$ 是垂直于矩陣 $A$ 列空間，所以垂直于矩陣 $A$ 列向量組

$AT(b?bp)=0A^T(\mathbf{b}-\mathbf{b}_p) = \mathbf{0}$

將 $Ax^=bpA\mathbf{\hat{x}} = \mathbf{b}_p$ 代入上式，得 $AT(b?Ax^)=0A^T(\mathbf{b}-A\mathbf{\hat{x}}) = \mathbf{0}$ 即
$ATAx^=ATbA^TA\mathbf{\hat{x}} = A^T\mathbf{b}$

因?yàn)? $rank A^TA = rank A = n$ ， $A^TA$ 是 $n$ 階方陣，故 $A^TA$ 可逆，得到最優(yōu)近似解，即最小二乘解

$x^=(ATA)?1ATb\mathbf{\hat{x}} = (A^TA)^{-1}A^T\mathbf{b}$

讀者可以按該公式自行推導(dǎo)測(cè)量直徑的例子，會(huì)發(fā)現(xiàn)最小二乘解就是測(cè)量的平均值。測(cè)量加速度的例子讀者也可以自行推導(dǎo)，本書從略。

令 $AL?1=(ATA)?1ATA^{-1}_L = (A^TA)^{-1}A^T$ ，可以發(fā)現(xiàn) $AL?1A=EnA^{-1}_LA=E_n$ ，稱 $AL?1A^{-1}_L$ 是 $A$ 的左逆，其尺寸為 $\times m$ 。

定義左逆對(duì)于列滿秩矩陣 $A_{mn}$ ，如果存在矩陣 $B_{nm}$ ，使 $BA=E_n$ 成立，則稱 $B$ 是 $A$ 的左逆， $AL?1=(ATA)?1ATA^{-1}_L=(A^TA)^{-1}A^T$ 是其中一個(gè)左逆。

特別強(qiáng)調(diào)下，左逆不唯一，證明如下：假設(shè) $B_{nm}$ 是任意矩陣，如果 $(AL?1+B)A=E(A^{-1}_L+B)A=E$ 成立，則 $(AL?1+B)(A^{-1}_L+B)$ 是左逆，因?yàn)? $AL?1A=EA^{-1}_LA=E$ ，則只需 $BA=OBA=\mathbf{O}$ ，根據(jù)第三章內(nèi)容，矩陣 $A$ 行向量組是相關(guān)組，故矩陣 $B$ 行向量組只要位于矩陣 $A$ 左零空間，則 $BA=OBA=\mathbf{O}$ ，故有無(wú)窮多左逆。如果不特別強(qiáng)調(diào)，我們稱左逆，都是特指矩陣 $AL?1=(ATA)?1ATA^{-1}_L=(A^TA)^{-1}A^T$ 。

代入 $Ax^=bpA\mathbf{\hat{x}} = \mathbf{b}_p$ ，可以得到投影向量

$bp=A(ATA)?1ATb=AAL?1b=Pb\mathbf{b}_p = A(A^TA)^{-1}A^T\mathbf{b}=AA^{-1}_L\mathbf{b}=P\mathbf{b}$

矩陣 $AA^{-1}_L=A(A^TA)^{-1}A^T$ 是投影矩陣，即對(duì)任意向量 $b\mathbf{b}$ ，向量 $PbP\mathbf{b}$ 是向量 $b\mathbf{b}$ 向矩陣 $A$ 列空間的投影向量 $bp\mathbf{b}_p$ ，投影矩陣尺寸是 $\times m$ 。

投影矩陣是冪等矩陣，即滿足 $P^2=P$ ，讀者可自行驗(yàn)證。其背后的幾何意義更重要，對(duì)任意向量 $b\mathbf{b}$ ， $bp=Pb\mathbf{b}_p=P\mathbf{b}$ 是投影向量，那么 $PbpP\mathbf{b}_p$ 是什么呢？因?yàn)? $bp\mathbf{b}_p$ 已經(jīng)位于矩陣 $A$ 列空間，投影后還是位于列空間，故向量不變，所以 $Pbp=bpP\mathbf{b}_p=\mathbf{b}_p$ ，則 $P2b=PbP^2\mathbf{b}=P\mathbf{b}$ 對(duì)任意向量 $b\mathbf{b}$ 均成立，故 $P^2=P$ 。投影矩陣是對(duì)稱矩陣 $P^T=P$ 。

關(guān)于投影矩陣，有兩點(diǎn)說(shuō)明，第一投影矩陣不可逆，如果可逆， $P^2=P$ 左乘逆矩陣，得 $P = E$ ，投影矩陣一般都不是單位陣，當(dāng)然單位陣是投影矩陣。第二投影矩陣唯一，證明如下：假設(shè) $B_{nm}$ 是任意矩陣，如果 $A(AL?1+B)=PA(A^{-1}_L+B)=P$ 是投影矩陣，則只需 $AB=OAB=\mathbf{O}$ ，根據(jù)第三章內(nèi)容，矩陣 $A$ 列向量組是無(wú)關(guān)組，故矩陣 $B$ 是零矩陣。

綜上，列滿秩矩陣 $A$ ，左逆不唯一， $A^{-1}_LA$ ， $AL?1A^{-1}_L$ 是一個(gè)左逆；投影矩陣 $AA^{-1}_L$ 唯一，且 $ A^{-1}_LA \ne AA^{-1}_L$ 。與可逆矩陣對(duì)比， $A^{-1}A = AA^{-1}$ ，逆矩陣 $A^{-1}$ 唯一，它們差別很大。

總結(jié)

以上是生活随笔為你收集整理的5.1 最小二乘法，左逆，投影矩阵的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： 4.10 重要总结
下一篇： 5.2 最优近似解 $\mathbf{\