當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

5.1 最小二乘法，左逆，投影矩阵

發布時間：2023/12/20 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了 5.1 最小二乘法，左逆，投影矩阵小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

最小二乘法，左逆，投影矩陣

矩陣 $A$ 是列滿秩矩陣時，高斯消元法可以求得方程 $Ax=bA\mathbf{x}=\mathbf{b}$ 的解，但該方法有個致命缺點，往往沒有解！根據前章結論：列滿秩矩陣 $A_{mn}$ ，高斯消元法變換為 $LmmA=[UnnOm?n,n]L_{mm}A = \left[ \begin{matrix} U_{nn} \\ \mathbf{O}_{m-n,n} \end{matrix} \right]$ ， $L_{mm}$ 是 $m$ 階單位下三角陣。

對向量 $b\mathbf{b}$ ，如果 $Lmmb=[b′0]L_{mm}\mathbf{b}=\left[ \begin{matrix} \mathbf{b'} \\ \mathbf{0} \end{matrix} \right]$ ，即后 $m ? n$ 個分量都為 $0$ ，則方程 $Amnx=bA_{mn}\mathbf{x}=\mathbf{b}$ 有唯一解；只要后 $m ? n$ 個分量有一個不為 $0$ ，或者很接近 $0$ ，則方程無解。方程要保證后 $m ? n$ 個分量都為 $0$ ，幾乎不可能，所以方程往往無解。實際中，又需要找到方程最優近似解即最小二乘解。我們舉個例子，更容易理解。

假設要測量圓的直徑 $D$ ，測量了 $m$ 次，每次測量值為 $d_i$ 。據此可以列出方程
$d_i,i \in [ 1,m]$

寫成矩陣形式為

$[11?1]D=[d1d2?dm]\left[ \begin{matrix} 1 \\ 1 \\ \vdots \\ 1 \end{matrix} \right] D = \left[ \begin{matrix} d_1 \\ d_2 \\ \vdots \\ d_m \end{matrix} \right]$

即 $A=[11?1]A=\left[ \begin{matrix} 1 \\ 1 \\ \vdots \\ 1 \end{matrix} \right]$ ， $b=[d1d2?dm]\mathbf{b}=\left[ \begin{matrix} d_1 \\ d_2 \\ \vdots \\ d_m \end{matrix} \right]$ 。

對增廣矩陣進行高斯消元，可以發現只要 $d_i$ 不是完全一樣，則方程無解！如果 $d_i$ 完全一樣，則解存在且唯一 $D = d_i$ ，但由于 $d_i$ 完全一樣，則只相當測量了一次。實際測量中，由于無處不在的誤差，測量值即使很接近，但不可能完全一致，故方程無解。常識又告訴我們，應該多次測量取平均值作為直徑的最優估計值，即 $\sum_i d_i /m$ 。

假設車輛做勻加速直線運動 $s = s_0 + v_0t + 1/2at^2$ ，我們需要獲得加速度，可以測量不同時刻的位移 $t_i, s_i)$ ，即 $t_i$ 時刻的速度為 $s_i$ ，測量了 $m$ 個數據，則得到方程

$s0+v0t+1/2ati2=si,i∈[1,m]s_0 + v_0t + 1/2at^2_i = s_i ,i \in [ 1,m]$

寫成矩陣形式為

$[11?1]s0+[t1t2?tm]v0+[t12t22?tm2]1/2a=[s1s2?sm]\left[ \begin{matrix} 1 \\ 1 \\ \vdots \\ 1 \end{matrix} \right] s_0 + \left[ \begin{matrix} t_1 \\ t_2 \\ \vdots \\ t_m \end{matrix} \right] v_0+ \left[ \begin{matrix} t^2_1 \\ t^2_2 \\ \vdots \\ t^2_m \end{matrix} \right] 1/2a= \left[ \begin{matrix} s_1 \\ s_2 \\ \vdots \\ s_m \end{matrix} \right]$

即 $A=[1t1t121t2t22?1tmtm2]A=\left[ \begin{matrix} 1 & t_1& t^2_1\\ 1 & t_2& t^2_2 \\ \vdots \\ 1 & t_m& t^2_m \end{matrix} \right]$ ， $b=[s1s2?sm]\mathbf{b}=\left[ \begin{matrix} s_1 \\ s_2 \\ \vdots \\ s_m \end{matrix} \right]$ ， $x=[s0v01/2a]\mathbf{x} = \left[ \begin{matrix} s_0 \\v_0 \\ 1/2a \end{matrix} \right]$ ， $Ax=bA\mathbf{x} = \mathbf{b}$ 。

對增廣矩陣進行高斯消元，實際測量中，由于無處不在的誤差，只有進行三次測量，方程才存在解且唯一，測量超過三次，則無解！但常識又告訴我們，多次測量可以達到對測量誤差取平均效果，精度會更高。

實際中有大量類似的例子，為了獲得某些量的真實值，需要進行測量，然后根據測量值獲得真實值的最優估計值。方程 $Amnxn=bmA_{mn}\mathbf{x}_n=\mathbf{b}_m$ 表示共進行了 $m$ 次測量，每次測量構成一個子方程。我們希望用第 $i$ 次測量值 $ari\mathbf{a}_{ri}$ 線性擬合 $b_{i}$ ，擬合系數為 $xn\mathbf{x}_n$ ，擬合偏差盡可能小，所以也稱為線性擬合或線性回歸。每次測量值 $(ari,bi)(\mathbf{a}_{ri},b_i)$ 也稱為測量點或簡稱點。

由于測量誤差，為了提高精度，需要多次測量，理論上是測量次數趨于無窮時，最優估計值無限接近真實值。根據方程理論，當測量次數多于需要估計的量時，由于測量誤差，方程一般是矛盾方程，無解！怎么解決這個矛盾呢？偉大的最小二乘法就是解決這個問題的，由于測量誤差，不應該尋找表面上的精確解，而是尋找最優近似解。

這章內容和第一章的投影密切相關，故希望讀者熟悉投影。方程 $Ax=bA\mathbf{x} = \mathbf{b}$ ，因為向量 $b\mathbf{b}$ 不位于矩陣 $A$ 的列空間，所以不存在精確解。令向量 $b\mathbf{b}$ 向矩陣 $A$ 列空間的投影向量為 $bp\mathbf{b}_p$ ，則方程 $Ax=bpA\mathbf{x} = \mathbf{b}_p$ 有唯一精確解，這個精確解就是方程 $Ax=bA\mathbf{x} = \mathbf{b}$ 最優近似解，為了區分，我們記最優近似解為 $x^\mathbf{\hat{x}}$ 。根據投影性質，向量 $b?bp\mathbf{b}-\mathbf{b}_p$ 是垂直于矩陣 $A$ 列空間，所以垂直于矩陣 $A$ 列向量組

$AT(b?bp)=0A^T(\mathbf{b}-\mathbf{b}_p) = \mathbf{0}$

將 $Ax^=bpA\mathbf{\hat{x}} = \mathbf{b}_p$ 代入上式，得 $AT(b?Ax^)=0A^T(\mathbf{b}-A\mathbf{\hat{x}}) = \mathbf{0}$ 即
$ATAx^=ATbA^TA\mathbf{\hat{x}} = A^T\mathbf{b}$

因為 $rank A^TA = rank A = n$ ， $A^TA$ 是 $n$ 階方陣，故 $A^TA$ 可逆，得到最優近似解，即最小二乘解

$x^=(ATA)?1ATb\mathbf{\hat{x}} = (A^TA)^{-1}A^T\mathbf{b}$

讀者可以按該公式自行推導測量直徑的例子，會發現最小二乘解就是測量的平均值。測量加速度的例子讀者也可以自行推導，本書從略。

令 $AL?1=(ATA)?1ATA^{-1}_L = (A^TA)^{-1}A^T$ ，可以發現 $AL?1A=EnA^{-1}_LA=E_n$ ，稱 $AL?1A^{-1}_L$ 是 $A$ 的左逆，其尺寸為 $\times m$ 。

定義左逆對于列滿秩矩陣 $A_{mn}$ ，如果存在矩陣 $B_{nm}$ ，使 $BA=E_n$ 成立，則稱 $B$ 是 $A$ 的左逆， $AL?1=(ATA)?1ATA^{-1}_L=(A^TA)^{-1}A^T$ 是其中一個左逆。

特別強調下，左逆不唯一，證明如下：假設 $B_{nm}$ 是任意矩陣，如果 $(AL?1+B)A=E(A^{-1}_L+B)A=E$ 成立，則 $(AL?1+B)(A^{-1}_L+B)$ 是左逆，因為 $AL?1A=EA^{-1}_LA=E$ ，則只需 $BA=OBA=\mathbf{O}$ ，根據第三章內容，矩陣 $A$ 行向量組是相關組，故矩陣 $B$ 行向量組只要位于矩陣 $A$ 左零空間，則 $BA=OBA=\mathbf{O}$ ，故有無窮多左逆。如果不特別強調，我們稱左逆，都是特指矩陣 $AL?1=(ATA)?1ATA^{-1}_L=(A^TA)^{-1}A^T$ 。

代入 $Ax^=bpA\mathbf{\hat{x}} = \mathbf{b}_p$ ，可以得到投影向量

$bp=A(ATA)?1ATb=AAL?1b=Pb\mathbf{b}_p = A(A^TA)^{-1}A^T\mathbf{b}=AA^{-1}_L\mathbf{b}=P\mathbf{b}$

矩陣 $AA^{-1}_L=A(A^TA)^{-1}A^T$ 是投影矩陣，即對任意向量 $b\mathbf{b}$ ，向量 $PbP\mathbf{b}$ 是向量 $b\mathbf{b}$ 向矩陣 $A$ 列空間的投影向量 $bp\mathbf{b}_p$ ，投影矩陣尺寸是 $\times m$ 。

投影矩陣是冪等矩陣，即滿足 $P^2=P$ ，讀者可自行驗證。其背后的幾何意義更重要，對任意向量 $b\mathbf{b}$ ， $bp=Pb\mathbf{b}_p=P\mathbf{b}$ 是投影向量，那么 $PbpP\mathbf{b}_p$ 是什么呢？因為 $bp\mathbf{b}_p$ 已經位于矩陣 $A$ 列空間，投影后還是位于列空間，故向量不變，所以 $Pbp=bpP\mathbf{b}_p=\mathbf{b}_p$ ，則 $P2b=PbP^2\mathbf{b}=P\mathbf{b}$ 對任意向量 $b\mathbf{b}$ 均成立，故 $P^2=P$ 。投影矩陣是對稱矩陣 $P^T=P$ 。

關于投影矩陣，有兩點說明，第一投影矩陣不可逆，如果可逆， $P^2=P$ 左乘逆矩陣，得 $P = E$ ，投影矩陣一般都不是單位陣，當然單位陣是投影矩陣。第二投影矩陣唯一，證明如下：假設 $B_{nm}$ 是任意矩陣，如果 $A(AL?1+B)=PA(A^{-1}_L+B)=P$ 是投影矩陣，則只需 $AB=OAB=\mathbf{O}$ ，根據第三章內容，矩陣 $A$ 列向量組是無關組，故矩陣 $B$ 是零矩陣。

綜上，列滿秩矩陣 $A$ ，左逆不唯一， $A^{-1}_LA$ ， $AL?1A^{-1}_L$ 是一個左逆；投影矩陣 $AA^{-1}_L$ 唯一，且 $ A^{-1}_LA \ne AA^{-1}_L$ 。與可逆矩陣對比， $A^{-1}A = AA^{-1}$ ，逆矩陣 $A^{-1}$ 唯一，它們差別很大。

總結

以上是生活随笔為你收集整理的5.1 最小二乘法，左逆，投影矩阵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： 4.10 重要总结
下一篇： 5.2 最优近似解 $\mathbf{\