5.2 最優(yōu)近似解 $\hat{\mathbf{x}}=A_L^{?1}\mathbf{b}$ 是最小二乘解

根據(jù)平面幾何定理，點到直線的距離，垂線最短，推廣到高維，即點到子空間的距離，垂線最短。根據(jù)投影性質(zhì)，向量 ${\mathbf{b}}_p$ 是向量 $\mathbf{b}$ 在子空間 $colA$ 的垂足，向量 $\mathbf{b}?{\mathbf{b}}_p$ 是垂線，距離最短，又 ${\mathbf{b}}_p=A\hat{\mathbf{x}}$ ，得

$$\Vert \mathbf{b}?{\mathbf{b}}_p\Vert =\Vert \mathbf{b}?A\hat{\mathbf{x}}\Vert =mi{n}_{\mathbf{x}}(\Vert \mathbf{b}?A\mathbf{x}\Vert )$$

在子空間 $colA$ 中任意向量 $A\mathbf{x}$ 與向量 $\mathbf{b}$ 的距離大于垂線距離 $\Vert \mathbf{b}?{\mathbf{b}}_p\Vert$ ，距離 $\Vert \mathbf{b}?A\mathbf{x}\Vert$ 最小的解即是最優(yōu)近似解。

$\Vert \mathbf{b}?{\mathbf{b}}_p{\Vert }^2$ 是什么呢？$\Vert \mathbf{b}?{\mathbf{b}}_p{\Vert }^2=\Vert \mathbf{b}?A\hat{\mathbf{x}}{\Vert }^2={\sum }_i(b_i?{\mathbf{a}}_{ri}^T\hat{\mathbf{x}}{)}^2$ 。 $b_i?{\mathbf{a}}_{ri}^T\hat{\mathbf{x}}$ 是第 $i$ 次測量數(shù)據(jù)的預(yù)測值 ${\hat{b}}_i={\mathbf{a}}_{ri}^T\hat{\mathbf{x}}$ 與實際測量值 $b_i$ 的差，$b_i?{\hat{b}}_i$ 稱為殘差。最優(yōu)近似解的殘差平方和最小，故稱最小二乘解，二乘就是指平方和。

總結(jié)

以上是生活随笔為你收集整理的5.2 最优近似解 $\mathbf{\hat{x}} = A^{-1}_L\mathbf$ 是最小二乘解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。