很多東西再看第二遍的時候，都有一種恍然大悟的感覺

參數(shù)估計方法

現(xiàn)代控制理論中往往要通過觀測值對系統(tǒng)內(nèi)部結(jié)構(gòu)參數(shù)進行估計，類似于我們常用的線性最小二乘法，舉例：二維坐標（身高、年齡）給一堆的點，找倆參數(shù)，然后擬合一條直線$y=ax+b$，確定$a$和$b$的過程中，就是參數(shù)估計。

現(xiàn)代控制理論中的經(jīng)典參數(shù)估計包括：最小方差估計與線性最小方差估計、極大似然法與極大驗后法、最小二乘估計與加權(quán)最小二乘估計、遞推最小二乘估計。

線性最小方差估計

本博文中講到的線性最小方差估計：設估計值是觀測值的線性函數(shù)，估計誤差的方差為最小。

使用此方法，需要知道觀測值$z$和被估計值$x$的一、二階矩（包括期望、方差、協(xié)方差）。

其核心公式為：
$$\hat{x}=az+b$$
根據(jù)估計誤差的方程：
$$J=E\left\{[x?\hat{x}{]}^2\right\}=E\left\{[x?(az+b){]}^2\right\}$$

分別對$a$和$b$求偏導，令其為0，可以獲得相應的值：
$$a=\frac{Cov(x,z)}{{\sigma }_z^2}$$$$b=m_x?a{m}_z$$

OK，接著看正交定理。

正交定理

上面提到，在求參數(shù)的偏導的時候，令其為0，也就是：
$$\frac{?J}{?a}=?2E\left\{[x?(az+b)]z\right\}=0$$
那么也就是$$E[\tilde{x}z]=0$$
也就是說我們所利用的信息就是$\tilde{x}$與$z$的乘積的數(shù)學期望為0，概率論中稱之為正交。

物理意義

思考：為什么上面的情況就叫做正交呢？？？能不能直觀的解釋一下？？？

那么我們可以看到，如果把這兩個隨機變量$x$與$z$看作是空間中的兩個向量。因此我們在利用線性最小方差估計的時候，就有如下的圖：

我們所估計出來的$\hat{x}$是與$z$共線的，那么什么時候其偏差最小呢，就是$\tilde{x}=x?\hat{x}$與$z$垂直的時候，這時候的偏差的長度是最短的，所以是$\tilde{x}$與$z$正交，與正交定理吻合。

（注：不夠嚴謹?shù)牡胤酵刚?#xff0c;謝謝?）

總結(jié)

以上是生活随笔為你收集整理的2019-10-12 线性最小方差估计和正交定理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。