很多東西再看第二遍的時(shí)候，都有一種恍然大悟的感覺

參數(shù)估計(jì)方法

現(xiàn)代控制理論中往往要通過觀測值對(duì)系統(tǒng)內(nèi)部結(jié)構(gòu)參數(shù)進(jìn)行估計(jì)，類似于我們常用的線性最小二乘法，舉例：二維坐標(biāo)（身高、年齡）給一堆的點(diǎn)，找倆參數(shù)，然后擬合一條直線$y=ax+b$，確定$a$和$b$的過程中，就是參數(shù)估計(jì)。

現(xiàn)代控制理論中的經(jīng)典參數(shù)估計(jì)包括：最小方差估計(jì)與線性最小方差估計(jì)、極大似然法與極大驗(yàn)后法、最小二乘估計(jì)與加權(quán)最小二乘估計(jì)、遞推最小二乘估計(jì)。

線性最小方差估計(jì)

本博文中講到的線性最小方差估計(jì)：設(shè)估計(jì)值是觀測值的線性函數(shù)，估計(jì)誤差的方差為最小。

使用此方法，需要知道觀測值$z$和被估計(jì)值$x$的一、二階矩（包括期望、方差、協(xié)方差）。

其核心公式為：
$$\hat{x}=az+b$$
根據(jù)估計(jì)誤差的方程：
$$J=E\left\{[x?\hat{x}{]}^2\right\}=E\left\{[x?(az+b){]}^2\right\}$$

分別對(duì)$a$和$b$求偏導(dǎo)，令其為0，可以獲得相應(yīng)的值：
$$a=\frac{Cov(x,z)}{{\sigma }_z^2}$$$$b=m_x?a{m}_z$$

OK，接著看正交定理。

正交定理

上面提到，在求參數(shù)的偏導(dǎo)的時(shí)候，令其為0，也就是：
$$\frac{?J}{?a}=?2E\left\{[x?(az+b)]z\right\}=0$$
那么也就是$$E[\tilde{x}z]=0$$
也就是說我們所利用的信息就是$\tilde{x}$與$z$的乘積的數(shù)學(xué)期望為0，概率論中稱之為正交。

物理意義

思考：為什么上面的情況就叫做正交呢？？？能不能直觀的解釋一下？？？

那么我們可以看到，如果把這兩個(gè)隨機(jī)變量$x$與$z$看作是空間中的兩個(gè)向量。因此我們在利用線性最小方差估計(jì)的時(shí)候，就有如下的圖：

我們所估計(jì)出來的$\hat{x}$是與$z$共線的，那么什么時(shí)候其偏差最小呢，就是$\tilde{x}=x?\hat{x}$與$z$垂直的時(shí)候，這時(shí)候的偏差的長度是最短的，所以是$\tilde{x}$與$z$正交，與正交定理吻合。

（注：不夠嚴(yán)謹(jǐn)?shù)牡胤酵刚?#xff0c;謝謝?）

總結(jié)

以上是生活随笔為你收集整理的2019-10-12 线性最小方差估计和正交定理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。