5.3 遞歸最小二乘法

前面最小二乘法中數(shù)據(jù)是一次全部測(cè)量好，然后進(jìn)行求解。但實(shí)際中有時(shí)存在測(cè)量數(shù)據(jù)是在線獲得的，即時(shí)刻獲得測(cè)量數(shù)據(jù)。比如無(wú)人駕駛車輛，需要實(shí)時(shí)判斷前面車輛的運(yùn)動(dòng)狀態(tài)，獲取其加速度，所以每時(shí)每刻都需要進(jìn)行測(cè)量。當(dāng)每次獲得新的測(cè)量數(shù)據(jù)后，需要進(jìn)行最小二乘法以更新車輛狀態(tài)。如果每次更新時(shí)，都采用公式 $\hat{\mathbf{x}}=(A^{T}A{)}^{?1}{A}^T\mathbf{b}$ 進(jìn)行更新，即采用所有數(shù)據(jù)進(jìn)行計(jì)算，則當(dāng)測(cè)量次數(shù)很多時(shí)，計(jì)算量很大，效率很低，且需要保存所有測(cè)量數(shù)據(jù)。我們可以采用遞歸方式，每次利用新測(cè)量數(shù)據(jù)對(duì)結(jié)果繼續(xù)修正，極大減小計(jì)算量和存儲(chǔ)量。

為了使記號(hào)簡(jiǎn)潔，我們令 ${\hat{\mathbf{x}}}_{\mathbf{m}}$ 表示用前 $m$ 次測(cè)量數(shù)據(jù)得到的最優(yōu)近似解。我們計(jì)算 $A^{T}A$ ，此時(shí)需要把矩陣 $A$ 看作行向量組，即 $A=?\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}\\ {\mathbf{a}}_{\mathbf{r}2}^{\mathbf{T}}\\ ?\\ {\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}\end{array}?$ ，每一行對(duì)應(yīng)一次測(cè)量數(shù)據(jù)，總共 $m$ 次測(cè)量，則
$$A^{T}A=\left[\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1},{\mathbf{a}}_{\mathbf{r}2},?,{\mathbf{a}}_{\mathbf{r}\mathbf{m}}\end{array}\right]?\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}\\ {\mathbf{a}}_{\mathbf{r}2}^{\mathbf{T}}\\ ?\\ {\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}\end{array}?={\mathbf{a}}_{\mathbf{r}1}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}+{\mathbf{a}}_{\mathbf{r}2}{\mathbf{a}}_{\mathbf{r}2}^{\mathbf{T}}+?+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}$$

令 $P_m=(A^{T}A{)}_m^{?1}$ 表示用前 $m$ 次測(cè)量數(shù)據(jù)得到的矩陣，則
$$P_m=({\mathbf{a}}_{\mathbf{r}1}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}+?+{\mathbf{a}}_{\mathbf{r}(\mathbf{m}?1)}{\mathbf{a}}_{\mathbf{r}(\mathbf{m}?1)}^{\mathbf{T}}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}=(P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}$$

$$A^T\mathbf{b}=\left[\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1},{\mathbf{a}}_{\mathbf{r}2},?,{\mathbf{a}}_{\mathbf{r}\mathbf{m}}\end{array}\right]?\begin{array}{c}{b}_1\\ b_2\\ ?\\ b_m\end{array}?=b_1{\mathbf{a}}_{\mathbf{r}1}+b_2{\mathbf{a}}_{\mathbf{r}2}+?+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}$$

令 $B_m=(A^T\mathbf{b}{)}_m$ 表示用前 $m$ 次測(cè)量數(shù)據(jù)得到的向量，則
$$B_m=b_1{\mathbf{a}}_{\mathbf{r}1}+?+b_{m?1}{\mathbf{a}}_{\mathbf{r}(\mathbf{m}?1)}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}=B_{m?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}$$

根據(jù)公式 $\hat{\mathbf{x}}=(A^{T}A{)}^{?1}{A}^T\mathbf{b}$ ，得利用 $m$ 次測(cè)量數(shù)據(jù)的公式為

$${\hat{\mathbf{x}}}_{\mathbf{m}}=P_m{B}_m=(P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}(B_{m?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}})$$

這就是獲得第 $m$ 次測(cè)量數(shù)據(jù)后的更新公式，不需要全部從零計(jì)算所有數(shù)據(jù)，只需保存前 $m?1$ 次測(cè)量數(shù)據(jù)獲得的矩陣 $P_{m?1}^{?1}$ 和向量 $B_{m?1}$ 即可，計(jì)算量也很少。

根據(jù) ${\hat{\mathbf{x}}}_{\mathbf{m}}=P_m{B}_m$ 得 $B_{m?1}=P_{m?1}^{?1}{\hat{\mathbf{x}}}_{\mathbf{m}?1}$ ，$P_m^{?1}=P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}$ 帶入上式得

$$\begin{gathered} {\hat{\mathbf{x}}}_{\mathbf{m}}=P_m(P_{m?1}^{?1}{\hat{\mathbf{x}}}_{\mathbf{m}?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}) \\ =P_m((P_m^{?1}?{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}){\hat{\mathbf{x}}}_{\mathbf{m}?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}) \\ ={\hat{\mathbf{x}}}_{\mathbf{m}?1}+P_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}(b_m?{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{m}?1}) \end{gathered}$$

這就是最優(yōu)近似解的遞歸公式。

遞歸公式中 $P_m=(P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}$ 需要計(jì)算逆矩陣，進(jìn)一步化簡(jiǎn)，利用公式 $(A+BCD{)}^{?1}=A^{?1}?A^{?1}B(C^{?1}+D{A}^{?1}B{)}^{?1}D{A}^{?1}$ 最后可得

$$\begin{gathered} {\hat{\mathbf{x}}}_{\mathbf{m}}={\hat{\mathbf{x}}}_{\mathbf{m}?1}+K_m{?}_m \\ {?}_m=b_m?{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{m}?1} \\ {K}_m=P_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}} \\ {P}_m=P_{m?1}?\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}}{1+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}} \end{gathered}$$

時(shí)間衰減遞歸最小二乘法

遞歸最小二乘法中所有測(cè)量數(shù)據(jù)重要性都是一樣的，這樣可能會(huì)帶來(lái)一個(gè)問(wèn)題。還是以無(wú)人駕駛車輛實(shí)時(shí)判斷前面車輛的運(yùn)動(dòng)狀態(tài)為例，我們假設(shè)前面車輛做勻加速運(yùn)動(dòng)，實(shí)際上車輛運(yùn)動(dòng)狀態(tài)時(shí)刻會(huì)發(fā)生變化，時(shí)而加速時(shí)而減速（這稱為機(jī)動(dòng)性），故為了準(zhǔn)確獲取車輛當(dāng)前狀態(tài)，當(dāng)前數(shù)據(jù)的重要性，顯然要大于歷史數(shù)據(jù)，不能同等對(duì)待。而遞歸最小二乘法卻同等對(duì)待，故最優(yōu)近似解更新速度慢，不能實(shí)時(shí)反映車輛運(yùn)作狀態(tài)的改變，會(huì)慢半拍。如何提高當(dāng)前數(shù)據(jù)的重要性，同時(shí)又不導(dǎo)致計(jì)算復(fù)雜度的增加，本節(jié)提出一種方法。根據(jù) $P_m=P_{m?1}?\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}}{1+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}$ 得

$$K_m=P_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}=\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}{1+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}$$

最優(yōu)近似解的更新量為 $K_m{?}_m$ ，為了提高最新測(cè)量的權(quán)重，我們對(duì) $K_m$ 進(jìn)行修正為

$$K_m=\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}{1/\kappa +{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}},\kappa \ge 1$$

修正系數(shù) $\kappa$ 越大，最新測(cè)量的權(quán)重越大，歷史數(shù)據(jù)的作用衰減越快，最優(yōu)解能快速跟蹤系統(tǒng)。但 $\kappa$ 越大，如果車輛運(yùn)作狀態(tài)沒(méi)有改變，則會(huì)增大最優(yōu)近似解的誤差；$\kappa$ 小，如果車輛運(yùn)作狀態(tài)發(fā)生改變，則最優(yōu)近似解不能快速跟隨車輛狀態(tài)的改變。所以最理想的情況是，先判斷車輛運(yùn)動(dòng)狀態(tài)是否發(fā)生改變，如果發(fā)生，則增大 $\kappa$ ，否則可以令 $\kappa ＝1$ 。

總結(jié)

以上是生活随笔為你收集整理的5.3 递归最小二乘法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。