5.3 遞歸最小二乘法

前面最小二乘法中數據是一次全部測量好，然后進行求解。但實際中有時存在測量數據是在線獲得的，即時刻獲得測量數據。比如無人駕駛車輛，需要實時判斷前面車輛的運動狀態，獲取其加速度，所以每時每刻都需要進行測量。當每次獲得新的測量數據后，需要進行最小二乘法以更新車輛狀態。如果每次更新時，都采用公式 $\hat{\mathbf{x}}=(A^{T}A{)}^{?1}{A}^T\mathbf{b}$ 進行更新，即采用所有數據進行計算，則當測量次數很多時，計算量很大，效率很低，且需要保存所有測量數據。我們可以采用遞歸方式，每次利用新測量數據對結果繼續修正，極大減小計算量和存儲量。

為了使記號簡潔，我們令 ${\hat{\mathbf{x}}}_{\mathbf{m}}$ 表示用前 $m$ 次測量數據得到的最優近似解。我們計算 $A^{T}A$ ，此時需要把矩陣 $A$ 看作行向量組，即 $A=?\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}\\ {\mathbf{a}}_{\mathbf{r}2}^{\mathbf{T}}\\ ?\\ {\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}\end{array}?$ ，每一行對應一次測量數據，總共 $m$ 次測量，則
$$A^{T}A=\left[\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1},{\mathbf{a}}_{\mathbf{r}2},?,{\mathbf{a}}_{\mathbf{r}\mathbf{m}}\end{array}\right]?\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}\\ {\mathbf{a}}_{\mathbf{r}2}^{\mathbf{T}}\\ ?\\ {\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}\end{array}?={\mathbf{a}}_{\mathbf{r}1}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}+{\mathbf{a}}_{\mathbf{r}2}{\mathbf{a}}_{\mathbf{r}2}^{\mathbf{T}}+?+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}$$

令 $P_m=(A^{T}A{)}_m^{?1}$ 表示用前 $m$ 次測量數據得到的矩陣，則
$$P_m=({\mathbf{a}}_{\mathbf{r}1}{\mathbf{a}}_{\mathbf{r}1}^{\mathbf{T}}+?+{\mathbf{a}}_{\mathbf{r}(\mathbf{m}?1)}{\mathbf{a}}_{\mathbf{r}(\mathbf{m}?1)}^{\mathbf{T}}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}=(P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}$$

$$A^T\mathbf{b}=\left[\begin{array}{c}{\mathbf{a}}_{\mathbf{r}1},{\mathbf{a}}_{\mathbf{r}2},?,{\mathbf{a}}_{\mathbf{r}\mathbf{m}}\end{array}\right]?\begin{array}{c}{b}_1\\ b_2\\ ?\\ b_m\end{array}?=b_1{\mathbf{a}}_{\mathbf{r}1}+b_2{\mathbf{a}}_{\mathbf{r}2}+?+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}$$

令 $B_m=(A^T\mathbf{b}{)}_m$ 表示用前 $m$ 次測量數據得到的向量，則
$$B_m=b_1{\mathbf{a}}_{\mathbf{r}1}+?+b_{m?1}{\mathbf{a}}_{\mathbf{r}(\mathbf{m}?1)}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}=B_{m?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}$$

根據公式 $\hat{\mathbf{x}}=(A^{T}A{)}^{?1}{A}^T\mathbf{b}$ ，得利用 $m$ 次測量數據的公式為

$${\hat{\mathbf{x}}}_{\mathbf{m}}=P_m{B}_m=(P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}(B_{m?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}})$$

這就是獲得第 $m$ 次測量數據后的更新公式，不需要全部從零計算所有數據，只需保存前 $m?1$ 次測量數據獲得的矩陣 $P_{m?1}^{?1}$ 和向量 $B_{m?1}$ 即可，計算量也很少。

根據 ${\hat{\mathbf{x}}}_{\mathbf{m}}=P_m{B}_m$ 得 $B_{m?1}=P_{m?1}^{?1}{\hat{\mathbf{x}}}_{\mathbf{m}?1}$ ，$P_m^{?1}=P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}$ 帶入上式得

$$\begin{gathered} {\hat{\mathbf{x}}}_{\mathbf{m}}=P_m(P_{m?1}^{?1}{\hat{\mathbf{x}}}_{\mathbf{m}?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}) \\ =P_m((P_m^{?1}?{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}){\hat{\mathbf{x}}}_{\mathbf{m}?1}+b_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}) \\ ={\hat{\mathbf{x}}}_{\mathbf{m}?1}+P_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}(b_m?{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{m}?1}) \end{gathered}$$

這就是最優近似解的遞歸公式。

遞歸公式中 $P_m=(P_{m?1}^{?1}+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{)}^{?1}$ 需要計算逆矩陣，進一步化簡，利用公式 $(A+BCD{)}^{?1}=A^{?1}?A^{?1}B(C^{?1}+D{A}^{?1}B{)}^{?1}D{A}^{?1}$ 最后可得

$$\begin{gathered} {\hat{\mathbf{x}}}_{\mathbf{m}}={\hat{\mathbf{x}}}_{\mathbf{m}?1}+K_m{?}_m \\ {?}_m=b_m?{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{m}?1} \\ {K}_m=P_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}} \\ {P}_m=P_{m?1}?\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}}{1+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}} \end{gathered}$$

時間衰減遞歸最小二乘法

遞歸最小二乘法中所有測量數據重要性都是一樣的，這樣可能會帶來一個問題。還是以無人駕駛車輛實時判斷前面車輛的運動狀態為例，我們假設前面車輛做勻加速運動，實際上車輛運動狀態時刻會發生變化，時而加速時而減速（這稱為機動性），故為了準確獲取車輛當前狀態，當前數據的重要性，顯然要大于歷史數據，不能同等對待。而遞歸最小二乘法卻同等對待，故最優近似解更新速度慢，不能實時反映車輛運作狀態的改變，會慢半拍。如何提高當前數據的重要性，同時又不導致計算復雜度的增加，本節提出一種方法。根據 $P_m=P_{m?1}?\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}}{1+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}$ 得

$$K_m=P_m{\mathbf{a}}_{\mathbf{r}\mathbf{m}}=\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}{1+{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}$$

最優近似解的更新量為 $K_m{?}_m$ ，為了提高最新測量的權重，我們對 $K_m$ 進行修正為

$$K_m=\frac{P_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}}{1/\kappa +{\mathbf{a}}_{\mathbf{r}\mathbf{m}}^{\mathbf{T}}{P}_{m?1}{\mathbf{a}}_{\mathbf{r}\mathbf{m}}},\kappa \ge 1$$

修正系數 $\kappa$ 越大，最新測量的權重越大，歷史數據的作用衰減越快，最優解能快速跟蹤系統。但 $\kappa$ 越大，如果車輛運作狀態沒有改變，則會增大最優近似解的誤差；$\kappa$ 小，如果車輛運作狀態發生改變，則最優近似解不能快速跟隨車輛狀態的改變。所以最理想的情況是，先判斷車輛運動狀態是否發生改變，如果發生，則增大 $\kappa$ ，否則可以令 $\kappa ＝1$ 。

總結

以上是生活随笔為你收集整理的5.3 递归最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。