線性動態系統

HMM 模型適用于隱變量是離散的值的時候，對于連續隱變量的 HMM，常用線性動態系統描述線性高斯模型的態變量，使用粒子濾波來表述非高斯非線性的態變量。

LDS 又叫卡爾曼濾波，其中，線性體現在上一時刻和這一時刻的隱變量以及隱變量和觀測之間：
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? z_t&=A\cdot z_…
類比 HMM 中的幾個參數：
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? p(z_t|z_{t-1})…
在含時的概率圖中，除了對參數估計的學習問題外，在推斷任務中，包括譯碼，證據概率，濾波，平滑，預測問題，LDS 更關心濾波這個問題：$p(z_t|x_1,x_2,?,x_t)$。類似 HMM 中的前向算法，我們需要找到一個遞推關系。
$$p(z_t|x_{1:t})=p(x_{1:t},z_t)/p(x_{1:t})=Cp(x_{1:t},z_t)$$
對于 $p(x_{1:t},z_t)$：
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}?p(x_{1:t},z_t)&…
我們看到，右邊除了只和觀測相關的常數項，還有一項是預測任務需要的概率。對這個值：
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? p(z_t|x_{1:t-1…
我們看到，這又化成了一個濾波問題。于是我們得到了一個遞推公式：

$t=1$，$p(z_1|x_1)$，稱為 update 過程，然后計算 $p(z_2|x_1)$，通過上面的積分進行，稱為 prediction 過程。

$t=2$，$p(z_2|x_2,x_1)$ 和 $p(z_3|x_1,x_2)$

我們看到，這個過程是一個 Online 的過程，對于我們的線性高斯假設，這個計算過程都可以得到解析解。

Prediction：
$$p(z_t|x_{1:t?1})={\int }_{z_{t?1}}p(z_t|z_{t?1})p(z_{t?1}|x_{1:t?1})d{z}_{t?1}={\int }_{z_{t?1}}\mathcal{N}(A{z}_{t?1}+B,Q)\mathcal{N}({\mu }_{t?1},{\Sigma }_{t?1})d{z}_{t?1}$$
其中第二個高斯分布是上一步的 Update 過程，所以根據線性高斯模型，直接可以寫出這個積分：
$$p(z_t|x_{1:t?1})=\mathcal{N}(A{\mu }_{t?1}+B,Q+A{\Sigma }_{t?1}{A}^T)$$

Update:
$$p(z_t|x_{1:t})\propto p(x_t|z_t)p(z_t|x_{1:t?1})$$
同樣利用線性高斯模型，也可以直接寫出這個高斯分布。

總結

以上是生活随笔為你收集整理的LDS线性动态系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。