第2章回到目錄第4章

第3章-Markov 過程-《隨機過程》方兆本

• • 3.1 Markov 鏈的定義和例子
  • • • • 定義3.1 離散時間 Markov 鏈
        • 定義3.2 平穩（/ 一步）轉移概率
        • 定理3.1
        • 查普曼-科莫高洛夫 (Chapman-Kolmogorov) 方程
  • 3.2 Markov 鏈的狀態分類
  • • 3.2.1 互達性和周期性
    • • • 定義3.3 可達與互達
    • 3.2.2 常返 (recurrent) 與瞬過 (transient)
  • 3.3 Markov 鏈的極限定理與平穩分布
  • 3.4 分支過程
  • 3.5 連續時間 Markov 鏈
  • • 3.5.1 連續時間 Markov 鏈
    • 3.5.2 純生過程
  • 3.6 生滅過程
  • • 3.6.1 生滅過程 (birth and death process)
    • 3.6.2 Kolmogorov 向后向前微分方程

3.1 Markov 鏈的定義和例子

定義3.1 離散時間 Markov 鏈

如果對任何一列狀態 $i_0,i_1,?,i_{n?1},i,j$ ，及對任何 $n\ge 0$，隨機過程 $\{X_n,n\ge 0\}$ 滿足 Markov 性質
$$\begin{gathered} P\{X_{n+1}=j|X_0=i_0,?,X_{n?1}=i_{n?1},X_n=i\} \\ =P\{X_{n+1}=j|X_n=i\} \end{gathered}$$

則稱 $X_n$ 為離散時間 Markov 鏈。

定義3.2 平穩（/ 一步）轉移概率

設 $X_n$ 為一離散時間 Markov 鏈。給定 $X_n$ 在狀態 $i$ 時，$X_{n+1}$ 處于狀態 $j$ 的條件概率 $P\{X_{n+1}=j|X_n=i\}$ 稱為 Markov 鏈的一步轉移概率，記作 $P_{ij}^{n,n+1}$。當這一概率與 $n$ 無關時稱該 Markov 鏈有平穩轉移概率，并記為 $P_{ij}$。

定理3.1

Markov 鏈的 $n$ 步轉移概率矩陣滿足：
$$P_{ij}^{(n)}=\sum _{k=0}^{\infty }{P}_{ik}{P}_{kj}^{(n?1)}，$$

在上式中我們約定 $P_{ii}^{(0)}=1$，當 $j=i$ 時 $P_{ij}^{(0)}=0$。

查普曼-科莫高洛夫 (Chapman-Kolmogorov) 方程

$$P_{ij}^{(n+m)}=\sum _{k=0}^{\infty }{P}_{ik}^{(n)}{P}_{kj}^{(m)}$$

3.2 Markov 鏈的狀態分類

3.2.1 互達性和周期性

定義3.3 可達與互達

如果對某一 $n\ge 0$，有 $P_{ij}^{(n)}>0$，則稱狀態 $j$ 是從狀態 $i$ 可達的 (accessible)，記作 $i\to j$。它表示從狀態 $i$ 經過有限步的轉移可以達到狀態 $j$。兩個互相可達的狀態 $i$ 和 $j$ 則稱為互達的 (communicate)，記作 $i?j$。

3.2.2 常返 (recurrent) 與瞬過 (transient)

3.3 Markov 鏈的極限定理與平穩分布

3.4 分支過程

3.5 連續時間 Markov 鏈

3.5.1 連續時間 Markov 鏈

3.5.2 純生過程

3.6 生滅過程

3.6.1 生滅過程 (birth and death process)

3.6.2 Kolmogorov 向后向前微分方程

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的【数理知识】《随机过程》方兆本老师-第3章-Markov 过程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。