文章目錄

• • 前言
  • 一、馬爾可夫過程的分類
  • 二、馬爾可夫鏈的定義
  • 三、轉移概率
  • • 1.一步轉移概率
    • 2.n步轉移概率
    • 3.C-K方程應用例題
  • 四、馬爾可夫鏈的狀態分類
  • • 1.周期性
    • 2.常返性
    • 3.求首達概率例題
  • 五、狀態空間的分解
  • • 1.定義
    • 2.常返性、周期性例題
  • 六、平穩分布
  • • 1.定義
    • 2.平穩分布例題
  • 總結

---

前言

本文的主要內容是馬爾可夫過程的分類、馬爾可夫鏈的定義、一步和n步轉移概率、馬爾可夫鏈的狀態分類、狀態空間的分解、平穩分布以及相關例題的解析。

---

一、馬爾可夫過程的分類

時間、狀態都離散的馬爾可夫過程，稱為馬爾可夫鏈。
時間連續、狀態離散的馬爾可夫過程，稱為連續時間馬爾可夫鏈。
時間、狀態都連續，稱為馬爾可夫過程。

---

二、馬爾可夫鏈的定義

馬爾可夫鏈的統計特性完全由條件概率：

所決定。

---

三、轉移概率

1.一步轉移概率

稱上式的條件概率為馬爾可夫鏈 {Xn,n∈T} 在時刻 n 的一步轉移概率，簡稱為轉移概率，其中的 i,j∈I。
轉移概率p不僅與狀態 i,j 有關，還與時刻 n 有關，當p不依賴于n時，表示馬爾可夫鏈具有平穩轉移概率。
轉移概率p與n無關時，稱馬爾可夫鏈 {Xn,n∈T} 是齊次的。
一步轉移概率矩陣的性質：

對（1），即矩陣中的每個元素都是大于等于0的；對（2），矩陣中的每行元素的和為1。通常滿足（1）和（2）的矩陣為隨機矩陣。

2.n步轉移概率

其具有的性質有：

其中性質(1)稱為切普曼-柯爾莫哥洛夫方程，簡稱為C-K方程。
性質(2)說明n步轉移概率由一步轉移概率確定。
性質(3)(4)說明n步轉移矩陣可以由一步轉移矩陣乘n次得到。

3.C-K方程應用例題

---

四、馬爾可夫鏈的狀態分類

1.周期性

如果集合：

非空，則稱該集合的最大公約數 d 為狀態i的周期，d>1 就稱 i 是周期的，d=1 就稱 i 是非周期的。

2.常返性

上式表示質點從狀態 i 出發，經過有限步終于到達 j 的概率。

若 i 是非常返的，則從 i 出發后以正概率 1-f_ii 永遠不再返回到 i 。
若 i 是常返的，由定義：

構成一個概率分布，其分布的期望值為：

它表示由 i 出發再次返回到 i 的平均返回時間。

若 i 是常返的，則有：

3.求首達概率例題

---

五、狀態空間的分解

1.定義

設C為狀態空間 I 的非空子集，若對任意 i ∈C 及 k?C 都有p_ik =0，則稱C為閉集。若C中所有的狀態是互通的，稱C為不可約的閉集。若馬爾可夫鏈 {Xn} 的狀態空間 I 是不可約的閉集，則稱 {Xn} 為不可約的馬爾可夫鏈。
閉集的意思是自C的內部不能到達C的外部，這意味著一旦質點進入閉集C中，它將永遠留在C中循環運動。
任一馬氏鏈的狀態空間 I，可唯一地分解成有限個或可列個互不相交的子集D，C1，C2，… 之和，使得：

用一個式子表達狀態空間 I 如下。

2.常返性、周期性例題

---

六、平穩分布

1.定義

設{Xn，n≥0} 是齊次馬爾可夫鏈，狀態空間為 I ，轉移概率為p_ij。

不可約非周期馬爾可夫鏈才能求其平穩分布。

2.平穩分布例題

---

總結

以上就是馬爾可夫過程及其例題分析章節的所有內容了，本文參考的是劉次華隨機過程第五版課本。

總結

以上是生活随笔為你收集整理的马尔可夫过程及其例题分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。