首先總結一下隨機到達現象(泊松過程)，分為連續型和離散型，對應了相鄰兩次到達之間的時間間隔和給定時間間隔內到達次數的討論。

• 連續型(指數分布)：常見的到達現象，比如顧客的到達、電話的呼叫、放射性衰變，相鄰兩次到達之間的時間，滿足速率為λ的指數分布。為何稱之為“速率”呢？因為我們知道一個量的期望和這個量是同量綱的，我們現在討論的是時間，隨機到達時間的期望是$\frac{1}{\lambda }$，它是是時間量綱，所以λ應該就是時間量綱的倒數，是速率的量綱。事實上，在實際中，λ這個從量綱分析出來的“速率”的概念，常常等價于問題中涉及到的速率(例如衰變的速率)，結合$\frac{1}{\lambda }$的形式，可以理解為λ表示單位時間內發生的次數。

• 離散型(泊松分布)：與指數型描述的是相鄰兩次到達之間的時間間隔不同，離散型刻畫的是給定時間內的到達次數滿足泊松分布，長度為t的時間區間內，到達次數$N_t$滿足：
  $$P(N_t=n)=\frac{e^{?\lambda t}(\lambda t{)}^n}{n!}$$
  到達次數$N_t$數學期望是$E(N_t)=\lambda t$，表示時間間隔$t$內到達次數的平均值。

  在同一個問題中，上述兩種泊松過程的類型都是可以應用的，在描述的精度上會有差異(比如討論在$95$%的誤差范圍內討論到達次數的偏差)，但是我覺得之后在應用的時候不做過多的考慮，問題問的是什么物理量我們就用哪種類型，比如問的是時間，我們就用指數分布；問的是次數，我們就用泊松分布。

馬爾科夫鏈：這個概念是我第一次接觸，描述的是一個隨機跳躍的序列，涉及到在不同狀態之間按照一定的概率轉移，而且$X_{n+1}=j$的概率僅僅依賴于$X_n$。

對于馬爾可夫鏈，有兩個層面的表示方法，一是狀態轉移圖，一個是狀態轉移矩陣。

• 狀態轉移圖：能夠比較直觀的表示出狀態之間的跳躍，我們依據狀態轉移圖可以列出轉移矩陣。

• 狀態轉移矩陣：注意狀態轉移的特征，每個元素都是條件概率，元素的第一個下標(行下標)是當前的位置，第二個下標(列下標)是跳躍的目的地。這樣的規定導致我們都是將概率分布寫成行向量的形式，并且在遞歸表達式中，前一狀態的概率分布向量要左乘狀態轉移矩陣。隨著n的增加，狀態分布可能會趨于確定的極限值，也就是說給定初始狀態，概率的分布會達到一個穩定的分布。這樣分析穩定狀態的目的在于，我們可以給定一個初態，可以得到之后取到任何一個狀態的概率，而不只是條件的概率。

  在計算問題上，有兩種路子：

  • 一種是給定一個初態，狀態轉移矩陣升冪，可靠的計算方法是將矩陣相似對角化，對角矩陣中的元素升冪，觀察是否有穩定值。
  • 另一種已知最后有穩定狀態，通過改寫遞歸式解方程得到，類似與求數列極限的方法。當然，觀察敏銳的同學可能注意到，這時似乎和初始狀態沒有關系了。是的，這種方法適合于無論何種初始狀態都能夠達到穩定的狀態。一個定理可以保證，一個遍歷的馬爾可夫鏈一定趨于穩定狀態。其中"遍歷"指的是對于每個i和j，i跳轉到j都可以在有限步驟內實現。