一、馬爾科夫模型
1.1 馬爾可夫過程

馬爾可夫過程（Markov process）是一類隨機(jī)過程。由俄國數(shù)學(xué)家A.A.馬爾可夫于1907年提出。該過程具有如下特性：在已知目前狀態(tài)（現(xiàn)在）的條件下，它未來的演變（將來）不依賴于它以往的演變 (過去 )。例如森林中動物頭數(shù)的變化構(gòu)成——馬爾可夫過程。在現(xiàn)實世界中，有很多過程都是馬爾可夫過程，如液體中微粒所作的布朗運(yùn)動、傳染病受感染的人數(shù)、車站的候車人數(shù)等，都可視為馬爾可夫過程。

馬爾科夫過程中最核心的幾個概念：過去，現(xiàn)在，將來。其中最核心的在于“現(xiàn)在”如何理解。

在馬爾可夫性的定義中，"現(xiàn)在"是指固定的時刻，但實際問題中常需把馬爾可夫性中的“現(xiàn)在”這個時刻概念推廣為停時（見隨機(jī)過程）。例如考察從圓心出發(fā)的平面上的布朗運(yùn)動，如果要研究首次到達(dá)圓周的時刻 τ以前的事件和以后的事件的條件獨立性，這里τ為停時，并且認(rèn)為τ是“現(xiàn)在”。如果把“現(xiàn)在”推廣為停時情形的“現(xiàn)在”，在已知“現(xiàn)在”的條件下，“將來”與“過去”無關(guān)，這種特性就叫強(qiáng)馬爾可夫性。具有這種性質(zhì)的馬爾可夫過程叫強(qiáng)馬爾可夫過程。在相當(dāng)一段時間內(nèi)，不少人認(rèn)為馬爾可夫過程必然是強(qiáng)馬爾可夫過程。首次提出對強(qiáng)馬爾可夫性需要嚴(yán)格證明的是J.L.杜布。直到1956年，才有人找到馬爾可夫過程不是強(qiáng)馬爾可夫過程的例子。馬爾可夫過程理論的進(jìn)一步發(fā)展表明，強(qiáng)馬爾可夫過程才是馬爾可夫過程真正研究的對象。

（這段話實在是太過于抽象了，不好理解，心里有數(shù)就行，因為這里的過去、現(xiàn)在、將來和我們生活中是有所差別的，不太好理解！）

所以：一個馬爾科夫過程就是指過程中的每個狀態(tài)的轉(zhuǎn)移只依賴于之前的 n個狀態(tài)，這個過程被稱為 n階馬爾科夫模型，其中 n是影響轉(zhuǎn)移狀態(tài)的數(shù)目。最簡單的馬爾科夫過程就是一階過程，每一個狀態(tài)的轉(zhuǎn)移只依賴于其之前的那一個狀態(tài)，這也是后面很多模型的討論基礎(chǔ)，很多時候馬爾科夫鏈、隱馬爾可夫模型都是只討論一階模型，甚至很多文章就將一階模型稱之為馬爾科夫模型，現(xiàn)在我們知道一階只是一種特例而已了。

對于一階馬爾科夫模型，則有：

如果第 i 時刻上的取值依賴于且僅依賴于第 i?1 時刻的取值，即

? 從這個式子可以看出，xi 僅僅與 xi-1有關(guān)，二跟他前面的都沒有關(guān)系了，這就是一階過程。
?

總結(jié)：馬爾科夫過程指的是一個狀態(tài)不斷演變的過程，對其進(jìn)行建模后稱之為馬爾科夫模型，在一定程度上，馬爾科夫過程和馬爾科夫鏈可以打等號的。

1.2 馬爾科夫性（無后效型）

在馬爾科夫過程中，在給定當(dāng)前知識或信息的情況下，過去（即當(dāng)前以前的歷史狀態(tài)）對于預(yù)測將來（即當(dāng)前以后的未來狀態(tài)）是無關(guān)的。這種性質(zhì)叫做無后效性。簡單地說就是將來與過去無關(guān)，值與現(xiàn)在有關(guān)，不斷向前形成這樣一個過程。

1.3 馬爾可夫鏈

時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾可夫鏈,簡記為Xn=X(n),n=0,1,2…馬爾可夫鏈?zhǔn)请S機(jī)變量X1,X2,X3…的一個數(shù)列。

這種離散的情況其實草是我們所討論的重點，很多時候我們就直接說這樣的離散情況就是一個馬爾科夫模型。

（1）關(guān)鍵概念——狀態(tài)空間

馬爾可夫鏈?zhǔn)请S機(jī)變量X1,X2,X3…Xn所組成的一個數(shù)列，每一個變量Xi 都有幾種不同的可能取值，即他們所有可能取值的集合，被稱為“狀態(tài)空間”，而Xn的值則是在時間n的狀態(tài)。

（2）關(guān)鍵概念——轉(zhuǎn)移概率(Transition Probability）

馬爾可夫鏈可以用條件概率模型來描述。我們把在前一時刻某取值下當(dāng)前時刻取值的條件概率稱作轉(zhuǎn)移概率。

上面是一個條件概率，表示在前一個狀態(tài)為s的條件下，當(dāng)前狀態(tài)為t的概率是多少。

（3）關(guān)鍵概念——轉(zhuǎn)移概率矩陣

很明顯，由于在每一個不同的時刻狀態(tài)不止一種，所以由前一個時刻的狀態(tài)轉(zhuǎn)移到當(dāng)前的某一個狀態(tài)有幾種情況，那么所有的條件概率會組成一個矩陣，這個矩陣就稱之為“轉(zhuǎn)移概率矩陣”。比如每一個時刻的狀態(tài)有n中，前一時刻的每一種狀態(tài)都有可能轉(zhuǎn)移到當(dāng)前時刻的任意一種狀態(tài)，所以一共有n*n種情況，組織成一個矩陣形式如下：

1.4 馬爾可夫模型的應(yīng)用

馬爾可夫模型（Markov Model）是一種統(tǒng)計模型，廣泛應(yīng)用在語音識別，詞性自動標(biāo)注，音字轉(zhuǎn)換，概率文法、序列分類等各個自然語言處理等應(yīng)用領(lǐng)域。經(jīng)過長期發(fā)展，尤其是在語音識別中的成功應(yīng)用，使它成為一種通用的統(tǒng)計工具。到目前為止，它一直被認(rèn)為是實現(xiàn)快速精確的語音識別系統(tǒng)的最成功的方法之一。

二、馬爾科夫模型的案例之一——天氣預(yù)報
下面是一個馬爾科夫模型在天氣預(yù)測方面的簡單例子。如果第一天是雨天，第二天還是雨天的概率是0.8，是晴天的概率是0.2；如果第一天是晴天，第二天還是晴天的概率是0.6，是雨天的概率是0.4。問：如果第一天下雨了，第二天仍然是雨天的概率是多少？，第十天是晴天的概率是多少？；經(jīng)過很長一段時間后雨天、晴天的概率分別是多少？

首先構(gòu)建轉(zhuǎn)移概率矩陣，由于這里每一天的狀態(tài)就是晴天或者是下雨兩種情況，所以矩陣是2x2的，如下：

雨天晴天

0.8	0.4	雨天
0.2	0.6	晴天

注意：每列和為1，分別對雨天、晴天，這樣構(gòu)建出來的就是轉(zhuǎn)移概率矩陣了。如下：

假設(shè)初始狀態(tài)第一天是雨天，我們記為

這里【1，0】分別對于雨天，晴天。

初始條件：第一天是雨天，第二天仍然是雨天（記為P1）的概率為：

P1 = AxP0

得到P1 = 【0.8,0.2】，正好滿足雨天~雨天概率為0.8，當(dāng)然這根據(jù)所給條件就是這樣。

下面計算第十天（記為P9）是晴天概率：

得到，第十天為雨天概率為0.6668，為晴天的概率為0.3332。

下面計算經(jīng)過很長一段時間后雨天、晴天的概率，顯然就是下面的遞推公式了：

2.2 遞推公式的改進(jìn)

雖然上面構(gòu)造了一個遞推公式，但是直接計算矩陣A的n次方是很難計算的，我們將A進(jìn)行特征分解（譜分解）一下，得到：

現(xiàn)在遞推公式變成了下面的樣子：

顯然，當(dāng)n趨于無窮即很長一段時間以后，Pn = 【0.67，0.33】。即雨天概率為0.67，晴天概率為0.33。并且，我們發(fā)現(xiàn)：初始狀態(tài)如果是P0 =【0，1】，最后結(jié)果仍然是Pn = 【0.67，0.33】。這表明，馬爾科夫過程與初始狀態(tài)無關(guān)，跟轉(zhuǎn)移矩陣有關(guān)。

總結(jié)

以上是生活随笔為你收集整理的马尔可夫模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。