轉載自??隱馬爾科夫模型-前向算法

隱馬爾科夫模型-前向算法

在該篇文章中講了隱馬爾科夫模型（HMM）一基本模型與三個基本問題?隱馬爾科夫模型-基本模型與三個基本問題，這篇文章總結一下隱馬爾科夫鏈（HMM）中的前向與后向算法，首先給出這倆個算法是為了解決HMM的第一個基本問題。

先回憶一下第一個問題：

第一個問題是求，給定模型的情況下，求某種觀測序列出現的概率。
比如，給定的HMM模型參數已知，求出三天觀察是(Dizzy,Cold,Normal)的概率是多少？(對應的HMM模型參數已知的意思，就是說的A(trainsition_probability),B(emission_probability),pi矩陣是已經知道的。)
相關條件如下圖所示：

由上圖所示，也就是說，可以寫成如下代碼：

trainsition_probability = [[0.7,0.3],[0.4,0.6]] ? ? emission_probability = [[0.5,0.4,0.1],[0.1,0.3,0.6]] ??

pi = [0.6,0.4]

在第一個問題中，我們需要求解出三天觀察是(Dizzy,Cold,Normal)的概率是多少？

這里為了演示簡單，我只求解出倆天觀察為(Dizzy,Cold)的概率是多少！

這個問題太好求解了，最暴力的方法就是將路徑全部遍歷一遍。下面盡可能通俗易懂的說明一下：
首先畫出時間序列狀態圖如下：

下面，我詳細走一遍一條路徑的暴力算法，這樣既可以避開公式的晦澀，也不失正確性。其它路徑完全類似

第一天為Healthy的概率為：0.6

在第一天為Healthy的基礎上，觀察為Dizzy的概率為：P（Dizzy|Healthy）=0.6*P(Healthy->Dizzy)=0.6*0.1=0.06

然后求出在第一天為Healthy的基礎上，并且第一天表現為Dizzy的前提下，第二天也為Healthy的概率為：
P(Healthy|Healthy,Dizzy)?= P(Dizzy|healthy)*07 = 0.06*0.7
上面求完的時候，代表下圖中的紅線已經轉移完了。

好，那么當在前面基礎上，第二天觀察為Cold的概率為：
P(Cold|(Healthy,Dizzy),(Healthy)) = P(Healthy|Healthy,Dizzy)*0.4 = 0.06*0.7*0.4
現在我們已經完成一條路徑的完整結果了。

就是在第一天隱含狀態為Healthy和第二天隱含狀態為Healthy的基礎上，觀察序列為Dizzy，Cold的概率為
P（Dizzy,Cold|Healthy,Healthy） = 0.06*0.7*0.4=0.0168

那么同理，我們就可以求出其它三條路徑。
（1）在第一天隱含狀態為Healthy和第二天隱含狀態為Fever的基礎上，觀察序列為Dizzy，Cold的概率
（2）在第一天隱含狀態為Fever和第二天隱含狀態為Healthy的基礎上，觀察序列為Dizzy，Cold的概率
（3）在第一天隱含狀態為Fever和第二天隱含狀態為Fever的基礎上，觀察序列為Dizzy，Cold的概率

然后最后的第一個問題的結果就是將這四個結果相加起來就可以了。是不是很簡單，那么為了還需要前向后向算法來解決這個事呢？

其實這個算法在現實中是不可行的。我給的例子由于是為了講解容易，狀態值和觀察值都很小，但是實際中的問題，隱狀態的個數是非常大的。

那么我們的計算量是不可以忍受的。

我們可以稍微估計一下，加入狀態值是N個，觀察值是K個。總共觀察長度為T。

那么我們的路徑總個數就是N的T次方,我的天，這個復雜度已經接受不了了，到達了每個隱含狀態的時候，還需要算一遍觀察值出現的概率（每個隱狀態計算一遍到觀察值的概率）。又要乘以NT（當然這已經對前面很大復雜度構成不了多少作用了）

所以我們得出結論，暴力法在這里并不實用，于是就引出了前向后向算法。它們都是基于動態規劃思想求解。下面介紹一下：

1、前向算法

我們首先定義一下前向概率

定義：給定隱馬科夫模型lamda，定義到時刻t為止的觀測序列為01,02,03....0t且狀態為qi的概率為前向概率，記作

可以遞推地求得前向概率及觀測序列概率。

下面，我們可以整理一下前向算法的流程：

輸入：隱馬爾可夫模型，觀測序列

輸出：觀測序列概率

(1)初值

前向概率的定義中一共限定了兩個條件。

一是到當前為止的觀測序列，另一個是當前的狀態。所以初值的計算也有兩項（觀測和狀態），一項是初始狀態概率，另一項是發射到當前觀測的概率。

(2)遞推對t=1,2,3,.....,T-1

每次遞推同樣由兩部分構成，大括號中是當前狀態為i且觀測序列的前t個符合要求的概率，括號外的是狀態i發射觀測t+1的概率。

下面稍微解釋一下公式：

(3)終止

由于到了時間T，一共有N種狀態發射了最后那個觀測，所以最終的結果要將這些概率加起來（因為每個隱狀態都可能產生我們需要的觀測值，所以都要加起來）。

公式可以用下面的轉移圖表示，假設我要求第二層某個結點的前向概率，等于前一層所有結點到該結點的轉移，如下圖：

由于每次遞推都是在前一次的基礎上進行的，所以降低了復雜度（計算只存在于相鄰的倆個時間點）。計算如下圖所示：

下方標號表示時間節點，每個時間點都有N種狀態，所以相鄰兩個時間之間的遞推消耗N^2次計算。

而每次遞推都是在前一次的基礎上做的，所以只需累加O(T)次，所以總體復雜度是O(T)個N^2，即0（TN^2）,這比起我們前面說的暴力法的復雜度已經好了太多了。

到這里為止，前向算法也就講完了。本文通過一個具體簡單例子，走了一遍過程，期間有一些自己的總結和理解，希望對大家有幫助~

?

2、python實現代碼

代碼如下：

?

總結

以上是生活随笔為你收集整理的隐马尔科夫模型-前向算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。