1、馬爾科夫過(guò)程

馬爾可夫過(guò)程的定義： ⑴設(shè) 是一個(gè)隨機(jī)過(guò)程，如果在 在 時(shí)刻所處的狀態(tài)為已知時(shí)，與它在時(shí)刻 之前所處的狀態(tài)無(wú)關(guān)，則稱(chēng)具有馬爾可夫性。 ⑵設(shè) 的狀態(tài)空間為S,如果對(duì)于任意的n≧2,任意的 ,在條件 下,X(tn)的條件分布函數(shù)恰好等于在條件 下的條件分布函數(shù)，即

則稱(chēng) 為馬爾可夫過(guò)程。

2、馬爾科夫鏈

馬爾可夫鏈（Markov Chain），描述了一種狀態(tài)序列，其每個(gè)狀態(tài)值取決于前面有限個(gè)狀態(tài)。馬爾可夫鏈?zhǔn)蔷哂旭R爾可夫性質(zhì)的隨機(jī)變量的一個(gè)數(shù)列。這些變量的范圍，即它們所有可能取值的集合，被稱(chēng)為“狀態(tài)空間”，而 的值則是在時(shí)間n的狀態(tài)。如果 對(duì)于過(guò)去狀態(tài)的條件概率分布僅是 的一個(gè)函數(shù)，則這里x為過(guò)程中的某個(gè)狀態(tài)。上面這個(gè)恒等式可以被看作是馬爾可夫性質(zhì)。

3、馬爾科夫模型

隱馬爾可夫模型（Hidden Markov Model，HMM）是統(tǒng)計(jì)模型，它用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過(guò)程。其難點(diǎn)是從可觀察的參數(shù)中確定該過(guò)程的隱含參數(shù)。然后利用這些參數(shù)來(lái)作進(jìn)一步的分析，例如模式識(shí)別。隱馬爾可夫模型是馬爾可夫鏈的一種，它的狀態(tài)不能直接觀察到，但能通過(guò)觀測(cè)向量序列觀察到，每個(gè)觀測(cè)向量都是通過(guò)某些概率密度分布表現(xiàn)為各種狀態(tài)，每一個(gè)觀測(cè)向量是由一個(gè)具有相應(yīng)概率密度分布的狀態(tài)序列產(chǎn)生。所以，隱馬爾可夫模型是一個(gè)雙重隨機(jī)過(guò)程----具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯示隨機(jī)函數(shù)集。自20世紀(jì)80年代以來(lái)，HMM被應(yīng)用于語(yǔ)音識(shí)別，取得重大成功。到了90年代，HMM還被引入計(jì)算機(jī)文字識(shí)別和移動(dòng)通信核心技術(shù)“多用戶的檢測(cè)”。HMM在生物信息科學(xué)、故障診斷等領(lǐng)域也開(kāi)始得到應(yīng)用。

數(shù)學(xué)之美3–隱含馬爾科夫模型在語(yǔ)言處理中的應(yīng)用

此博文包含圖片 (2009-02-18 13:04:02)轉(zhuǎn)載▼
標(biāo)簽： google黑板報(bào) 數(shù)學(xué)之美 數(shù)學(xué)模型 馬爾科夫模型 it
2006年4月17日 上午 08:01:00
發(fā)表者：吳軍，Google 研究員

前言：隱含馬爾可夫模型是一個(gè)數(shù)學(xué)模型，到目前為之，它一直被認(rèn)為是實(shí)現(xiàn)快速精確的語(yǔ)音識(shí)別系統(tǒng)的最成功的方法。復(fù)雜的語(yǔ)音識(shí)別問(wèn)題通過(guò)隱含馬爾可夫模型能非常簡(jiǎn)單地被表述、解決，讓我不由由衷地感嘆數(shù)學(xué)模型之妙。

自 然語(yǔ)言是人類(lèi)交流信息的工具。很多自然語(yǔ)言處理問(wèn)題都可以等同于通信系統(tǒng)中的解碼問(wèn)題 – 一個(gè)人根據(jù)接收到的信息，去猜測(cè)發(fā)話人要表達(dá)的意思。這其實(shí)就象通信中，我們根據(jù)接收端收到的信號(hào)去分析、理解、還原發(fā)送端傳送過(guò)來(lái)的信息。以下該圖就表 示了一個(gè)典型的通信系統(tǒng)：

數(shù)學(xué)之美3–隱含馬爾科夫模型在語(yǔ)言處理中的應(yīng)用

其中 s1，s2，s3…表示信息源發(fā)出的信號(hào)。o1, o2, o3 … 是接受器接收到的信號(hào)。通信中的解碼就是根據(jù)接收到的信號(hào) o1, o2, o3 …還原出發(fā)送的信號(hào) s1，s2，s3…。

其 實(shí)我們平時(shí)在說(shuō)話時(shí)，腦子就是一個(gè)信息源。我們的喉嚨（聲帶），空氣，就是如電線和光纜般的信道。聽(tīng)眾耳朵的就是接收端，而聽(tīng)到的聲音就是傳送過(guò)來(lái)的信 號(hào)。根據(jù)聲學(xué)信號(hào)來(lái)推測(cè)說(shuō)話者的意思，就是語(yǔ)音識(shí)別。這樣說(shuō)來(lái)，如果接收端是一臺(tái)計(jì)算機(jī)而不是人的話，那么計(jì)算機(jī)要做的就是語(yǔ)音的自動(dòng)識(shí)別。同樣，在計(jì)算 機(jī)中，如果我們要根據(jù)接收到的英語(yǔ)信息，推測(cè)說(shuō)話者的漢語(yǔ)意思，就是機(jī)器翻譯； 如果我們要根據(jù)帶有拼寫(xiě)錯(cuò)誤的語(yǔ)句推測(cè)說(shuō)話者想表達(dá)的正確意思，那就是自動(dòng)糾錯(cuò)。

那么怎么根據(jù)接收到的信息來(lái)推測(cè)說(shuō)話者想表達(dá)的意思呢？我們可以利用叫做”隱含馬爾可夫模型” （Hidden Markov Model）來(lái)解決這些問(wèn)題。以語(yǔ)音識(shí)別為例，當(dāng)我們觀測(cè)到語(yǔ)音信號(hào) o1,o2,o3 時(shí)，我們要根據(jù)這組信號(hào)推測(cè)出發(fā)送的句子 s1,s2,s3。顯然，我們應(yīng)該在所有可能的句子中找最有可能性的一個(gè)。用數(shù)學(xué)語(yǔ)言來(lái)描述，就是在已知 o1,o2,o3,…的情況下，求使得條件概率
P (s1,s2,s3,…|o1,o2,o3….) 達(dá)到最大值的那個(gè)句子 s1,s2,s3,…

當(dāng)然，上面的概率不容易直接求出，于是我們可以間接地計(jì)算它。利用貝葉斯公式并且省掉一個(gè)常數(shù)項(xiàng)，可以把上述公式等價(jià)變換成

P(o1,o2,o3,…|s1,s2,s3….) * P(s1,s2,s3,…)
其中
P(o1,o2,o3,…|s1,s2,s3….) 表示某句話 s1,s2,s3…被讀成 o1,o2,o3,…的可能性, 而
P(s1,s2,s3,…) 表示字串 s1,s2,s3,…本身能夠成為一個(gè)合乎情理的句子的可能性，所以這個(gè)公式的意義是用發(fā)送信號(hào)為 s1,s2,s3…這個(gè)數(shù)列的可能性乘以 s1,s2,s3…本身可以一個(gè)句子的可能性，得出概率。

（讀者讀到這里也許會(huì)問(wèn)，你現(xiàn)在是不是把問(wèn)題變得更復(fù)雜了，因?yàn)楣皆綄?xiě)越長(zhǎng)了。別著急，我們現(xiàn)在就來(lái)簡(jiǎn)化這個(gè)問(wèn)題。）我們?cè)谶@里做兩個(gè)假設(shè)：

第一，s1,s2,s3,… 是一個(gè)馬爾可夫鏈，也就是說(shuō)，si 只由 si-1 決定 (詳見(jiàn)系列一)；
第二， 第 i 時(shí)刻的接收信號(hào) oi 只由發(fā)送信號(hào) si 決定（又稱(chēng)為獨(dú)立輸出假設(shè), 即 P(o1,o2,o3,…|s1,s2,s3….) = P(o1|s1) * P(o2|s2)*P(o3|s3)…。
那么我們就可以很容易利用算法 Viterbi 找出上面式子的最大值，進(jìn)而找出要識(shí)別的句子 s1,s2,s3,…。

滿足上述兩個(gè)假設(shè)的模型就叫隱含馬爾可夫模型。我們之所以用”隱含”這個(gè)詞，是因?yàn)闋顟B(tài) s1,s2,s3,…是無(wú)法直接觀測(cè)到的。

隱 含馬爾可夫模型的應(yīng)用遠(yuǎn)不只在語(yǔ)音識(shí)別中。在上面的公式中，如果我們把 s1,s2,s3,…當(dāng)成中文，把 o1,o2,o3,…當(dāng)成對(duì)應(yīng)的英文，那么我們就能利用這個(gè)模型解決機(jī)器翻譯問(wèn)題； 如果我們把 o1,o2,o3,…當(dāng)成掃描文字得到的圖像特征，就能利用這個(gè)模型解決印刷體和手寫(xiě)體的識(shí)別。

P (o1,o2,o3,…|s1,s2,s3….) 根據(jù)應(yīng)用的不同而又不同的名稱(chēng)，在語(yǔ)音識(shí)別中它被稱(chēng)為”聲學(xué)模型” (Acoustic Model)， 在機(jī)器翻譯中是”翻譯模型” (Translation Model) 而在拼寫(xiě)校正中是”糾錯(cuò)模型” (Correction Model)。 而P (s1,s2,s3,…) 就是我們?cè)谙盗幸恢刑岬降恼Z(yǔ)言模型。

在利用隱含馬爾可夫模型解決語(yǔ)言處理問(wèn)題前，先要進(jìn)行模型的訓(xùn)練。 常用的訓(xùn)練方法由伯姆（Baum）在60年代提出的，并以他的名字命名。隱含馬爾可夫模型在處理語(yǔ)言問(wèn)題早期的成功應(yīng)用是語(yǔ)音識(shí)別。七十年代，當(dāng)時(shí) IBM 的 Fred Jelinek (賈里尼克) 和卡內(nèi)基·梅隆大學(xué)的 Jim and Janet Baker (貝克夫婦， 李開(kāi)復(fù)的師兄師姐) 分別獨(dú)立地提出用隱含馬爾可夫模型來(lái)識(shí)別語(yǔ)音，語(yǔ)音識(shí)別的錯(cuò)誤率相比人工智能和模式匹配等方法降低了三倍 (從 30% 到 10%)。 八十年代李開(kāi)復(fù)博士堅(jiān)持采用隱含馬爾可夫模型的框架， 成功地開(kāi)發(fā)了世界上第一個(gè)大詞匯量連續(xù)語(yǔ)音識(shí)別系統(tǒng) Sphinx。

我 最早接觸到隱含馬爾可夫模型是幾乎二十年前的事。那時(shí)在《隨機(jī)過(guò)程》（清華”著名”的一門(mén)課）里學(xué)到這個(gè)模型，但當(dāng)時(shí)實(shí)在想不出 它有什么實(shí)際用途。幾年后，我在清華跟隨王作英教授學(xué)習(xí)、研究語(yǔ)音識(shí)別時(shí)，他給了我?guī)资墨I(xiàn)。 我印象最深的就是賈里尼克和李開(kāi)復(fù)的文章，它們的核心思想就是隱含馬爾可夫模型。復(fù)雜的語(yǔ)音識(shí)別問(wèn)題居然能如此簡(jiǎn)單地被表述、解決，我由衷地感嘆數(shù)學(xué)模型 之妙。

總結(jié)

以上是生活随笔為你收集整理的隐马尔科夫模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。