視頻列表：
38 markov模型（一）
39 markov模型（二）
40 markov模型（三）
41 markov模型（四）
42 markov模型（五）

38 markov模型（一）

第六章 Markov模型

Markov模型概況

• Markov模型是一種統計模型，廣泛地應用在語音識別，詞性自動標注，音字轉換，概率文法等各個自然語言處理的應用領域。
• Markov(1856～1922)，蘇聯數學家。切比雪夫的學生。在概率論、數論、函數逼近論和微分方程等方面卓有成就。
• 經過長期發展，尤其是在語音識別中的成功應用，使它成為一種通用的統計工具。
• 語音識別、音字轉換、分詞、詞性標注、命名實體識別、句法分析、……

Markov假設

設$X=(X_1,X_2...,X_t)$是隨機變量序列，其中每個隨機變量的取值在有限集$S=(S_1,S_2...,S_t)$，稱為狀態空間，Markov特征是：

• 有限歷史假設(Limited History (Horizon,Context))：
  $P(X_{t+1}=s_k|X_1,X_2,...,X_t)=P(X_{t+1}=s_k|X_t)$
• 時間不變性假設（Time Invariant）（馬爾可夫過程的穩定性假設）:這種條件依賴，不隨時間的改變而改變
  如果X具有這些特征，那么這個隨機變量序列稱為一個馬爾可夫過程（鏈）

Markov模型的形式化表示

一個馬爾可夫模型是一個三元組$(S,\pi ,A)$，其中$S$是狀態的集合，$\pi$是初始狀態的概率， $A$是狀態間的轉移概率

Markov模型的圖形表示

• 狀態集合 $S=(S_1,S_2...,S_t)$
• 概率分布$P(X_i|X_{i?1})$
• 由狀態$i$到狀態$j$之間的轉移弧上有條件轉移概率:
  
  $S$={*,t,e,a,o}
  $\pi$=(1,0,0,0,0)
  A=
  

隱Markov模型

• 各個狀態（或者狀態轉移弧）都有一個輸出，但是狀態是不可見的
• 最簡單的情形:不同的狀態只能有不同的輸出
  
• 增加一點靈活性：不同的狀態，可以輸出相同的輸出
  
• 再增加一點靈活性：輸出在狀態轉移中進行
  
• 最大的靈活性：在狀態轉移中以特定的概率分布輸出
  

39 markov模型（二）

HMM的形式化定義

HMM是一個五元組$(S,K,\pi ,A,B)$，其中 $S$是狀態的集合，$K$是輸出字符的集合， $\pi$是初始狀態的概率，$A$是狀態轉移的概率。$B$是狀態轉移時輸出字符的概率。

馬爾可夫過程程序

隱馬爾科夫模型的三個基本問題

• 問題1:給定一個模型$\mu =(S,K,\pi ,A,B)$，如何高效地計算某一輸出字符序列的概率$P(O|\mu )$
• 問題2:給定一個輸出字符序列O，和一個模型$\mu$，如何確定產生這一序列概率最大的狀態序列
• 問題3:給定一個輸出字符的序列O，如何調整模型的參數使得產生這一序列的概率最大

網格（Trellis）

問題1：評價（Evaluation）

算法復雜度太高，需要$O(2T{n}^T)$

40 markov模型（三）

向后過程

問題2 解碼（decoding）

• Viterbi algorithm
  
  

問題3 參數估計

41 markov模型（四）

基于HMM的詞性標注

詞性標注（Part-of-Speech tagging）
回顧：
作用：句法分析的前期步驟
難點：兼類詞
基于規則的詞性標注
基于轉換的錯誤驅動的詞性標注
基于HMM的詞性標注

42 markov模型（五）

#### 基于HMM的詞性標注 

音字轉換

規則與統計相結合

我們需要的音字轉換結果是：
“一枝美麗的小花”
采用規則的方法

• 短語結合規則：
  A+NP->NP
  A+“的”+NP->NP
  M+“枝”+NP->NP
• 短語匹配算法
• 從詞網格到元素網格
  
• 其他問題
  系統掛接問題
  萬能掛接
  Windows支持
  Mac OS, Linux, Windows CE, Symbian OS,……

致謝
關毅老師，現為哈工大計算機學院語言技術中心教授，博士生導師。通過認真學習了《自然語言處理（哈工大 關毅 64集視頻）》¹（來自互聯網）的課程，受益良多，在此感謝關毅老師的辛勤工作！為進一步深入理解課程內容，對部分內容進行了延伸學習^{2 3 456}，在此分享，期待對大家有所幫助，歡迎加我微信（驗證：NLP），一起學習討論，不足之處，歡迎指正。

參考文獻

---

《自然語言處理（哈工大 關毅 64集視頻）》（來自互聯網） ??

王曉龍、關毅 《計算機自然語言處理》 清華大學出版社 2005年 ??

哈工大語言技術平臺云官網：http://ltp.ai/ ??

Steven Bird,Natural Language Processing with Python,2015 ??

Claude E. Shannon. “Prediction and Entropy of Printed English”, Bell System Technical Journal 30:50-64. 195 ??

An Empirical Study of Smoothing Techniques for Language Modeling, Stanley F. Chen ??

總結

以上是生活随笔為你收集整理的《自然语言处理（哈工大 关毅 64集视频）》学习笔记：第六章 markov模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。