http://blog.sina.com.cn/s/blog_605f5b4f010109z3.html

首先，CRF，HMM(隱馬模型)，MEMM(最大熵隱馬模型)都常用來做序列標注的建模，像詞性標注，True casing。但隱馬模型一個最大的缺點就是由于其輸出獨立性假設，導致其不能考慮上下文的特征，限制了特征的選擇，而最大熵隱馬模型則解決了這一問題，可以任意的選擇特征，但由于其在每一節點都要進行歸一化，所以只能找到局部的最優值，同時也帶來了標記偏見的問題（label bias），即凡是訓練語料中未出現的情況全都忽略掉，而條件隨機場則很好的解決了這一問題，他并不在每一個節點進行歸一化，而是所有特征進行全局歸一化，因此可以求得全局的最優值。

目前，條件隨機場的訓練和解碼的開源工具還只支持鏈式的序列，復雜的尚不支持，而且訓練時間很長，但效果還可以。

?

這三個模型都可以用來做序列標注模型。但是其各自有自身的特點，HMM模型是對轉移概率和表現概率直接建模，統計共現概率。而MEMM模型是對轉移 概率和表現概率建立聯合概率，統計時統計的是條件概率。MEMM容易陷入局部最優，是因為MEMM只在局部做歸一化，而CRF模型中，統計了全局概率，在 做歸一化時，考慮了數據在全局的分布，而不是僅僅在局部歸一化，這樣就解決了MEMM中的標記偏置的問題。

舉個例子，對于一個標注任務，“我愛北京天安門“，

??????????????????????????????????標注為" s s??b??e b c e"

對于HMM的話，其判斷這個標注成立的概率為?P= P(s轉移到s)*P('我'表現為s)* P(s轉移到b)*P('愛'表現為s)* ...*P().訓練時，要統計狀態轉移概率矩陣和表現矩 陣。

對于MEMM的話，其判斷這個標注成立的概率為?P= P(s轉移到s|'我'表現為s)*P('我'表現為s)* P(s轉移到b|'愛'表現為s)*P('愛'表現為s)*..訓練時，要統計條件狀態轉移概率矩陣和表現矩陣。

對于CRF的話，其判斷這個標注成立的概率為?P=?F(s轉移到s,'我'表現為s)....F為一個函數，是在全局范圍統計歸一化的概率而不是像MEMM在局部統計歸一化的概率。

轉載于:https://www.cnblogs.com/DjangoBlog/p/4201089.html

總結

以上是生活随笔為你收集整理的条件随机场CRF HMM,MEMM的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。