条件随机场(CRF)相对于HMM,MEMM的优势
生活随笔
收集整理的這篇文章主要介紹了
条件随机场(CRF)相对于HMM,MEMM的优势
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
條件隨機場(CRF)相對于HMM,MEMM的優勢首先,CRF,HMM(隱馬模型),MEMM(最大熵隱馬模型)都常用來做序列標注的建模,像詞性標注,True casing。但隱馬模型一個最大的缺點就是由于其輸出獨立性假設,導致其不能考慮上下文的特征,限制了特征的選擇,而最大熵隱馬模型則解決了這一問題,可以任意的選擇特征,但由于其在每一節點都要進行歸一化,所以只能找到局部的最優值,同時也帶來了標記偏見的問題(label bias),即凡是訓練語料中未出現的情況全都忽略掉,而條件隨機場則很好的解決了這一問題,他并不在每一個節點進行歸一化,而是所有特征進行全局歸一化,因此可以求得全局的最優值。
目前,條件隨機場的訓練和解碼的開源工具還只支持鏈式的序列,復雜的尚不支持,而且訓練時間很長,但效果還可以。
大致總結一下,詳細地用到再看吧:)
?
MEMM的局限性在于其利用訓練的局部模型去做全局預測。其最優預測序列只是通過viterbi算法將局部的最大熵模型結合而成的。
另外CRF++是個不錯的軟件,速度高,性能好,樓主可以試試。
CRF++也只支持鏈式的,如果想用高階的feature,可以用pocket crf:
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的条件随机场(CRF)相对于HMM,MEMM的优势的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数学之美 系列十一 - Google 阿
- 下一篇: 分词小议