一、HMM

HMM屬于生成模型，模型中2個假設：

• 輸出觀測值$X_i$之間相互獨立；
• 齊次一階Markov,即狀態的轉移過程中當前狀態只與前一狀態有關。

二、MEMM

$$P(I|O)=\prod _{t=1}^n\frac{\exp \left({\sum }_a\right){\lambda }_a{f}_a(o,i)}{Z\left(o,i_{i?1}\right)},i=1,?,n$$
求和的作用在概率中是歸一化，但是這里歸一化放在了指數內部，管這叫local歸一化。 來了，viterbi求解過程，是用dp的狀態轉移公式（MEMM的沒展開，請參考CRF下面的公式），因為是局部歸一化，所以MEMM的viterbi的轉移公式的第二部分出現了問題，導致dp無法正確的遞歸到全局的最優。
$${\delta }_{i+1}=\underset{1\le j\le m}{\max }\left\{{\delta }_i(I)+\sum _i^T\sum _k^M{\lambda }_k{f}_k\left(O,I_{i?1},I_i,i\right)\right\}$$

• MEMM模型屬于判別模型，打破了觀察值之間相互獨立產生的問題，但是由于狀態之間的假設理論，MEMM傾向于選擇擁有更少轉移的狀態，使得該模型存在 標注偏置問題（label bias problem）。

三、CRF（Conditional Random Field）

從概率圖可以很形象的看出一個區別：
HMM是有向圖，嚴格定義了y的有序性，只能從左至右。CRF是無向圖，y無序，可左可右。HMM是生成模型，通過求聯合概率獲得；CRF是判別模型，通過條件概率求得。在如詞性標注上的應用中CRF更合理，因為它直接求某個標注的概率，而HMM需要先算聯合概率再轉而求目標的概率。
對于所謂的條件和隨機場的理解：

• 條件：屬于生成模型
• 隨機場：無向圖模型
  CRF模型屬于判別模型，解決了標注偏置問題，去除了HMM中兩個不合理的假設，當然，模型相應得也變復雜了。
  CRF建模公式如下，整個過程的推導可以結合這個詞性標注的案例更好理解 ：CRF詞性標注：
  $$P(I|O)=\frac{1}{Z(O)}\prod _i{\psi }_i\left(I_i|O\right)=\frac{1}{Z(O)}\prod _i{e}^{{\sum }_k{\lambda }_k{f}_k\left(O,l_{i?1},I_i,i\right)}=\frac{1}{Z(O)}{e}^{{\sum }_i{\sum }_k{\lambda }_k{f}_k\left(O,I_{i?1},I_i,i\right)}$$
  因為是判別模型，所以直接為了確定邊界而去建模，因為創造出來就是為了這個分邊界的目的。比如說序列求概率（分類）問題，直接考慮找出函數分類邊界。所以才為什么會有這個公式。所以再看到這個公式也別懵逼了。

除了建模總公式，關鍵的CRF重點概念與MEMM類似：判別式模型、特征函數。

總結

以上是生活随笔為你收集整理的HMM、MEMM、CRF模型的比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。