一、HMM

HMM屬于生成模型，模型中2個假設(shè)：

• 輸出觀測值$X_i$之間相互獨立；
• 齊次一階Markov,即狀態(tài)的轉(zhuǎn)移過程中當(dāng)前狀態(tài)只與前一狀態(tài)有關(guān)。

二、MEMM

$$P(I|O)=\prod _{t=1}^n\frac{\exp \left({\sum }_a\right){\lambda }_a{f}_a(o,i)}{Z\left(o,i_{i?1}\right)},i=1,?,n$$
求和的作用在概率中是歸一化，但是這里歸一化放在了指數(shù)內(nèi)部，管這叫l(wèi)ocal歸一化。 來了，viterbi求解過程，是用dp的狀態(tài)轉(zhuǎn)移公式（MEMM的沒展開，請參考CRF下面的公式），因為是局部歸一化，所以MEMM的viterbi的轉(zhuǎn)移公式的第二部分出現(xiàn)了問題，導(dǎo)致dp無法正確的遞歸到全局的最優(yōu)。
$${\delta }_{i+1}=\underset{1\le j\le m}{\max }\left\{{\delta }_i(I)+\sum _i^T\sum _k^M{\lambda }_k{f}_k\left(O,I_{i?1},I_i,i\right)\right\}$$

• MEMM模型屬于判別模型，打破了觀察值之間相互獨立產(chǎn)生的問題，但是由于狀態(tài)之間的假設(shè)理論，MEMM傾向于選擇擁有更少轉(zhuǎn)移的狀態(tài)，使得該模型存在 標(biāo)注偏置問題（label bias problem）。

三、CRF（Conditional Random Field）

從概率圖可以很形象的看出一個區(qū)別：
HMM是有向圖，嚴格定義了y的有序性，只能從左至右。CRF是無向圖，y無序，可左可右。HMM是生成模型，通過求聯(lián)合概率獲得；CRF是判別模型，通過條件概率求得。在如詞性標(biāo)注上的應(yīng)用中CRF更合理，因為它直接求某個標(biāo)注的概率，而HMM需要先算聯(lián)合概率再轉(zhuǎn)而求目標(biāo)的概率。
對于所謂的條件和隨機場的理解：

• 條件：屬于生成模型
• 隨機場：無向圖模型
  CRF模型屬于判別模型，解決了標(biāo)注偏置問題，去除了HMM中兩個不合理的假設(shè)，當(dāng)然，模型相應(yīng)得也變復(fù)雜了。
  CRF建模公式如下，整個過程的推導(dǎo)可以結(jié)合這個詞性標(biāo)注的案例更好理解 ：CRF詞性標(biāo)注：
  $$P(I|O)=\frac{1}{Z(O)}\prod _i{\psi }_i\left(I_i|O\right)=\frac{1}{Z(O)}\prod _i{e}^{{\sum }_k{\lambda }_k{f}_k\left(O,l_{i?1},I_i,i\right)}=\frac{1}{Z(O)}{e}^{{\sum }_i{\sum }_k{\lambda }_k{f}_k\left(O,I_{i?1},I_i,i\right)}$$
  因為是判別模型，所以直接為了確定邊界而去建模，因為創(chuàng)造出來就是為了這個分邊界的目的。比如說序列求概率（分類）問題，直接考慮找出函數(shù)分類邊界。所以才為什么會有這個公式。所以再看到這個公式也別懵逼了。

除了建模總公式，關(guān)鍵的CRF重點概念與MEMM類似：判別式模型、特征函數(shù)。

總結(jié)

以上是生活随笔為你收集整理的HMM、MEMM、CRF模型的比较的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。