目錄

隱馬爾可夫模型HMM（這里用一個HMM第三個問題來舉例）

CRF條件隨機場

?馬爾可夫性：

概率無向圖：

團和最大團：

概率無向圖的因子分解：

CRF的應用

總結

3.1 隨機場->馬爾可夫隨機場

3.2 馬爾可夫隨機場->條件隨機場

3.3 條件隨機場->線性鏈條件隨機場注意在 CRF 的定義中，我們并沒有要求 X 和 Y 有相同的結構。

---

隱馬爾可夫模型HMM（這里用一個HMM第三個問題來舉例）

簡單來說第一天的初始狀態未知，但是狀態轉移矩陣已知。當天伴隨自變量的事件狀態轉移矩陣已知，同時知道一段時間的因變量的結果，求這段時間概率最大的自變量

?以上是一個生動的例子

要解決這個問題：需要使用viterbi算法

介紹viterbi算法就不用上面的例子了，換一個例子進行通俗講解：

?這是一個取球不放回模型，pai是初始條件概率矩陣，A是狀態轉移矩陣，B是觀測狀態轉移矩陣，由每日狀態來決定，簡單理解就是一個隨當天自變量而生成的因變量。知道三次取球結果為紅白紅，試問三次取球分別從哪個箱子取出的概率最大。

初始條件概率矩陣已知，則根據觀測狀態轉移矩陣計算出即首日觀測紅球概率矩陣。首次取球，從取到第一個箱子且紅球概率為0.1，同理2紅0.16，3紅0.28，如果首次是這樣的條件矩陣，?那么可以推算出第二次在各個箱子開出白球的概率（這里是在第一次開紅球的基礎上在各箱中開白球的概率）

?需要注意的是，因為第二次在第一個箱子里面開白球的概率是由第一次在三個箱子開紅球這個事件共同決定，我們找出第一次在三個箱子中最有可能的哪一個，也就是在式子中的max函數，同理得到第二次每個箱子開白球所最有可能的第一次開紅球的箱子都是3，可以大致覺得第一次就是由三這個箱子開出的紅球；同理第三次開紅球推測第二次由哪個箱子開白球的概率更大，前兩個箱子中開紅球認為由二箱子開白球概率大，第三箱子開紅球認為由三箱子開白球概率大，這里取第三個箱子的觀點是由于第三個箱子開出紅球而且在取第三個箱子條件概率下大于前兩個之和，所以認為第二次取的是第三個箱子，而第三次取的是什么箱子就是看第三次哪個取紅球的概率大，這就構成了整條鏈的概率，比窮舉法節約了時間復雜度。

CRF條件隨機場

P(Y/X)? ：X是輸入變量，Y是輸出變量，Y滿足馬爾可夫隨機場。

條件概率：略

無向圖--概率無向圖模型：馬爾可夫隨機場

條件隨機場：在X輸入下Y輸出滿足馬爾可夫條件

線性鏈的條件隨機場：X是線性所產生的Y是馬爾可夫隨機場

概率圖模型：（狀態轉移的圖）

?馬爾可夫性：

概率無向圖：

概率無向圖本質上就是具有馬爾可夫性的一個無向圖

下圖是一個概率無向圖，具有全局馬爾可夫性（局部馬爾可夫性，成對馬爾可夫性自行腦補）

介紹重點是概率無向圖可以進行因式分解，至于如何進行因式分解，就需要介紹團和最大團的概念

團和最大團：

概率無向圖的因子分解：

CRF的應用

輸入輸出經過某個分布?P(Y|X)，線性鏈條件隨機場（Linear-CRF）公式如下

從上面那個例子，我們可以了解到，條件隨機場的在 NLP 領域的作用就是：標注（或者，命名實體識別）

從公式中我們可以看到，當前的標注結果 y，還會參考上一個標注的結果 y_i-1。也就是說，CRF 在標記數據的時候，會考慮前一個數據的標記信息，這對于解析句子語法結構來說是得天獨厚的優勢（例如：動詞后面不能跟動詞）。而這一點，是普通的分類器難以做到的。
?

總結

3.1 隨機場->馬爾可夫隨機場

首先，我們來看看什么是隨機場。“隨機場”的名字取的很玄乎，其實理解起來不難。隨機場是由若干個位置組成的整體，當給每一個位置中按照某種分布隨機賦予一個值之后，其全體就叫做隨機場。還是舉詞性標注的例子：假如有一個十個詞形成的句子需要做詞性標注。這十個詞每個詞的詞性可以在已知的詞性集合（名詞，動詞…)中去選擇。當我們為每個詞選擇完詞性后，這就形成了一個隨機場。

了解了隨機場，我們再來看看馬爾科夫隨機場。馬爾科夫隨機場是隨機場的特例，它假設隨機場中某一個位置的賦值僅僅與和它相鄰的位置的賦值有關，和與其不相鄰的位置的賦值無關。繼續舉十個詞的句子詞性標注的例子：　如果我們假設所有詞的詞性只和它相鄰的詞的詞性有關時，這個隨機場就特化成一個馬爾科夫隨機場。比如第三個詞的詞性除了與自己本身的位置有關外，只與第二個詞和第四個詞的詞性有關。通常一個概率無向圖模型，又稱為馬爾可夫隨機場。

3.2 馬爾可夫隨機場->條件隨機場

CRF 是馬爾可夫隨機場的特例，它假設馬爾科夫隨機場中只有 X 和 Y 兩種變量， X 一般是給定的，而Y 一般是在給定 X 的條件下的輸出。這樣馬爾科夫隨機場就特化成了條件隨機場。在我們十個詞的句子詞性標注的例子中，X是詞，Y是詞性。因此，如果我們假設它是一個馬爾科夫隨機場，那么它也就是一個 CRF。

對于 CRF，給出準確的數學語言描述：設 X 與 Y 是隨機變量，P(Y|X) 是給定 X 時 Y 的條件概率分布，若隨機變量 Y 構成的是一個馬爾科夫隨機場，則稱條件概率分布 P(Y|X) 是條件隨機場。

3.3 條件隨機場->線性鏈條件隨機場
注意在 CRF 的定義中，我們并沒有要求 X 和 Y 有相同的結構。

而實現中，我們一般都假設X和Y有相同的結構，即:

X和Y有相同的結構的CRF就構成了線性鏈條件隨機場(Linear chain Conditional Random Fields,簡稱 Linear-CRF)
?

總結

以上是生活随笔為你收集整理的CRF模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。