CRF模型
目錄
隱馬爾可夫模型HMM（這里用一個HMM第三個問題來舉例）
CRF條件隨機場
?馬爾可夫性：
概率無向圖：
團和最大團：
概率無向圖的因子分解：
CRF的應(yīng)用
總結(jié)
3.1 隨機場->馬爾可夫隨機場
3.2 馬爾可夫隨機場->條件隨機場
3.3 條件隨機場->線性鏈條件隨機場注意在 CRF 的定義中，我們并沒有要求 X 和 Y 有相同的結(jié)構(gòu)。
隱馬爾可夫模型HMM（這里用一個HMM第三個問題來舉例）
簡單來說第一天的初始狀態(tài)未知，但是狀態(tài)轉(zhuǎn)移矩陣已知。當(dāng)天伴隨自變量的事件狀態(tài)轉(zhuǎn)移矩陣已知，同時知道一段時間的因變量的結(jié)果，求這段時間概率最大的自變量
?以上是一個生動的例子
要解決這個問題：需要使用viterbi算法
介紹viterbi算法就不用上面的例子了，換一個例子進行通俗講解：
?這是一個取球不放回模型，pai是初始條件概率矩陣，A是狀態(tài)轉(zhuǎn)移矩陣，B是觀測狀態(tài)轉(zhuǎn)移矩陣，由每日狀態(tài)來決定，簡單理解就是一個隨當(dāng)天自變量而生成的因變量。知道三次取球結(jié)果為紅白紅，試問三次取球分別從哪個箱子取出的概率最大。
初始條件概率矩陣已知，則根據(jù)觀測狀態(tài)轉(zhuǎn)移矩陣計算出即首日觀測紅球概率矩陣。首次取球，從取到第一個箱子且紅球概率為0.1，同理2紅0.16，3紅0.28，如果首次是這樣的條件矩陣，?那么可以推算出第二次在各個箱子開出白球的概率（這里是在第一次開紅球的基礎(chǔ)上在各箱中開白球的概率）
?需要注意的是，因為第二次在第一個箱子里面開白球的概率是由第一次在三個箱子開紅球這個事件共同決定，我們找出第一次在三個箱子中最有可能的哪一個，也就是在式子中的max函數(shù)，同理得到第二次每個箱子開白球所最有可能的第一次開紅球的箱子都是3，可以大致覺得第一次就是由三這個箱子開出的紅球；同理第三次開紅球推測第二次由哪個箱子開白球的概率更大，前兩個箱子中開紅球認(rèn)為由二箱子開白球概率大，第三箱子開紅球認(rèn)為由三箱子開白球概率大，這里取第三個箱子的觀點是由于第三個箱子開出紅球而且在取第三個箱子條件概率下大于前兩個之和，所以認(rèn)為第二次取的是第三個箱子，而第三次取的是什么箱子就是看第三次哪個取紅球的概率大，這就構(gòu)成了整條鏈的概率，比窮舉法節(jié)約了時間復(fù)雜度。
CRF條件隨機場
P(Y/X)? ：X是輸入變量，Y是輸出變量，Y滿足馬爾可夫隨機場。
條件概率：略
無向圖--概率無向圖模型：馬爾可夫隨機場
條件隨機場：在X輸入下Y輸出滿足馬爾可夫條件
線性鏈的條件隨機場：X是線性所產(chǎn)生的Y是馬爾可夫隨機場
概率圖模型：（狀態(tài)轉(zhuǎn)移的圖）
?馬爾可夫性：
概率無向圖：
概率無向圖本質(zhì)上就是具有馬爾可夫性的一個無向圖
下圖是一個概率無向圖，具有全局馬爾可夫性（局部馬爾可夫性，成對馬爾可夫性自行腦補）
介紹重點是概率無向圖可以進行因式分解，至于如何進行因式分解，就需要介紹團和最大團的概念
團和最大團：
概率無向圖的因子分解：
CRF的應(yīng)用
輸入輸出經(jīng)過某個分布?P(Y|X)，線性鏈條件隨機場（Linear-CRF）公式如下
從上面那個例子，我們可以了解到，條件隨機場的在 NLP 領(lǐng)域的作用就是：標(biāo)注（或者，命名實體識別）
從公式中我們可以看到，當(dāng)前的標(biāo)注結(jié)果 y，還會參考上一個標(biāo)注的結(jié)果 y_i-1。也就是說，CRF 在標(biāo)記數(shù)據(jù)的時候，會考慮前一個數(shù)據(jù)的標(biāo)記信息，這對于解析句子語法結(jié)構(gòu)來說是得天獨厚的優(yōu)勢（例如：動詞后面不能跟動詞）。而這一點，是普通的分類器難以做到的。
?
總結(jié)
3.1 隨機場->馬爾可夫隨機場
首先，我們來看看什么是隨機場?！半S機場”的名字取的很玄乎，其實理解起來不難。隨機場是由若干個位置組成的整體，當(dāng)給每一個位置中按照某種分布隨機賦予一個值之后，其全體就叫做隨機場。還是舉詞性標(biāo)注的例子：假如有一個十個詞形成的句子需要做詞性標(biāo)注。這十個詞每個詞的詞性可以在已知的詞性集合（名詞，動詞…)中去選擇。當(dāng)我們?yōu)槊總€詞選擇完詞性后，這就形成了一個隨機場。
了解了隨機場，我們再來看看馬爾科夫隨機場。馬爾科夫隨機場是隨機場的特例，它假設(shè)隨機場中某一個位置的賦值僅僅與和它相鄰的位置的賦值有關(guān)，和與其不相鄰的位置的賦值無關(guān)。繼續(xù)舉十個詞的句子詞性標(biāo)注的例子： 如果我們假設(shè)所有詞的詞性只和它相鄰的詞的詞性有關(guān)時，這個隨機場就特化成一個馬爾科夫隨機場。比如第三個詞的詞性除了與自己本身的位置有關(guān)外，只與第二個詞和第四個詞的詞性有關(guān)。通常一個概率無向圖模型，又稱為馬爾可夫隨機場。
3.2 馬爾可夫隨機場->條件隨機場
CRF 是馬爾可夫隨機場的特例，它假設(shè)馬爾科夫隨機場中只有 X 和 Y 兩種變量， X 一般是給定的，而Y 一般是在給定 X 的條件下的輸出。這樣馬爾科夫隨機場就特化成了條件隨機場。在我們十個詞的句子詞性標(biāo)注的例子中，X是詞，Y是詞性。因此，如果我們假設(shè)它是一個馬爾科夫隨機場，那么它也就是一個 CRF。
對于 CRF，給出準(zhǔn)確的數(shù)學(xué)語言描述：設(shè) X 與 Y 是隨機變量，P(Y|X) 是給定 X 時 Y 的條件概率分布，若隨機變量 Y 構(gòu)成的是一個馬爾科夫隨機場，則稱條件概率分布 P(Y|X) 是條件隨機場。
3.3 條件隨機場->線性鏈條件隨機場
注意在 CRF 的定義中，我們并沒有要求 X 和 Y 有相同的結(jié)構(gòu)。
而實現(xiàn)中，我們一般都假設(shè)X和Y有相同的結(jié)構(gòu)，即:
X和Y有相同的結(jié)構(gòu)的CRF就構(gòu)成了線性鏈條件隨機場(Linear chain Conditional Random Fields,簡稱 Linear-CRF)
?
總結(jié)
- 上一篇： 理解条件随机场（转）
- 下一篇： SNMP(简单网络管理协议)详解