MRF 筆記

我們先討論引入 MRF 的必要性。經(jīng)典的例子就是四個(gè) r.v.s 連成一個(gè)正方形的結(jié)構(gòu)的時(shí)候，我們沒法通過 BN 獲得給定對角線兩個(gè) r.v.s 而剩下的條件獨(dú)立（不都是 d-sep），反過來如果希望通過 MRF 刻畫某些 BN 也是不可行的，經(jīng)典的例子就是 inter-causal reasoning 的情形，因?yàn)榻o定中間的節(jié)點(diǎn)后必然獨(dú)立。MRF 與 BN 相比，更加不直觀一些，其參數(shù)化使用的是 factor 而不是 CPD 這種比較容易理解的概念，事實(shí)上 MRF 的 training 也比 BN 復(fù)雜。

我們首先從 GRF 開始，所謂 Gibbs random fields 是指存在一組 factor 使得

為了將此分解與 graph 聯(lián)系起來，我們?yōu)槊總€(gè) 創(chuàng)建一個(gè)完全子圖，這些完全子圖的并作為一個(gè)無向圖。我們引入 reduce 這個(gè)概念，就是給定一些 r.v. 后對應(yīng)的 GRF 稱為一個(gè) reduce GRF。

類似于 BN 我們可以定義 global Markov independencies：如果給定 后不存在從 到 的路徑則 。我們可以容易證明 GRF蘊(yùn)含著 global Markov independencies：如果我們選擇的 ，這個(gè)就很容易證明，因?yàn)橐粋€(gè) clique 或者出現(xiàn)在 或者出現(xiàn)在 ，這樣我們的 factor 就能分為兩組，其中一組 clique 只跟 有關(guān)，另一組只跟 有關(guān)，這樣很自然就有條件獨(dú)立性了；如果并集不是全部的 r.v.s 也不要緊，我們總可以用 將這部分分離，一部分和 并起來，一部分和 并起來（否則與分離性矛盾），這兩部分條件獨(dú)立，所以能導(dǎo)致 。證明 completeness 需要使用構(gòu)造性，由于存在一條連接兩者的路徑，我們可以選擇最短的，然后對這條路徑上的 clique potential 做手腳：如果兩個(gè)路徑上頂點(diǎn)值相同則取某個(gè)很大的值 ，否則為 1，這樣可以證明兩者并不獨(dú)立。

除了 global Markov independencies 以外，我們還可以定義兩種：

• local Markov independencies：一個(gè) node 與非相鄰 node 在給定其 neighbors 時(shí)條件獨(dú)立
• pairwise Markov independencies：任意兩個(gè)不相鄰頂點(diǎn)在給定其他節(jié)點(diǎn)時(shí)條件獨(dú)立

我們可以證明 local Markovian 蘊(yùn)含著 pairwise Markovian：直接套定義；GRF 可以誘導(dǎo) local Markovian：把 factor 分為含有給定點(diǎn)的和不含的然后用 local Markovian 的定義就發(fā)現(xiàn)獨(dú)立性了；對正分布而言，pairwise Markovian 蘊(yùn)含著 Global Markovian：這個(gè)證明可以用歸納法，從 的大小為 開始，這時(shí)候顯然成立；那么對于更小的情形我們需要從某個(gè)至少含兩個(gè)的集合里面取一個(gè)出來（保證兩部分都是非空的），這樣兩部分分別與 并之后能利用歸納假設(shè)由于有 separability 得到分別的獨(dú)立性，這樣根據(jù)正概率的 intersection 性質(zhì)可以得到獨(dú)立性；其他情況需要另想辦法。這樣我們可以證明對正概率情形，GRF、global Markovian、local Markovian 和 pairwise Markovian 是等價(jià)的。

對于 minimal I-map 問題，一種方式就是將 pairwise Markov independencies 列出來，所有不滿足這個(gè) assertion 的肯定有邊。另一種策略是使用 local Markovian，取最小的 Markov blanket。我們可以證明這倆做法都獲得的是唯一的最小的 I-map。

下面我們討論 parameterization 的問題。使用 GRF 的問題是 clique 的參數(shù)個(gè)數(shù)隨著 clique 元素增多而指數(shù)的變化，這導(dǎo)致一定的不變。另一種做法是通過 factor graph（每個(gè) factor 對應(yīng)一個(gè) node，如果某個(gè) node 在某個(gè) clique 里面就連邊，這樣得到一個(gè)二分圖）。我們可以為每個(gè) factor 引入指數(shù)的表示形式（因?yàn)檎?#xff09;，而我們同時(shí)可以為 factor 引入所謂的 feature（在那組 r.v.s 上的函數(shù)），通過 feature 就能降低 parameterization 的代價(jià)了，通常這會引入所謂的 log-linear model。比如 logistic regression/CRF，另外有二階的，比如 Boltzmann machines。常用的一些 parameterization 的策略包括 caninical parameterization，這時(shí)為所有的 clique 都分配對應(yīng)的 potential function，另一種思路是從 feature 入手，尋找 non-redudent features，然后決定參數(shù)。

接下來討論一下 BN 與 MRF 之間的關(guān)系。

我們可以把 CPD 看成時(shí) factor，這樣我們就能從形式上把 BN 轉(zhuǎn)換成為 MRF，只是此時(shí)的 independency assertion 并不一樣，為此我們引入 moral graph 的概念：如果兩個(gè)隨機(jī)變量存在有向邊則轉(zhuǎn)換成無向邊，如果有 common effect 也加無向邊。這時(shí)兩者的 I-map 是一樣的，且是最小的，也是 perfect 的。另外一個(gè)重要的結(jié)論是可以利用 moral graph 證明 d-seperation 的合理性。

如果反過來，這個(gè)過程卻很難，可以證明，如果某個(gè) BN 是某個(gè) MRF 的 minimal I-map，那這個(gè) BN 就沒有 immoralities（v-structure 里面 prior 之間都有邊）。事實(shí)上，這個(gè)圖也有特殊的性質(zhì)，我們稱為 chordal，這個(gè)將 BN 轉(zhuǎn)換為 MRF 過程稱為 triangularization。對于 non-chordal MRF 來說沒有 BN 與其等價(jià)，因此必須通過 triangularization 加邊，成為 chordal MRF 后才能構(gòu)造對應(yīng)的 BN：所謂 chordal graph 就是 cycle 長度不超過 3。

最后討論一些關(guān)于 partially directed models。比較經(jīng)典的例子是 CRF：CRF 本質(zhì)上是一個(gè) MRF，但是我們關(guān)心的是 ，我們往往會關(guān)心 chain 結(jié)構(gòu)的 CRF，這個(gè)在后面我們會詳細(xì)的討論。

——————
And it came to pass, when God destroyed the cities of the plain, that God remembered Abraham, and sent Lot out of the middle of the overthrow, when he overthrew the cities in the which Lot dwelled.

About these ads

轉(zhuǎn)載于:https://www.cnblogs.com/focus-ml/p/3775450.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的pgm2的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。