貝葉斯網(wǎng)絡(luò)(Belief Networks)

在概率圖模型中，貝葉斯網(wǎng)絡(luò)通常用來表示變量之間的獨(dú)立性假設(shè)，通過貝葉斯網(wǎng)絡(luò)，我們可以很容易的從中獲取我們想要的信息，比如概率的條件和邊緣獨(dú)立信息，但是單純的貝葉斯網(wǎng)絡(luò)不能刻畫變量間所有的關(guān)系，然而貝葉斯網(wǎng)絡(luò)很擅長描述變量間的因果關(guān)系(causal)

注明：

此文章大部分思想和例子參考Bayesian Reasoning and Machine Learning

關(guān)于貝葉斯基本原理，可參考文章數(shù)學(xué)之美番外篇：平凡而又神奇的貝葉斯方法

關(guān)于貝葉斯網(wǎng)絡(luò)的優(yōu)點(diǎn)：

• 簡化模型表達(dá)方式
• 相比于傳統(tǒng)的計(jì)算方式更加易于計(jì)算

• 貝葉斯網(wǎng)絡(luò)Belief Networks
  • 模型的獨(dú)立性問題
    • 條件獨(dú)立性
    • 推斷

模型的獨(dú)立性問題

假設(shè)我們有這樣一個例子：
有一天早晨，Bruce離開他的房子的時候發(fā)現(xiàn)他家花園中的草地是濕的，有兩種可能，第一：昨天晚上下雨了，第二：他昨天晚上忘記關(guān)掉花園中的噴水器，接下來，他觀察他的鄰居Joe，發(fā)現(xiàn)他家花園中的草地也是濕的，因此，他推斷，他家的草地濕了是因?yàn)樽蛱焱砩舷掠甑木壒?
我們可以通過模型來刻畫這樣的事件：

R∈{0,1} R=1表示下雨0表示沒有
S∈{0,1} S=1表示Bruce忘記關(guān)噴水器0表示沒有忘
J∈{0,1} J=1表示Joe家里的花園草地也濕了0表示沒有
B∈{0,1} T=1表示Bruce的花園草地濕了0表示沒有

在這里，有四個變量，每一個變量有兩種狀態(tài)屬性0和1，如果要全部表示出來所有的可能性，需要24=16種方式，e.g. p(T=1,J=0,R=1,S=1)=0.7 etc. 根據(jù)貝葉斯法則，我們可以得到如下公式：

p(B,J,R,S)=p(B|J,R,S)p(J,R,S)=p(B|J,R,S)p(J,R,S)=p(B|J,R,S)p(J|R,S)p(R,S)=p(B|J,R,S)p(J|R,S)p(R|S)p(S)

條件獨(dú)立性

對于一個系統(tǒng)來說，模型的建立者基本上是知道模型的約束和限制的，比如在上面的模型中，我們可以假設(shè)Bruce花園中的草地是否濕了只于是否下雨或者噴水器是否沒關(guān)有關(guān)，而與Joe家中的花園中的草地是否濕了沒有直接的關(guān)系，因此，我們就可以做條件獨(dú)立性的假設(shè)

p(B|J,R,S)=p(B|R,S)
同樣，Joe家中的花園是否濕了在我們的模型中也只于是否下雨有關(guān)
p(J|R,S)=p(J|R)
同理，模型最后可以簡化為：
p(B,J,R,S)=p(T|R,S)p(J|R)p(R)p(S)
在模型簡化以后，我們通過4+2+1+1=8種組合value就可以表達(dá)整個模型了
最后，我們根據(jù)貝葉斯法則，給模型賦予先驗(yàn)概率來完成模型：
p(R=1)=0.2,(S=1)=0.1,p(J=1|R=1)=1
p(J=1|R=0)=0.2,p(B=1|R=1,S=0)=1
p(B=1|R=1,S=1)=1,p(B=1,R=0,S=1)=0.9
p(B=1,R=0,S=0)=0

推斷

根據(jù)貝葉斯公式可以計(jì)算出

p(S=1|B=1)=p(S=1,B=1)p(T=1)=∑J,Rp(B=1,J,R,S=1)∑J,R,Sp(B=1,J,R,S)=∑J,Rp(J|R)p(B=1|R,S=1)p(R)p(S=1)∑J,R,Sp(J|R)p(B=1|R,S)p(R)p(S)=∑Rp(B=1|R,S=1)p(R)p(S=1)∑R,Sp(T=1|R,S)p(R)p(S)=0.9×0.8×0.1+1×0.2×0.10.9×0.8×0.1+1×0.2×0.1+0×0.8×0.9+1×0.2×0.9=0.3382
p(S=1|B=1,J=1)=p(S=1,B=1,J=1)p(B=1,J=1)=∑Rp(B=1,J=1,R,S=1)∑R,Sp(B=1,J=1,R,S)=∑Rp(J=1|R)p(B=1|R,S=1)p(R)p(S=1)∑R,Sp(J=1|R)p(B=1|R,S)p(R)p(S)=0.03440.2144=0.1604
由通過推斷得到的結(jié)果可以看出，在Joe家中花園的草濕了的前提下，噴水器忘關(guān)的概率比沒有此假設(shè)的前提下的概率要低的多
這一整套方法就可以被稱為貝葉斯統(tǒng)計(jì)推斷，在貝葉斯模型中，開始的模型簡化是非常重要的，它可以很大程度上的降低我們的計(jì)算量，如果可視化的表達(dá)這個思想，就好像下面這個圖：

p(y|x1,…,x5)=∑z1,z2p(y|z1,z2)p(z1|x1,x2,x3)p(z2|x4,x5)

上左圖中：需要25=32的計(jì)算量，而右圖只需要23+22+22=16的計(jì)算量

總結(jié)

以上是生活随笔為你收集整理的贝叶斯网络(Belief Networks)--模型及方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。