贝叶斯网络
再來說一點貝葉斯網(wǎng)絡(luò)
樸素貝葉斯分類器 和 貝葉斯網(wǎng)絡(luò)的區(qū)別就是,樸素貝葉斯分類器的各個特征屬性之間是相互獨立的,而貝葉斯網(wǎng)絡(luò)研究的問題則針對于特征屬性不獨立的情況。
貝葉斯網(wǎng)絡(luò)(Bayesian network),又稱信念網(wǎng)絡(luò)(Belief Network),或有向無環(huán)圖模型(directed acyclic graphical model),是一種概率圖模型,于1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關(guān)系的不確定性處理模型,其網(wǎng)絡(luò)拓樸結(jié)構(gòu)是一個有向無環(huán)圖(DAG)。
貝葉斯網(wǎng)絡(luò)的有向無環(huán)圖中的節(jié)點表示隨機變量,它們可以是可觀察到的變量,或隱變量、未知參數(shù)等。認為有因果關(guān)系(或非條件獨立)的變量或命題則用箭頭來連接(換言之,連接兩個節(jié)點的箭頭代表此兩個隨機變量是具有因果關(guān)系,或非條件獨立)。若兩個節(jié)點間以一個單箭頭連接在一起,表示其中一個節(jié)點是“因(parents)”,另一個是“果(children)”,兩節(jié)點就會產(chǎn)生一個條件概率值。
例如,假設(shè)節(jié)點E直接影響到節(jié)點H,即E→H,則用從E指向H的箭頭建立結(jié)點E到結(jié)點H的有向弧(E,H),權(quán)值(即連接強度)用條件概率P(H|E)來表示,如下圖所示:
簡言之,把某個研究系統(tǒng)中涉及的隨機變量,根據(jù)是否條件獨立繪制在一個有向圖中,就形成了貝葉斯網(wǎng)絡(luò)。其主要用來描述隨機變量之間的條件依賴,用圈表示隨機變量(random variables),用箭頭表示條件依賴(conditional dependencies)。
貝葉斯網(wǎng)絡(luò)定義: 令G = (I,E)表示一個有向無環(huán)圖(DAG),其中I代表圖形中所有的節(jié)點的集合,而E代表有向連接線段的集合,且令X = (Xi)i ∈ I為有向無環(huán)圖中的某一節(jié)點i所代表的隨機變量,若節(jié)點X的聯(lián)合概率可以表示成:
則稱X為相對于有向無環(huán)圖G 的貝葉斯網(wǎng)絡(luò),其中,pa(i)表示節(jié)點i之“因”,或稱pa(i)是i的parents(父母)。
此外,對于任意的隨機變量,其聯(lián)合概率可由各自的局部條件概率分布相乘而得出:
如下圖所示,便是一個簡單的貝葉斯網(wǎng)絡(luò):
有p(a,b,c)=p(c|a,b)p(b|a)p(a)
注:這里定義其實還不是特別理解
貝葉斯網(wǎng)絡(luò)的3種結(jié)構(gòu)形式
形式1:head-to-head
在c未知的條件下,a、b被阻斷(blocked),是獨立的,稱之為head-to-head條件獨立。
形式2:tail-to-tail
在c給定的條件下,a,b被阻斷(blocked),是獨立的,稱之為tail-to-tail條件獨立,但在c未知的情況下,a,b不獨立
形式3:head-to-tail
在c給定的條件下,a,b被阻斷(blocked),是獨立的,稱之為head-to-tail條件獨立。但在c未知情況下,a,b不獨立
注:這個head-to-tail其實就是一個鏈式網(wǎng)絡(luò),在xi給定的條件下,xi+1的分布和x1,x2…xi-1條件獨立。即:xi+1的分布狀態(tài)只和xi有關(guān),和其他變量條件獨立,這種順次演變的隨機過程,就叫做馬爾科夫鏈(Markov chain)。
且有:
思考:在貝葉斯網(wǎng)絡(luò)的實際應用中,往往只知道有那些特征屬性,但并不知道網(wǎng)絡(luò)拓撲,也不知道特征屬性之間的具體關(guān)系,所以在實際的應用中,有時候需要預設(shè)拓撲,并通過不斷的學習來更新拓撲以及特征屬性之間的聯(lián)系。這是掌握了貝葉斯網(wǎng)絡(luò)之后需要進一步學些的內(nèi)容。
目前就看懂到這兒了,后續(xù)在補充
其他相關(guān)未懂概念:因子圖,道德圖,
參考:https://blog.csdn.net/zdy0_2004/article/details/41096141
https://blog.csdn.net/cxjoker/article/details/81878188
https://blog.csdn.net/tanggao1314/article/details/69055442
總結(jié)
- 上一篇: docker实现宿主机和容器之间数据共享
- 下一篇: (十九)hashlib模块