贝叶斯网络
再來說一點貝葉斯網絡
樸素貝葉斯分類器 和 貝葉斯網絡的區別就是,樸素貝葉斯分類器的各個特征屬性之間是相互獨立的,而貝葉斯網絡研究的問題則針對于特征屬性不獨立的情況。
貝葉斯網絡(Bayesian network),又稱信念網絡(Belief Network),或有向無環圖模型(directed acyclic graphical model),是一種概率圖模型,于1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關系的不確定性處理模型,其網絡拓樸結構是一個有向無環圖(DAG)。
貝葉斯網絡的有向無環圖中的節點表示隨機變量,它們可以是可觀察到的變量,或隱變量、未知參數等。認為有因果關系(或非條件獨立)的變量或命題則用箭頭來連接(換言之,連接兩個節點的箭頭代表此兩個隨機變量是具有因果關系,或非條件獨立)。若兩個節點間以一個單箭頭連接在一起,表示其中一個節點是“因(parents)”,另一個是“果(children)”,兩節點就會產生一個條件概率值。
例如,假設節點E直接影響到節點H,即E→H,則用從E指向H的箭頭建立結點E到結點H的有向弧(E,H),權值(即連接強度)用條件概率P(H|E)來表示,如下圖所示:
簡言之,把某個研究系統中涉及的隨機變量,根據是否條件獨立繪制在一個有向圖中,就形成了貝葉斯網絡。其主要用來描述隨機變量之間的條件依賴,用圈表示隨機變量(random variables),用箭頭表示條件依賴(conditional dependencies)。
貝葉斯網絡定義: 令G = (I,E)表示一個有向無環圖(DAG),其中I代表圖形中所有的節點的集合,而E代表有向連接線段的集合,且令X = (Xi)i ∈ I為有向無環圖中的某一節點i所代表的隨機變量,若節點X的聯合概率可以表示成:
則稱X為相對于有向無環圖G 的貝葉斯網絡,其中,pa(i)表示節點i之“因”,或稱pa(i)是i的parents(父母)。
此外,對于任意的隨機變量,其聯合概率可由各自的局部條件概率分布相乘而得出:
如下圖所示,便是一個簡單的貝葉斯網絡:
有p(a,b,c)=p(c|a,b)p(b|a)p(a)
注:這里定義其實還不是特別理解
貝葉斯網絡的3種結構形式
形式1:head-to-head
在c未知的條件下,a、b被阻斷(blocked),是獨立的,稱之為head-to-head條件獨立。
形式2:tail-to-tail
在c給定的條件下,a,b被阻斷(blocked),是獨立的,稱之為tail-to-tail條件獨立,但在c未知的情況下,a,b不獨立
形式3:head-to-tail
在c給定的條件下,a,b被阻斷(blocked),是獨立的,稱之為head-to-tail條件獨立。但在c未知情況下,a,b不獨立
注:這個head-to-tail其實就是一個鏈式網絡,在xi給定的條件下,xi+1的分布和x1,x2…xi-1條件獨立。即:xi+1的分布狀態只和xi有關,和其他變量條件獨立,這種順次演變的隨機過程,就叫做馬爾科夫鏈(Markov chain)。
且有:
思考:在貝葉斯網絡的實際應用中,往往只知道有那些特征屬性,但并不知道網絡拓撲,也不知道特征屬性之間的具體關系,所以在實際的應用中,有時候需要預設拓撲,并通過不斷的學習來更新拓撲以及特征屬性之間的聯系。這是掌握了貝葉斯網絡之后需要進一步學些的內容。
目前就看懂到這兒了,后續在補充
其他相關未懂概念:因子圖,道德圖,
參考:https://blog.csdn.net/zdy0_2004/article/details/41096141
https://blog.csdn.net/cxjoker/article/details/81878188
https://blog.csdn.net/tanggao1314/article/details/69055442
總結
- 上一篇: docker实现宿主机和容器之间数据共享
- 下一篇: (十九)hashlib模块