贝叶斯理论基础理解
?從貝葉斯方法談到貝葉斯網絡: ? http://blog.csdn.net/zdy0_2004/article/details/41096141
1 思考模式
比如往臺球桌上扔一個球,這個球落會落在何處呢?如果是不偏不倚的把球拋出去,那么此球落在臺球桌上的任一位置都有著相同的機會,即球落在臺球桌上某一位置的概率服從均勻分布。這種在實驗之前定下的屬于基本前提性質的分布稱為先驗分布,或的無條件分布。
? ? 至此,貝葉斯及貝葉斯派提出了一個思考問題的固定模式:
- 先驗分布?+ 樣本信息??后驗分布
? ? 上述思考模式意味著,新觀察到的樣本信息將修正人們以前對事物的認知。換言之,在得到新的樣本信息之前,人們對的認知是先驗分布,在得到新的樣本信息后,人們對的認知為。
??? 其中,先驗信息一般來源于經驗跟歷史資料。
? ? 而后驗分布一般也認為是在給定樣本的情況下的條件分布,而使達到最大的值稱為最大后驗估計,類似于經典統計學中的極大似然估計。
? ? 綜合起來看,則好比是人類剛開始時對大自然只有少得可憐的先驗知識,但隨著不斷是觀察、實驗獲得更多的樣本、結果,使得人們對自然界的規律摸得越來越透徹。所以,貝葉斯方法既符合人們日常生活的思考方式,也符合人們認識自然的規律,經過不斷的發展,最終占據統計學領域的半壁江山,與經典統計學分庭抗禮。
? ? 此外,貝葉斯除了提出上述思考模式之外,還特別提出了舉世聞名的貝葉斯定理。
2 貝葉斯定理
在引出貝葉斯定理之前,先學習幾個定義:
- 條件概率就是事件A在另外一個事件B已經發生條件下的發生概率。條件概率表示為P(A|B),讀作“在B條件下A的概率”。
- 聯合概率表示兩個事件共同發生的概率。A與B的聯合概率表示為或者。
- 邊緣概率(又稱先驗概率)是某個事件發生的概率。邊緣概率是這樣得到的:在聯合概率中,把最終結果中那些不需要的事件通過合并成它們的全概率,而消去它們(對離散隨機變量用求和得全概率,對連續隨機變量用積分得全概率),這稱為邊緣化(marginalization),比如A的邊緣概率表示為P(A),B的邊緣概率表示為P(B)。?
? ? 接著,考慮一個問題:P(A|B)是在B發生的情況下A發生的可能性。
? ? 貝葉斯定理便是基于下述貝葉斯公式:
? ? 上述公式的推導其實非常簡單,就是從條件概率推出。
根據條件概率的定義,在事件B發生的條件下事件A發生的概率是 同樣地,在事件A發生的條件下事件B發生的概率 整理與合并上述兩個方程式,便可以得到: 接著,上式兩邊同除以P(B),若P(B)是非零的,我們便可以得到貝葉斯定理的公式表達式:3 貝葉斯網絡
又稱信念網絡(Belief Network),或有向無環圖模型(directed?acyclic?graphical?model),是一種概率圖模型,于1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關系的不確定性處理模型,其網絡拓樸結構是一個有向無環圖(DAG)。?
? ? 貝葉斯網絡的有向無環圖中的節點表示隨機變量,它們可以是可觀察到的變量,或隱變量、未知參數等。認為有因果關系(或非條件獨立)的變量或命題則用箭頭來連接。若兩個節點間以一個單箭頭連接在一起,表示其中一個節點是“因(parents)”,另一個是“果(children)”,兩節點就會產生一個條件概率值。
? ? 例如,假設節點E直接影響到節點H,即E→H,則用從E指向H的箭頭建立結點E到結點H的有向弧(E,H),權值(即連接強度)用條件概率P(H|E)來表示,如下圖所示:
? ??簡言之,把某個研究系統中涉及的隨機變量,根據是否條件獨立繪制在一個有向圖中,就形成了貝葉斯網絡。其主要用來描述隨機變量之間的條件依賴,用圈表示隨機變量(random variables),用箭頭表示條件依賴(conditional dependencies)。
2.1 貝葉斯網絡的定義
? ??令G = (I,E)表示一個有向無環圖(DAG),其中I代表圖形中所有的節點的集合,而E代表有向連接線段的集合,且令X = (Xi)i ∈ I為其有向無環圖中的某一節點i所代表的隨機變量,若節點X的聯合概率可以表示成:
則稱X為相對于一有向無環圖G?的貝葉斯網絡,其中,表示節點i之“因”,或稱是i的parents(父母)。? 此外,對于任意的隨機變量,其聯合概率可由各自的局部條件概率分布相乘而得出:? ? 如下圖所示,便是一個簡單的貝葉斯網絡:
? ? 因為a導致b,a和b導致c,所以有
?
轉載于:https://www.cnblogs.com/Jessica-jie/p/8082711.html
總結
- 上一篇: java 社招 简历_招聘java简历模
- 下一篇: Maven国内镜像 Maven阿里云镜像