本質(zhì)上，貝葉斯定理不僅僅是一個簡單的規(guī)則，當你收到新的論據(jù)時，它用來改變你對某個假設的信任度：如果論據(jù)和假設一致，假設成立的概率上升，反之則下降。

如果我們觀察一個即使沒有該原因也會發(fā)生的結(jié)果，那么能肯定的是，該原因的證據(jù)力不足。貝葉斯通過以下句子概括了：P(原因|結(jié)果)隨著P(結(jié)果)，即結(jié)果的先驗概率（也就是在原因不明的情況下結(jié)果出現(xiàn)的概率）的下降而下降。最終，其他條件不變，一個原因是前驗的可能性越大，它該成為后驗的可能性就越大。綜上所述，貝葉斯定理認為： P(原因|結(jié)果)=P(原因)*P(結(jié)果|原因)/P(結(jié)果)

用A代替原因，用B代替結(jié)果，然后為了簡潔，把乘法符號刪掉，就得到貝葉斯字母公式： P(A|B)=P(A)P(B|A)/P(B)

貝葉斯定理之所以有用，是因為通常給定原因后，我們就會知道結(jié)果，但我們想知道的是已知的結(jié)果，如何找出原因。貝葉斯定理讓我們由原因推出結(jié)果，又由結(jié)果知道原因，但其重要性遠非如此。對于貝葉斯定理的信仰者來說，這個偽裝起來的公式其實就是機器學習中的F=ma等式，很多結(jié)論和應用都是在這個等式的基礎上得出的。

貝葉斯學派回答的是：概率并非頻率，而是一種主觀程度上的信任。因此，用概率做什么由自己決定，而貝葉斯推理讓你做的事就是：通過新證據(jù)來修正你之前相信的東西，得到后來相信的東西。

如果學習算法利用貝葉斯定理，且給定原因時，假定結(jié)果相互獨立，那么該學習算法被稱為“樸素貝葉斯分類器”。沒有人能肯定是誰發(fā)明了樸素貝葉斯算法。在1973年的一本模式識別教科書中，它被提到過，當時并未注明出處，但它真正流行起來是在20世紀90年代，那時研究人員驚喜地發(fā)現(xiàn)，它很多時候比許多更為復雜的學習算法還要準確。

起初看起來可能不是這樣，但樸素貝葉斯法與感知器算法密切相關。感知器增加權(quán)重，而樸素貝葉斯法則增加概率，但如果你選中一種算法，后者會轉(zhuǎn)化成前者。兩者都可以概括成“如果......那么......”的簡單規(guī)則，這樣每個先例都會多多少少體現(xiàn)在結(jié)果中，而不是在結(jié)果中“全有或全無”。

HMM（隱藏的馬爾科夫模型）有助于模擬所有種類的序列，但它們遠遠不如符號學派的“如果......那么......”規(guī)則靈活，在這個規(guī)則中，任何事都可以以前提的形式出現(xiàn)，而在任意下游規(guī)則中，一條規(guī)則的結(jié)果可以反過來當作前提。然而，如果我們允許如此隨意的結(jié)構(gòu)在實踐中存在，那么需要掌握的概率數(shù)量將會呈爆發(fā)式增長。

很長一段時間，沒有人知道如何打破這個循環(huán)，而研究者們只能求助于特別方案，比如將置信度估算與規(guī)則掛鉤，并以某種方式將它們聯(lián)合起來。20世紀80年代終于有了突破，朱亞迪.珀爾發(fā)明了一種新的表示方法：貝葉斯網(wǎng)絡。珀爾意識到，擁有一個隨機變量之間復雜的依賴關系網(wǎng)絡也沒什么，只要每個變量僅僅直接依賴其他幾個變量。

在任意貝葉斯網(wǎng)絡中也是同樣的道理：為了獲得完整狀態(tài)的概率，只需將單個變量表格中相應行上的概率相乘。因此，只要條件獨立性有效，轉(zhuǎn)換到更加簡潔的表示方法不會導致信息丟失。這樣我們就可以很容易算出極端非尋常狀態(tài)的概率，包括之前未觀察到的狀態(tài)。

我們可以看到樸素貝葉斯法、馬爾科夫鏈、HMM都是貝葉斯網(wǎng)絡的特殊例子。貝葉斯網(wǎng)絡對貝葉斯學派來說，就像邏輯與符號學者的關系：一種通用語，可以讓我們很好地對各式各樣的情形進行編碼，然后設計出與這些情形相一致的算法。

推理的關鍵問題是你能否使填好的圖“看起來像一棵樹”，而不讓樹干變得太密。樹干的“厚度”是物種數(shù)量的大小。當枝干過于茂密時，我們的唯一選擇就是求助于近似推理。

有一個方法，珀爾在關于貝葉斯網(wǎng)絡的書中，將其當作練習，也就是假裝圖形沒有閉環(huán)，并來來回回傳播概率，直到這些概率集中于一點。

然而，最受人青睞的選擇就是借酒澆愁，喝的酩酊大醉，然后整夜都在跌跌撞撞。該選擇的技術(shù)術(shù)語為“馬爾科夫鏈蒙特卡洛理論”（MCMC）：有“蒙特卡洛”這個部分，是因為這個方法涉及機遇；有“馬爾科夫鏈”部分，是因為它涉及采取一系列措施，每個措施只能依賴于前一個措施。MCMC中的思想就是隨便走走，就像眾所周知的醉漢那樣，以這樣的方式從網(wǎng)絡的這個狀態(tài)跳到另一個狀態(tài)。

人們在談論MCMC時，往往把它當作一種模擬，但它其實不是：馬爾科夫鏈不會模仿任何真實的程序，我們將其創(chuàng)造出來，目的是為了從貝葉斯網(wǎng)絡中有效生成樣本，因為貝葉斯網(wǎng)絡本身就不是序變模式。

既然我們知道了如何解決推理難題，就可以從數(shù)據(jù)中掌握貝葉斯網(wǎng)絡了，因為對貝葉斯學派來說，學習只是另一種形式的概率推理。需要做的只是運用貝葉斯定理，把假設當作可能的原因，把數(shù)據(jù)當作觀察到的效果：
P(假設|數(shù)據(jù))=P（假設)*P(數(shù)據(jù)|假設)/P(數(shù)據(jù))
假設可以和整個貝葉斯網(wǎng)絡一樣復雜，或者和硬幣正面朝上的概率一樣簡單。

實際上，對于貝葉斯學派來說，沒有所謂的真相。你有一個優(yōu)先于假設的分布，在見到數(shù)據(jù)后，它變成了后驗分布，這是貝葉斯定理給出的說法，也就是貝葉斯定理的全部。

貝葉斯法不僅僅適用于學習貝葉斯網(wǎng)絡，還適用于其特殊情況。我們可以將先驗分布置于任意級別的假設中（規(guī)則組、神經(jīng)網(wǎng)絡、程序），然后在給定數(shù)據(jù)的條件下，利用假設的可能性來對其進行更新。貝葉斯學派的觀點就是，選擇什么表示方法由你決定，但得利用貝葉斯定理來掌握它。

我們可能認為貝葉斯學派和符號學派相處的很好，因為考慮到他們都相信學習的第一原理方法，而不相信自然啟發(fā)的方法。事實不是這樣的，符號學派不喜歡概率，符號學派指出我們因為概率而付出的高昂代價。反過來，貝葉斯學派指出了邏輯的脆弱性。

貝葉斯學派和符號學派一致認為，先驗假設不可避免，但對于他們認可的先驗知識種類卻存在分歧。對于貝葉斯學派來說，知識越過模型的結(jié)構(gòu)和參數(shù)，進入先驗分布中。原則上，之前的參數(shù)可以是任意我們喜歡的值，但貝葉斯學派趨向于選擇信息量不足的先驗假設，因為這樣更易于計算。但符號學派則要靈活的多：作為先驗知識，你可以為自己的學習算法提供任何能用邏輯編碼的東西。

顯然，我們既需要邏輯，也需要概率。將聯(lián)結(jié)學派和進化學派結(jié)合起來很簡單：只要改善網(wǎng)絡結(jié)構(gòu)，利用反向傳播來掌握參數(shù)。但將邏輯和概率統(tǒng)一起來要困難的多。多數(shù)專家相信，將邏輯和概率相統(tǒng)一是不可能的。

到目前為止，我們談到的所有學派有一個共同點：他們都學習研究現(xiàn)象中的顯式模型，無論它是一組規(guī)則、一個多層傳感器、一個基因計劃，還是一個貝葉斯網(wǎng)絡。當他們沒有足夠的數(shù)據(jù)來做這件事時，就會被難住。但類比學派可以從甚至小到一個例子的數(shù)據(jù)中學習，因為他們絕不會形成一種模式。

參考文獻：

????終極算法. [美] Pedro Domingos 著. 黃芳萍 譯

總結(jié)

以上是生活随笔為你收集整理的终极算法【6】——贝叶斯学派的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。