目錄

一、貝葉斯公式

二、貝葉斯網(wǎng)絡(luò)

定義

貝葉斯網(wǎng)絡(luò)的3種結(jié)構(gòu)形式：

1、head-to-head

2、tail-to-tail

3、head-to-tail

馬爾科夫鏈

三、貝葉斯深度學(xué)習(xí)

貝葉斯深度學(xué)習(xí)如何進(jìn)行預(yù)測(cè)？

貝葉斯深度學(xué)習(xí)如何進(jìn)行訓(xùn)練？

貝葉斯深度學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別

貝葉斯深度學(xué)習(xí)框架

四、總結(jié)

五、若需理解更加詳細(xì)資源請(qǐng)從以下鏈接進(jìn)入（參考資源）：

---

一、貝葉斯公式

?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

其中，被稱為后驗(yàn)概率（posterior），?被稱為聯(lián)合概率，?被稱為似然（likelihood），被稱為先驗(yàn)概率（prior），被稱為證明（evidence）。

??如果再引入全概率公式

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

可以變成如下形式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

??如果z是離散型變量，則將上式中分母積分符號(hào)改成求和符號(hào)? 即可。（概率分布中的概率質(zhì)量函數(shù)一般用大寫字母表示，概率密度函數(shù)一般用小寫字母?表示，為了簡(jiǎn)便，用連續(xù)型變量舉例）

二、貝葉斯網(wǎng)絡(luò)

定義

貝葉斯網(wǎng)絡(luò)可稱為信念網(wǎng)絡(luò)，或有向無環(huán)圖模型，也是一種概率圖模型，是一種模擬人類推理過程中，因果關(guān)系的不確定性處理模型，其網(wǎng)絡(luò)拓樸結(jié)構(gòu)是一個(gè)有向無環(huán)圖(DAG)。?

貝葉斯網(wǎng)絡(luò)的有向無環(huán)圖中的節(jié)點(diǎn)表示隨機(jī)變量，它們可以是可觀察到的變量，或隱變量、未知參數(shù)等。認(rèn)為有因果關(guān)系（或非條件獨(dú)立）的變量或命題則用箭頭來連接。（若兩個(gè)節(jié)點(diǎn)間以一個(gè)單箭頭連接在一起，表示其中一個(gè)節(jié)點(diǎn)是“因(parents)”，另一個(gè)是“果(children)”，兩節(jié)點(diǎn)就會(huì)產(chǎn)生一個(gè)條件概率值，即連接兩個(gè)節(jié)點(diǎn)的箭頭代表此兩個(gè)隨機(jī)變量是具有因果關(guān)系，或非條件獨(dú)立）

例如，假設(shè)節(jié)點(diǎn)E直接影響到節(jié)點(diǎn)H，即E→H，則用從E指向H的箭頭建立結(jié)點(diǎn)E到結(jié)點(diǎn)H的有向弧(E,H)，權(quán)值(即連接強(qiáng)度)用條件概率P(H|E)來表示，如下圖所示：

把某個(gè)系統(tǒng)中涉及的隨機(jī)變量，根據(jù)是否條件獨(dú)立繪制在一個(gè)有向圖中，就形成了貝葉斯網(wǎng)絡(luò)。其主要用來描述隨機(jī)變量之間的條件依賴，圓圈表示隨機(jī)變量(random variables)，箭頭表示條件依賴(conditional dependencies)。

?設(shè)G = （ I，E）表示一個(gè)有向無環(huán)圖(DAG)，其中 I 代表圖形中所有的節(jié)點(diǎn)的集合，E代表有向連接線段的集合，且令X = （），i ∈ I 為其有向無環(huán)圖中的某一節(jié)點(diǎn) i 所代表的隨機(jī)變量，若節(jié)點(diǎn) X 的聯(lián)合概率可以表示成：

?則稱 X 為相對(duì)于一有向無環(huán)圖 G?的貝葉斯網(wǎng)絡(luò)，其中，表示節(jié)點(diǎn) i 之“因”，或稱是 i 的 parents（父母）。?

此外，對(duì)于任意的隨機(jī)變量，其聯(lián)合概率可由各自的局部條件概率分布相乘而得出：

如下圖所示，便是一個(gè)簡(jiǎn)單的貝葉斯網(wǎng)絡(luò)：

根據(jù)簡(jiǎn)單貝葉斯網(wǎng)絡(luò)的關(guān)系列出下式：

貝葉斯網(wǎng)絡(luò)的3種結(jié)構(gòu)形式：

如圖示的貝葉斯網(wǎng)絡(luò)，可以表示為：

且和獨(dú)立（對(duì)應(yīng)head-to-head），和在給定的條件下獨(dú)立（對(duì)應(yīng)tail-to-tail）。

1、head-to-head

表示并可以簡(jiǎn)化為：

在c未知的條件下，a、b被阻斷(blocked)，是獨(dú)立的，稱之為head-to-head條件獨(dú)立，對(duì)應(yīng)前節(jié)那張圖中的和獨(dú)立。

2、tail-to-tail

• 在 c 未知的時(shí)候，有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

此時(shí)，無法得出，即c未知時(shí)，a、b不獨(dú)立。

• 在 c 已知的時(shí)候，有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

然后將帶入式子中，得到：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

即c已知時(shí)，a、b獨(dú)立。

所以，在c已知的條件下，a，b被阻斷(blocked)，是獨(dú)立的，稱之為tail-to-tail條件獨(dú)立，對(duì)應(yīng)前節(jié)那張圖中的“和在給定的條件下獨(dú)立”。

3、head-to-tail

• c未知時(shí)，有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

無法推出，即c未知時(shí)，a、b不獨(dú)立。

• c已知時(shí)，有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

且根據(jù)，可化簡(jiǎn)得到：

?所以，在c給定的條件下，a，b被阻斷，是獨(dú)立的，稱之為head-to-tail條件獨(dú)立，實(shí)際為一個(gè)鏈?zhǔn)骄W(wǎng)絡(luò)。

馬爾科夫鏈

三、貝葉斯深度學(xué)習(xí)

?

在深度學(xué)習(xí)中，和? 都是一個(gè)確定的值，例如?。即使我們通過梯度下降（gradient decent）更新?，我們?nèi)晕锤淖?“和?都是一個(gè)確定的值” 這一事實(shí)。

那什么是貝葉斯深度學(xué)習(xí)？將?和由確定的值變成分布，這就是貝葉斯深度學(xué)習(xí)。

貝葉斯深度學(xué)習(xí)認(rèn)為每一個(gè)權(quán)重和偏置都應(yīng)該是一個(gè)分布，而不是一個(gè)確定的值。如下圖所示，給出一個(gè)貝葉斯深度學(xué)習(xí)示意圖：

上圖為一個(gè)4*3*1的貝葉斯神經(jīng)網(wǎng)絡(luò)。（輸入神經(jīng)元個(gè)數(shù)為4，中間隱含層神經(jīng)元個(gè)數(shù)為3，輸出層神經(jīng)元個(gè)數(shù)為1）

貝葉斯深度學(xué)習(xí)如何進(jìn)行預(yù)測(cè)？

由于網(wǎng)絡(luò)的權(quán)重和偏置都是分布，于是通過采樣獲得權(quán)重和偏置。使得其像非貝葉斯神經(jīng)網(wǎng)絡(luò)那樣進(jìn)行前向傳播，可以對(duì)貝葉斯神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置進(jìn)行采樣，得到一組參數(shù)，然后像非貝葉斯神經(jīng)網(wǎng)絡(luò)那樣使用即可。

當(dāng)然，也可以對(duì)權(quán)重和偏置的分布進(jìn)行多次采樣，得到多個(gè)參數(shù)組合，參數(shù)的細(xì)微改變對(duì)模型結(jié)果的影響在這里就可以體現(xiàn)出來。這也是貝葉斯深度學(xué)習(xí)的優(yōu)勢(shì)之一，多次采樣最后一起得到的結(jié)果更加魯棒。

貝葉斯深度學(xué)習(xí)如何進(jìn)行訓(xùn)練？

對(duì)于非貝葉斯神經(jīng)網(wǎng)絡(luò)，在各種超參數(shù)固定的情況下，訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)最終目的就是得到各個(gè)層之間的權(quán)重和偏置。而對(duì)于貝葉斯深度學(xué)習(xí)，我們訓(xùn)練的目的就是得到權(quán)重和偏置的分布。此時(shí)就要用到貝葉斯公式了。

給定一個(gè)訓(xùn)練集?，我們用?D訓(xùn)練一個(gè)貝葉斯神經(jīng)網(wǎng)絡(luò)，則貝葉斯公式可以寫為如下形式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

上式中，想要得到的是的后驗(yàn)概率?。先驗(yàn)概率?無論是根據(jù)經(jīng)驗(yàn)或者瞎猜，總之是已知的，例如初始時(shí)將設(shè)成標(biāo)準(zhǔn)正態(tài)分布，似然是一個(gè)關(guān)于的函數(shù)。當(dāng)?shù)扔谀硞€(gè)值時(shí)，上式的分子很容易就能算出來，但我們想要得到后驗(yàn)概率，還要將分母算出來。但事實(shí)上，分母的積分要在?的取值空間上進(jìn)行，但是神經(jīng)網(wǎng)絡(luò)的單個(gè)權(quán)重的取值空間可以是實(shí)數(shù)集，而這些不同層之間的權(quán)重構(gòu)成的空間將相當(dāng)復(fù)雜，基本沒法積分。所以問題就出現(xiàn)在分母的計(jì)算上。

貝葉斯深度學(xué)習(xí)的訓(xùn)練方法目前有以下幾種：（請(qǐng)參考Deep Bayesian Neural Networks. -- Stefano Cosentino）
（1）Approximating the integral with MCMC：用 MCMC（Markov Chains Monte Carlo） 采樣去近似分母的積分。
（2）Using black-box variational inference (with Edward)：直接用一個(gè)簡(jiǎn)單點(diǎn)的分布?qq?去近似后驗(yàn)概率的分布?pp，即不管分母怎么積分，直接最小化分布?qq?和?pp?之間的差異，如可以使用 KL散度 計(jì)算。詳情可以參考貝葉斯編程框架?Edward?中的介紹。
（3）Using MC (Monte Carlo) dropout：蒙特卡羅 dropout，簡(jiǎn)單而強(qiáng)大，不改變一般神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，只是要求神經(jīng)網(wǎng)絡(luò)帶 dropout 層，訓(xùn)練過程和一般神經(jīng)網(wǎng)絡(luò)一致，只是測(cè)試的時(shí)候也打開 dropout，并且測(cè)試時(shí)需要多次對(duì)同一輸入進(jìn)行前向傳播，然后可以計(jì)算平均和統(tǒng)計(jì)方差。

貝葉斯深度學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別

在于權(quán)重和偏置是否為離散分布的。貝葉斯深度學(xué)習(xí)還有以下優(yōu)點(diǎn)：
（1）貝葉斯深度學(xué)習(xí)比非貝葉斯深度學(xué)習(xí)更加的魯棒。因?yàn)榭梢赃M(jìn)行多次采樣，貝葉斯深度學(xué)習(xí)中可以解決在深度學(xué)習(xí)中對(duì)權(quán)重進(jìn)行細(xì)微改變所造成的影響。
（2）貝葉斯深度學(xué)習(xí)可以提供不確定性，且不再是使用softmax生成概率值。（詳情參見 Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI）。

貝葉斯深度學(xué)習(xí)框架

• 珠算
• Edward
• TensorFlow Probability

四、總結(jié)

貝葉斯網(wǎng)絡(luò)（Bayesian network），又稱信念網(wǎng)絡(luò)（belief network）或是有向無環(huán)圖模型（directed acyclic graphical model），是一種概率圖型模型。

但是貝葉斯神經(jīng)網(wǎng)絡(luò)（Bayesian neural network）是貝葉斯和神經(jīng)網(wǎng)絡(luò)的結(jié)合，貝葉斯神經(jīng)網(wǎng)絡(luò)和貝葉斯深度學(xué)習(xí)的概念可以混用。

?

五、若需理解更加詳細(xì)資源請(qǐng)從以下鏈接進(jìn)入（參考資源）：

貝葉斯網(wǎng)絡(luò)：https://cloud.tencent.com/developer/article/1476046

貝葉斯深度學(xué)習(xí)：https://www.cnblogs.com/wuliytTaotao/p/10281766.html

總結(jié)

以上是生活随笔為你收集整理的备忘录——贝叶斯网络与贝叶斯深度网络学习思路总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。