在這篇文章中，我將對(duì)多元線性回歸做同樣的事情。我將得出阻塞的Gibbs采樣器所需的條件后驗(yàn)分布。然后我將對(duì)采樣器進(jìn)行編碼并使用模擬數(shù)據(jù)對(duì)其進(jìn)行測(cè)試。

?一個(gè)貝葉斯模型

假設(shè)我們有一個(gè)樣本大小的?科目。我們觀察?結(jié)果向量?。貝葉斯多元回歸假設(shè)該向量是從多元正態(tài)分布中得出的，其中均值向量是?和協(xié)方差矩陣?。這里?是觀察到?的協(xié)變量矩陣。注意，該矩陣的第一列是標(biāo)識(shí)。參數(shù)矢量?的?， ???是一種常見的方差參數(shù)，?是?單位矩陣。通過使用單位矩陣，我們假設(shè)獨(dú)立觀察。從形式上看，

?

到目前為止，這與頻率設(shè)置中看到的多元正態(tài)回歸相同。假設(shè)?是完整列排名，最大化可能性產(chǎn)生解決方案：

?

通過為?和指定先驗(yàn)分布來獲得貝葉斯模型?。對(duì)于這個(gè)例子，我將使用平坦的，不正確的先驗(yàn)???和反伽馬先驗(yàn)?：

?

?

我們假設(shè)超級(jí)參數(shù)是簡(jiǎn)單的。

聯(lián)合后驗(yàn)分布

關(guān)節(jié)后驗(yàn)分布與...成正比

?

我們可以這樣寫，因?yàn)槲覀兗僭O(shè)事先獨(dú)立。那是，

?。

替換分布，

?

block吉布斯采樣器

在對(duì)采樣器進(jìn)行編碼之前，我們需要導(dǎo)出Gibbs采樣器的組件 - 每個(gè)參數(shù)的后驗(yàn)條件分布。

條件后驗(yàn)?是通過降低因子而?不是從關(guān)節(jié)后部和重新排列來找到的。這種情況很容易，因?yàn)闆]有什么可以放棄的：

?

條件后驗(yàn)?需要更多的線性代數(shù)。

?

這是一個(gè)非常漂亮和直觀的結(jié)果。因?yàn)槲覀冊(cè)趨?shù)向量上使用平坦先驗(yàn)，所以參數(shù)向量的條件后驗(yàn)以最大似然估計(jì)為中心???。條件后驗(yàn)的協(xié)方差矩陣是協(xié)方差矩陣的頻率估計(jì)，?

還要注意，條件后驗(yàn)是一個(gè)多變量分布，因?yàn)樗?span id="ozvdkddzhkzd" class="cke_widget_wrapper cke_widget_inline cke_widget_image cke_image_nocaption cke_widget_selected">?是一個(gè)向量。因此，在Gibbs采樣器的每次迭代中，我們從后部繪制整個(gè)矢量或“塊”。這比從每個(gè)參數(shù)的條件分布中繪制條件分布一樣，一次一個(gè)，效率要高得多。這就是程序被稱為“阻塞”采樣器的原因。

模擬

?我模擬了一個(gè)??結(jié)果向量?。這?是?單位矩陣，?是一個(gè)?模型矩陣。真正的參數(shù)向量?是

?

運(yùn)行阻塞的Gibbs采樣器（block_gibbs（）函數(shù)）會(huì)生成真實(shí)系數(shù)和方差參數(shù)的估計(jì)值。運(yùn)行了500,000次迭代。老化期為100,000，修剪10次迭代。

下面是MCMC鏈的圖，其中真實(shí)值用紅線表示。

?

以下是應(yīng)用老化和修剪后參數(shù)的后驗(yàn)分布：

?

似乎我們能夠?qū)@些參數(shù)進(jìn)行合理的后驗(yàn)估計(jì)。分布并不完全以事實(shí)為中心，因?yàn)槲覀兊臄?shù)據(jù)集只是事實(shí)的一個(gè)實(shí)現(xiàn)。為了確保貝葉斯估計(jì)器正常工作，我重復(fù)這個(gè)練習(xí)1000個(gè)模擬數(shù)據(jù)集。

這將產(chǎn)生1,000套后驗(yàn)平均值和1,000套95％可信區(qū)間。平均而言，這1000個(gè)后方手段應(yīng)以真相為中心。平均而言，真實(shí)參數(shù)值應(yīng)該在95％的時(shí)間內(nèi)在可信區(qū)間內(nèi)。

以下是這些評(píng)估的摘要。

?

“Estimator Means”列是所有1,000個(gè)模擬的平均后驗(yàn)平均值。非常好。百分比偏差均小于5％。所有參數(shù)的95％CI覆蓋率約為95％。

?

擴(kuò)展

我們可以對(duì)此模型進(jìn)行許多擴(kuò)展。例如，可以使用除Normal之外的其他分布以適應(yīng)不同類型的結(jié)果。例如，如果我們有二進(jìn)制數(shù)據(jù)，我們可以將其建模為：

?

?

然后預(yù)先分配?。這個(gè)想法將貝葉斯線性回歸推廣到貝葉斯GLM。

在本文中概述的線性情況下，可以更靈活地對(duì)協(xié)方差矩陣進(jìn)行建模。相反，假設(shè)協(xié)方差矩陣是具有單個(gè)共同方差的對(duì)角線。這是多元線性回歸中的同方差性假設(shè)。如果數(shù)據(jù)是聚類的（例如，每個(gè)受試者多次觀察），我們可以使用逆Wishart分布來模擬整個(gè)協(xié)方差矩陣。

還有問題嗎？聯(lián)系我們！

?

大數(shù)據(jù)部落 -中國(guó)專業(yè)的第三方數(shù)據(jù)服務(wù)提供商，提供定制化的一站式數(shù)據(jù)挖掘和統(tǒng)計(jì)分析咨詢服務(wù)

統(tǒng)計(jì)分析和數(shù)據(jù)挖掘咨詢服務(wù)：y0.cn/teradat（咨詢服務(wù)請(qǐng)聯(lián)系官網(wǎng)客服）

?QQ：3025393450

?

【服務(wù)場(chǎng)景】??

科研項(xiàng)目; 公司項(xiàng)目外包;線上線下一對(duì)一培訓(xùn);數(shù)據(jù)采集;學(xué)術(shù)研究;報(bào)告撰寫;市場(chǎng)調(diào)查。

【大數(shù)據(jù)部落】提供定制化的一站式數(shù)據(jù)挖掘和統(tǒng)計(jì)分析咨詢服務(wù)

?

轉(zhuǎn)載于:https://www.cnblogs.com/tecdat/p/10751627.html

總結(jié)

以上是生活随笔為你收集整理的R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。