UA MATH566 統(tǒng)計理論4 貝葉斯統(tǒng)計基礎(chǔ)1

• 貝葉斯公式
• 貝葉斯充分統(tǒng)計量

這一講討論貝葉斯統(tǒng)計的一些基礎(chǔ)思想，會分成三個部分，第一部分討論貝葉斯統(tǒng)計的設(shè)定；第二部分討論貝葉斯統(tǒng)計的估計與假設(shè)檢驗；第三部分討論貝葉斯統(tǒng)計的置信區(qū)間。

貝葉斯公式

假設(shè)$X$是概率空間$(\mathcal{X},\mathcal{B}(\mathcal{X}),P_{\theta })$上的隨機(jī)變量，$\mathcal{X}?{\mathbb{R}}^n$，它表示一組簡單隨機(jī)樣本$X_1,?,X_n～f(x|\theta )$，$\theta$是分布的參數(shù)，$\theta \in \Theta$，$\Theta$被稱為參數(shù)空間。參數(shù)空間與其Borel $\sigma$-代數(shù)構(gòu)成一個可測空間$(\Theta ,\mathcal{B}(\Theta ))$，用$Cap(\Theta ,\mathcal{B}(\Theta ))$表示參數(shù)空間上所有可能的概率測度的集合，對于$P_{\pi }\in Cap(\Theta ,\mathcal{B}(\Theta ))$，稱測度$P_{\pi }$導(dǎo)出的密度為參數(shù)$\theta$的一個先驗密度，記為$\pi (\theta )=P_{\pi }(d\theta )/d\theta$，它與$f(x|\theta )$共同決定參數(shù)與樣本的聯(lián)合密度：
$$f(x,\theta )=f(x|\theta )\pi (\theta )$$
給定一組樣本，參數(shù)的后驗密度是
$$\pi (\theta |x)=\frac{f(x,\theta )}{f(x)}=\frac{f(x|\theta )\pi (\theta )}{{\int }_{\Theta }f(x|\theta )\pi (\theta )d\theta }\propto f(x|\theta )\pi (\theta )$$
這個公式叫貝葉斯公式，$f(x|\theta )\pi (\theta )$叫后驗密度的核，根據(jù)這個可以確定$\theta$的分布形式。

例1 假設(shè)一個硬幣擲出數(shù)字的概率是$p$，擲出頭像的概率是$1?p$，如果$p$的先驗是$beta(3,3)$，重復(fù)30次試驗擲出了16個正面，估計這個硬幣擲出正面的概率。

例2 一組簡單隨機(jī)樣本$X_1,?,X_n～N(\theta ,{\sigma }^2)$，$\theta ～N(\mu ,1/{\lambda }_0)$，求$\theta$的后驗分布。

貝葉斯充分統(tǒng)計量

稱統(tǒng)計量$T(X)$為貝葉斯充分統(tǒng)計量，如果$?P_{\pi }\in Cap(\Theta ,\mathcal{B}(\Theta ))$，
$$\pi (\theta |x)=\pi (\theta |T(x))$$
即后驗分布可以表示成$\theta$與$T(x)$的函數(shù)。

定理 如果$T(X)$是充分統(tǒng)計量，則$T(X)$是貝葉斯充分統(tǒng)計量，反之亦然。

證明
1）假設(shè)$T(X)$是充分統(tǒng)計量，先用貝葉斯公式，然后用Fisher-Neyman定理
$$\pi (\theta |x)=\frac{f(x|\theta )\pi (\theta )}{{\int }_{\Theta }f(x|\theta )\pi (\theta )d\theta }=\frac{h(x)g(\theta ,T(x))\pi (\theta )}{{\int }_{\Theta }h(x)g(\theta ,T(x))\pi (\theta )d\theta }=\frac{g(\theta ,T(x))\pi (\theta )}{{\int }_{\Theta }g(\theta ,T(x))\pi (\theta )d\theta }$$
顯然后驗是只與$\theta$和$T(x)$有關(guān)的，因此$T(X)$是貝葉斯統(tǒng)計量；
2）假設(shè)$T(X)$是貝葉斯充分統(tǒng)計量，根據(jù)貝葉斯公式，
$$\pi (\theta |x)=\frac{f(x,\theta )}{f(x)}=\frac{f(x|\theta )\pi (\theta )}{f(x)}?f(x|\theta )=\frac{\pi (\theta |x)f(x)}{\pi (\theta )}=f(x)\frac{\pi (\theta |T(x))}{\pi (\theta )}$$
其中$f(x)$只與樣本有關(guān)，$\frac{\pi (\theta |T(x))}{\pi (\theta )}$只與$\theta$和$T(x)$有關(guān)，根據(jù)Fisher-Neyman定理，$T(X)$是充分統(tǒng)計量。

總結(jié)

以上是生活随笔為你收集整理的UA MATH566 统计理论4 贝叶斯统计基础1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。