UA MATH566 统计理论4 贝叶斯统计基础1
UA MATH566 統(tǒng)計理論4 貝葉斯統(tǒng)計基礎(chǔ)1
- 貝葉斯公式
- 貝葉斯充分統(tǒng)計量
這一講討論貝葉斯統(tǒng)計的一些基礎(chǔ)思想，會分成三個部分，第一部分討論貝葉斯統(tǒng)計的設(shè)定；第二部分討論貝葉斯統(tǒng)計的估計與假設(shè)檢驗；第三部分討論貝葉斯統(tǒng)計的置信區(qū)間。
貝葉斯公式
假設(shè)XXX是概率空間(X,B(X),Pθ)(\mathcal{X},\mathcal{B}(\mathcal{X}),P_{\theta})(X,B(X),Pθ?)上的隨機(jī)變量，X?Rn\mathcal{X} \subset \mathbb{R}^nX?Rn，它表示一組簡單隨機(jī)樣本X1,?,Xn～f(x∣θ)X_1,\cdots,X_n \sim f(x|\theta)X1?,?,Xn?～f(x∣θ)，θ\thetaθ是分布的參數(shù)，θ∈Θ\theta \in \Thetaθ∈Θ，Θ\ThetaΘ被稱為參數(shù)空間。參數(shù)空間與其Borel σ\sigmaσ-代數(shù)構(gòu)成一個可測空間(Θ,B(Θ))(\Theta,\mathcal{B}(\Theta))(Θ,B(Θ))，用Cap(Θ,B(Θ))Cap(\Theta,\mathcal{B}(\Theta))Cap(Θ,B(Θ))表示參數(shù)空間上所有可能的概率測度的集合，對于Pπ∈Cap(Θ,B(Θ))P_{\pi} \in Cap(\Theta,\mathcal{B}(\Theta))Pπ?∈Cap(Θ,B(Θ))，稱測度PπP_{\pi}Pπ?導(dǎo)出的密度為參數(shù)θ\thetaθ的一個先驗密度，記為π(θ)=Pπ(dθ)/dθ\pi(\theta) = P_{\pi}(d \theta)/d \thetaπ(θ)=Pπ?(dθ)/dθ，它與f(x∣θ)f(x|\theta)f(x∣θ)共同決定參數(shù)與樣本的聯(lián)合密度：
f(x,θ)=f(x∣θ)π(θ)f(x,\theta) = f(x|\theta)\pi(\theta)f(x,θ)=f(x∣θ)π(θ)
給定一組樣本，參數(shù)的后驗密度是
π(θ∣x)=f(x,θ)f(x)=f(x∣θ)π(θ)∫Θf(x∣θ)π(θ)dθ∝f(x∣θ)π(θ)\pi(\theta|x) = \frac{f(x,\theta)}{f(x)} = \frac{f(x|\theta)\pi(\theta)}{\int_{\Theta }f(x|\theta)\pi(\theta)d\theta} \propto f(x|\theta)\pi(\theta)π(θ∣x)=f(x)f(x,θ)?=∫Θ?f(x∣θ)π(θ)dθf(x∣θ)π(θ)?∝f(x∣θ)π(θ)
這個公式叫貝葉斯公式，f(x∣θ)π(θ)f(x|\theta)\pi(\theta)f(x∣θ)π(θ)叫后驗密度的核，根據(jù)這個可以確定θ\thetaθ的分布形式。
例1 假設(shè)一個硬幣擲出數(shù)字的概率是ppp，擲出頭像的概率是1?p1-p1?p，如果ppp的先驗是beta(3,3)beta(3,3)beta(3,3)，重復(fù)30次試驗擲出了16個正面，估計這個硬幣擲出正面的概率。
例2 一組簡單隨機(jī)樣本X1,?,Xn～N(θ,σ2)X_1,\cdots,X_n \sim N(\theta,\sigma^2)X1?,?,Xn?～N(θ,σ2)，θ～N(μ,1/λ0)\theta \sim N(\mu,1/\lambda_0)θ～N(μ,1/λ0?)，求θ\thetaθ的后驗分布。
貝葉斯充分統(tǒng)計量
稱統(tǒng)計量T(X)T(X)T(X)為貝葉斯充分統(tǒng)計量，如果?Pπ∈Cap(Θ,B(Θ))\forall P_{\pi} \in Cap(\Theta,\mathcal{B}(\Theta))?Pπ?∈Cap(Θ,B(Θ))，
π(θ∣x)=π(θ∣T(x))\pi(\theta|x) = \pi(\theta|T(x))π(θ∣x)=π(θ∣T(x))
即后驗分布可以表示成θ\thetaθ與T(x)T(x)T(x)的函數(shù)。
定理 如果T(X)T(X)T(X)是充分統(tǒng)計量，則T(X)T(X)T(X)是貝葉斯充分統(tǒng)計量，反之亦然。
證明
1）假設(shè)T(X)T(X)T(X)是充分統(tǒng)計量，先用貝葉斯公式，然后用Fisher-Neyman定理
π(θ∣x)=f(x∣θ)π(θ)∫Θf(x∣θ)π(θ)dθ=h(x)g(θ,T(x))π(θ)∫Θh(x)g(θ,T(x))π(θ)dθ=g(θ,T(x))π(θ)∫Θg(θ,T(x))π(θ)dθ\pi(\theta|x) = \frac{f(x|\theta)\pi(\theta)}{\int_{\Theta }f(x|\theta)\pi(\theta)d\theta} = \frac{h(x)g(\theta,T(x))\pi(\theta)}{\int_{\Theta }h(x)g(\theta,T(x))\pi(\theta)d\theta}=\frac{g(\theta,T(x))\pi(\theta)}{\int_{\Theta }g(\theta,T(x))\pi(\theta)d\theta}π(θ∣x)=∫Θ?f(x∣θ)π(θ)dθf(x∣θ)π(θ)?=∫Θ?h(x)g(θ,T(x))π(θ)dθh(x)g(θ,T(x))π(θ)?=∫Θ?g(θ,T(x))π(θ)dθg(θ,T(x))π(θ)?
顯然后驗是只與θ\thetaθ和T(x)T(x)T(x)有關(guān)的，因此T(X)T(X)T(X)是貝葉斯統(tǒng)計量；
2）假設(shè)T(X)T(X)T(X)是貝葉斯充分統(tǒng)計量，根據(jù)貝葉斯公式，
π(θ∣x)=f(x,θ)f(x)=f(x∣θ)π(θ)f(x)?f(x∣θ)=π(θ∣x)f(x)π(θ)=f(x)π(θ∣T(x))π(θ)\pi(\theta|x) = \frac{f(x,\theta)}{f(x)} = \frac{f(x|\theta)\pi(\theta)}{f(x)} \Rightarrow f(x|\theta) = \frac{\pi(\theta|x)f(x)}{\pi(\theta)} = f(x)\frac{\pi(\theta|T(x))}{\pi(\theta)} π(θ∣x)=f(x)f(x,θ)?=f(x)f(x∣θ)π(θ)??f(x∣θ)=π(θ)π(θ∣x)f(x)?=f(x)π(θ)π(θ∣T(x))?
其中f(x)f(x)f(x)只與樣本有關(guān)，π(θ∣T(x))π(θ)\frac{\pi(\theta|T(x))}{\pi(\theta)}π(θ)π(θ∣T(x))?只與θ\thetaθ和T(x)T(x)T(x)有關(guān)，根據(jù)Fisher-Neyman定理，T(X)T(X)T(X)是充分統(tǒng)計量。
總結(jié)
以上是生活随笔為你收集整理的UA MATH566 统计理论4 贝叶斯统计基础1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 统计决策理论2 条件分布上
- 下一篇： UA MATH566 统计理论1 充分统