详细解释到底啥是共轭先验(用本科知识来解释)
我們直奔主題。
根據(jù)百度百科上的解釋:
如果后驗(yàn)分布與先驗(yàn)分布屬于同類(分布簇),則先驗(yàn)分布與后驗(yàn)分布被稱為共軛分布,而先驗(yàn)分布被稱為似然函數(shù)的共軛先驗(yàn)。
上面這個(gè)定義有點(diǎn)復(fù)雜,我們待會(huì)兒再回過頭來看這個(gè)定義
P(θ∣x)=P(x∣θ)?P(θ)∫P(x∣θ′)?P(θ′)dθ′P(\theta|x)=\frac{P(x|\theta)·P(\theta)}{\int P(x|\theta')·P(\theta')d\theta'}P(θ∣x)=∫P(x∣θ′)?P(θ′)dθ′P(x∣θ)?P(θ)?
=P(x∣θ)?P(θ)P(x)(這種是書上常見的)=\frac{P(x|\theta)·P(\theta)}{P(x)}\\(這種是書上常見的)=P(x)P(x∣θ)?P(θ)?(這種是書上常見的)
當(dāng)p來自二項(xiàng)分布中的B(n,p),且θ=p時(shí)當(dāng)p來自二項(xiàng)分布中的B(n,p),且\theta=p時(shí)當(dāng)p來自二項(xiàng)分布中的B(n,p),且θ=p時(shí)
上式:
P(p∣x)=P(x∣p)?P(p)P(x)①P(p|x)=\frac{P(x|p)·P(p)}{P(x)}①P(p∣x)=P(x)P(x∣p)?P(p)?①
一、
似然函數(shù)(二項(xiàng)分布):
P(x∣p)=P(k∣p)=P(X=k)=B(k:n,p)=Cnk?pk?(1?p)1?k②P(x|p)=P(k|p)=P(X=k)=B(k:n,p)=C_n^k·p^k·(1-p)^{1-k}②P(x∣p)=P(k∣p)=P(X=k)=B(k:n,p)=Cnk??pk?(1?p)1?k②
二、
p的先驗(yàn)分布(β\betaβ分布),
ppp的先驗(yàn)分布假設(shè)為βββ分布,超參數(shù)為α,β\alpha,\betaα,β
(為啥這么假設(shè)呢?就是為了剛好和共軛的分布湊一對(duì)兒,方便取名,這里的假設(shè)可以理解為“當(dāng)p的先驗(yàn)分布恰巧為β分布時(shí)”):
P(p)=P(p∣α,β)=1B(α,β)pα?1(1?p)β?1③P(p)=P(p|\alpha,\beta)=\frac{1}{B(\alpha,\beta)}p^{\alpha-1}(1-p)^{\beta-1}③P(p)=P(p∣α,β)=B(α,β)1?pα?1(1?p)β?1③
這個(gè)P和pP和pP和p可能看著有點(diǎn)暈哈,我稍微解釋下:
所謂的βββ分布,他是“描述概率分布的分布”,可以參考:
https://blog.csdn.net/a358463121/article/details/52562940
我們將②和③代入①中,得到:
P(p∣x)=P(x∣p)?P(p)P(x)x=k時(shí),P(p∣k)=P(k∣p)?P(p)P(k)=1P(k)?Cnk?pk?(1?p)n?k?1B(α,β)pα?1(1?p)β?1=[1P(k)?CnkB(α,β)]?pk+α?1?(1?p)n?k+β?1=[1P(k)?1B(α+k,β+n?k)]?pk+α?1?(1?p)n?k+β?1P(p|x)=\frac{P(x|p)·P(p)}{P(x)}\\ x=k時(shí),\\ P(p|k)=\frac{P(k|p)·P(p)}{P(k)}\\ =\frac{1}{P(k)}·C_n^k·p^k·(1-p)^{n-k} ·\frac{1}{B(\alpha,\beta)}p^{\alpha-1}(1-p)^{\beta-1}\\ =[\frac{1}{P(k)}·\frac{C_n^k}{B(\alpha,\beta)}]·p^{k+\alpha-1}·(1-p)^{n-k+\beta-1}\\ =[\frac{1}{P(k)}·\frac{1}{B(\alpha+k,\beta+n-k)}]·p^{k+\alpha-1}·(1-p)^{n-k+\beta-1}P(p∣x)=P(x)P(x∣p)?P(p)?x=k時(shí),P(p∣k)=P(k)P(k∣p)?P(p)?=P(k)1??Cnk??pk?(1?p)n?k?B(α,β)1?pα?1(1?p)β?1=[P(k)1??B(α,β)Cnk??]?pk+α?1?(1?p)n?k+β?1=[P(k)1??B(α+k,β+n?k)1?]?pk+α?1?(1?p)n?k+β?1
到了這一步,我們回到最初的概念:
選取什么樣的先驗(yàn)分布 會(huì)讓后驗(yàn)分布與先驗(yàn)分布具有"相同的數(shù)學(xué)形式"
如果先驗(yàn)分布和似然函數(shù)可以使得先驗(yàn)分布和后驗(yàn)分布有相同的形式,那么就稱先驗(yàn)分布與似然函數(shù)是共軛的
說人話就是:
P(p)P(p)P(p)是啥分布時(shí),根據(jù)①計(jì)算的得到的P(p∣x)P(p|x)P(p∣x)和P(p)P(p)P(p)長得很相似(長得相似的意思就是共軛)?
當(dāng)根據(jù)①計(jì)算的得到的P(p∣x)P(p|x)P(p∣x)和P(p)P(p)P(p)長得很相似時(shí),那么:
(1)先驗(yàn)分布P(p)P(p)P(p)和P(p∣x)P(p|x)P(p∣x)被稱為共軛分布(即:互為共軛關(guān)系)
(2)先驗(yàn)分布P(p)P(p)P(p)被稱為似然函數(shù)P(x∣p)P(x|p)P(x∣p)的共軛先驗(yàn)。
下面這些概念到底啥意思?
共軛(conjugate):啥意思?就是兩個(gè)東西長得很相似,取名叫共軛
A分布是B分布的共軛先驗(yàn)分布:啥意思?也就是說,這兩個(gè)分布互為共軛關(guān)系(講人話就是他們的模樣長得很像),A是B的共軛分布,B也是A的共軛分布。
由于A分布同時(shí)也是B分布的先驗(yàn)分布,所以A是B的“共軛、先驗(yàn)分布”
簡稱:“共軛先驗(yàn)分布”
共軛先驗(yàn)分布有啥用?
引用百度百科上的話:
共軛先驗(yàn)的好處:
主要在于代數(shù)上的方便性,可以直接給出后驗(yàn)分布的封閉形式,否則的話只能數(shù)值計(jì)算。共軛先驗(yàn)也有助于獲得關(guān)于似然函數(shù)如何更新先驗(yàn)分布的直觀印象。
上面的到底啥意思?說人話:
除非你要搞學(xué)術(shù)理論(和代數(shù)相關(guān)的理論),作報(bào)告,否則沒啥用。
因?yàn)楫?dāng)年出來這個(gè)概念的時(shí)候,計(jì)算機(jī)還不發(fā)達(dá),手算為了方便校對(duì)不同結(jié)果的形式,出來這么個(gè)概念。
你想啊,你從等式左邊推導(dǎo)到右邊,萬一出錯(cuò)了呢?出來這么個(gè)概念方便你檢查草稿紙上算得對(duì)不對(duì)。
因?yàn)槭枪曹椣闰?yàn)分布,那么等式左右兩側(cè),你推導(dǎo)的結(jié)果,也就是等式的右邊,要大致等于等式的左邊。
總結(jié)
以上是生活随笔為你收集整理的详细解释到底啥是共轭先验(用本科知识来解释)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: maven构建scala工程并最终运行的
- 下一篇: 关于辅酶Q10的相关常识与选购要点(转)