一、【先驗(yàn)概率 f(x)】 -- “由因求果" 中的 "因" 出現(xiàn)的概率。先驗(yàn)概率可理解為統(tǒng)計(jì)概率。
???????? 沒有數(shù)據(jù)支持下發(fā)生x的概率。如：全國姓李的人的概率。是指根據(jù)以往經(jīng)驗(yàn)和分析得到的概率，如全概率公式，它往往作為 "由因求果" 問題中的 "因" 出現(xiàn)的概率。
????? （2）在貝葉斯統(tǒng)計(jì)中，先驗(yàn)概率分布，即關(guān)于某個(gè)變量 X 的概率分布，是在獲得某些信息或者依據(jù)前，對(duì) X 之不確定性所進(jìn)行的猜測。這是對(duì)不確定性（而不是隨機(jī)性）賦予一個(gè)量化的數(shù)值的表征，這個(gè)量化數(shù)值可以是一個(gè)參數(shù)，或者是一個(gè)潛在的變量。
????? （2）先驗(yàn)概率僅僅依賴于主觀上的經(jīng)驗(yàn)估計(jì)，也就是事先根據(jù)已有的知識(shí)的推斷。例如， X 可以是投一枚硬幣，正面朝上的概率，顯然在我們未獲得任何其他信息的條件下，我們會(huì)認(rèn)為 P(X)=0.5；再比如上面例子中的，P(G)=0.4。 二、【后驗(yàn)概率】 -- 后驗(yàn)概率可理解為條件概率
????? 后驗(yàn)概率f(x|y):? 發(fā)生y事件情況下發(fā)生x的概率，也稱條件概率。如住在李家莊的姓李的概率。
????? 后驗(yàn)概率是指在得到 “結(jié)果” 的信息后重新修正的概率，是 “執(zhí)果尋因” 問題中的 "果"。
????? （1）事情還沒有發(fā)生，求這件事情發(fā)生的可能性的大小，是先驗(yàn)概率。
????? （2）事情已經(jīng)發(fā)生，求這件事情發(fā)生的原因是由某個(gè)因素引起的可能性的大小，是后驗(yàn)概率。 后驗(yàn)概率是關(guān)于參數(shù) θ 在給定的證據(jù)信息 X 下的概率，即 P(θ|X) 。
?????? 若對(duì)比后驗(yàn)概率和似然函數(shù)，似然函數(shù)是在給定參數(shù)下的證據(jù)信息 X 的概率分布，即 P(X|θ) 。
　　我們用 P(θ) 表示概率分布函數(shù)，用 P(X|θ) 表示觀測值 X 的似然函數(shù)。后驗(yàn)概率定義為 P(θ|X)=P(X|θ)P(θ) / P(X)，注意這也是貝葉斯定理所揭示的內(nèi)容。 三、【似然函數(shù)】
????????? p(x，θ)是一個(gè)有著兩個(gè)變量的函數(shù)。
???? （1）如果，你將參數(shù)θ設(shè)為常量，則你會(huì)得到一個(gè)概率函數(shù)（關(guān)于分布x的函數(shù)）；
???? （2）如果，你將觀測量x設(shè)為常量你將得到似然函數(shù)（關(guān)于參數(shù)θ的函數(shù)）。
?????? 似然函數(shù)和條件概率的函數(shù)形式一致，但意義不一樣！！！
?????? （1）似然函數(shù)是（給定聯(lián)合樣本值x下）關(guān)于 (未知) 參數(shù) θ的函數(shù)：
?????? 所以從定義上，似然函數(shù)和密度函數(shù)是完全不同的兩個(gè)數(shù)學(xué)對(duì)象：前者是關(guān)于分布x的函數(shù)，后者是關(guān)于參數(shù)θ的函數(shù)。
?????? 對(duì)于結(jié)果 x ，在參數(shù)集合 θ 上的似然，就是在給定這些參數(shù)值的基礎(chǔ)上，觀察到的結(jié)果的概率 L(θ|x)=P(x|θ) 。也就是說，似然是關(guān)于參數(shù)的函數(shù)，在參數(shù)給定的條件下，對(duì)于觀察到的 x 的值的條件分布。 參數(shù)的似然定義為在該參數(shù)下事件發(fā)生的概率。似然值越大，表示在該參數(shù)下，事件越有可能發(fā)生。似然值越小，在該參數(shù)下事件越不可能發(fā)生。從這個(gè)角度來看，MLE也很好理解了：找到一個(gè)參數(shù)的估計(jì)，使得在該參數(shù)估計(jì)下，事件發(fā)生的可能性最大。
?????? 注意，這里用參數(shù)的"似然"而不是參數(shù)的"概率"，如之前所說，參數(shù)不是隨機(jī)變量，不存在概率的說法，用”似然“描述。 似然函數(shù)和條件概率密度函數(shù)是完全不同的兩個(gè)數(shù)學(xué)對(duì)象：前者是關(guān)于參量θ的函數(shù)，后者是關(guān)于分布X的函數(shù)。所以這里的等號(hào)= 理解為函數(shù)值形式的相等。它們不是同一個(gè)函數(shù)，但是具有相同的函數(shù)形式（類似a^x與x^a的關(guān)系）. ============
極大似然估計(jì)：使得概率密度分布函數(shù)最大的那個(gè)參數(shù)是最佳參數(shù)。
極大似然法的思想始于高斯的誤差理論，在各種估計(jì)方法中較為優(yōu)良，它屬于頻率學(xué)派的點(diǎn)估計(jì)法的一種。
極大似然法的要求分布有參數(shù)形式。
極大似然法在數(shù)據(jù)比較少的時(shí)候容易o(hù)verfit。
============
極大似然估計(jì)和貝葉斯估計(jì)分別代表了頻率派和貝葉斯派的觀點(diǎn)。 （1）頻率派認(rèn)為，參數(shù)是客觀存在的，只是未知而矣。因此，頻率派最關(guān)心極大似然函數(shù)，只要參數(shù)求出來了，給定自變量X，Y也就固定了，極大似然估計(jì)如下所示:
??????? θ MLE =argmax f(θ |x)????? // x為分布的觀測值，θ為待估計(jì)的參數(shù)
（2）貝葉斯派認(rèn)為參數(shù)也是隨機(jī)的，和一般隨機(jī)變量沒有本質(zhì)區(qū)別，正是因?yàn)閰?shù)不能固定，當(dāng)給定一個(gè)輸入分布的觀測值x后，我們不能用一個(gè)確定的y表示輸出結(jié)果，必須用一個(gè)概率的方式表達(dá)出來，所以貝葉斯學(xué)派的預(yù)測值是一個(gè)期望值。
????? 最大后驗(yàn)概率和極大似然估計(jì)很像，只是多了一項(xiàng)先驗(yàn)分布，它體現(xiàn)了貝葉斯認(rèn)為參數(shù)也是隨機(jī)變量的觀點(diǎn)，在實(shí)際運(yùn)算中通常通過超參數(shù)給出先驗(yàn)分布。
??????? f(θ |x) = f(x|θ) f(θ)/f(x)
????? 一方面，極大似然估計(jì)和最大后驗(yàn)概率都是參數(shù)的點(diǎn)估計(jì)。在頻率學(xué)派中，參數(shù)固定了，預(yù)測值也就固定了。最大后驗(yàn)概率是貝葉斯學(xué)派的一種近似手段，因?yàn)橥耆惾~斯估計(jì)不一定可行。
????? 另一方面，最大后驗(yàn)概率可以看作是對(duì)先驗(yàn)和MLE的一種折衷，如果數(shù)據(jù)量足夠大，最大后驗(yàn)概率和最大似然估計(jì)趨向于一致，如果數(shù)據(jù)為0,最大后驗(yàn)僅由先驗(yàn)決定。

總結(jié)

以上是生活随笔為你收集整理的一大堆概率概念_拔剑-浆糊的传说_新浪博客的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。