最大似然估計(jì)：

最大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來評(píng)估模型參數(shù)的方法，即：“模型已定，參數(shù)未知”。簡(jiǎn)單而言，假設(shè)我們要統(tǒng)計(jì)全國(guó)人口的身高，首先假設(shè)這個(gè)身高服從服從正態(tài)分布，但是該分布的均值與方差未知。我們沒有人力與物力去統(tǒng)計(jì)全國(guó)每個(gè)人的身高，但是可以通過采樣，獲取部分人的身高，然后通過最大似然估計(jì)來獲取上述假設(shè)中的正態(tài)分布的均值與方差。

最大似然估計(jì)中采樣需滿足一個(gè)很重要的假設(shè)，就是所有的采樣都是獨(dú)立同分布的。下面我們具體描述一下最大似然估計(jì)：

首先，假設(shè)為獨(dú)立同分布的采樣，θ為模型參數(shù),f為我們所使用的模型，遵循我們上述的獨(dú)立同分布假設(shè)。參數(shù)為θ的模型f產(chǎn)生上述采樣可表示為

回到上面的“模型已定，參數(shù)未知”的說法，此時(shí)，我們已知的為，未知為θ，故似然定義為:

　　

　　在實(shí)際應(yīng)用中常用的是兩邊取對(duì)數(shù)，得到公式如下：

　　其中稱為對(duì)數(shù)似然，而稱為平均對(duì)數(shù)似然。而我們平時(shí)所稱的最大似然為最大的對(duì)數(shù)平均似然，即：

　　

舉個(gè)別人博客中的例子，假如有一個(gè)罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數(shù)。現(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個(gè)球出來，記錄球的顏色，然后把拿出來的球 再放回罐中。這個(gè)過程可以重復(fù)，我們可以用記錄的球的顏色來估計(jì)罐中黑白球的比例。假如在前面的一百次重復(fù)記錄中，有七十次是白球，請(qǐng)問罐中白球所占的比例最有可能是多少？很多人馬上就有答案了：70%。而其后的理論支撐是什么呢？

我們假設(shè)罐中白球的比例是p，那么黑球的比例就是1-p。因?yàn)槊砍橐粋€(gè)球出來，在記錄顏色之后，我們把抽出的球放回了罐中并搖勻，所以每次抽出來的球的顏 色服從同一獨(dú)立分布。這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中，七十次是白球的概率是P(Data | M)，這里Data是所有的數(shù)據(jù)，M是所給出的模型，表示每次抽出來的球是白色的概率為p。如果第一抽樣的結(jié)果記為x1，第二抽樣的結(jié)果記為x2...?那么Data = (x1,x2,…,x100)。這樣，

　　　　P(Data | M)

　　　　　= P(x1,x2,…,x100|M)

　　　　　= P(x1|M)P(x2|M)…P(x100|M)

　　　　　= p^70(1-p)^30.

那么p在取什么值的時(shí)候，P(Data |M)的值最大呢？將p^70(1-p)^30對(duì)p求導(dǎo)，并其等于零。

　　　　70p^69(1-p)^30-p^70*30(1-p)^29=0。

　　　　解方程可以得到p=0.7。

在邊界點(diǎn)p=0,1，P(Data|M)=0。所以當(dāng)p=0.7時(shí)，P(Data|M)的值最大。這和我們常識(shí)中按抽樣中的比例來計(jì)算的結(jié)果是一樣的。

假如我們有一組連續(xù)變量的采樣值（x1,x2,…,xn），我們知道這組數(shù)據(jù)服從正態(tài)分布，標(biāo)準(zhǔn)差已知。請(qǐng)問這個(gè)正態(tài)分布的期望值為多少時(shí)，產(chǎn)生這個(gè)已有數(shù)據(jù)的概率最大？

　　　　P(Data | M) = ？

根據(jù)公式

　　?

　　可得:

?

　　對(duì)μ求導(dǎo)可得?,則最大似然估計(jì)的結(jié)果為μ=(x1+x2+…+xn)/n

?

由上可知最大似然估計(jì)的一般求解過程：

　　（1） 寫出似然函數(shù)；

　　（2） 對(duì)似然函數(shù)取對(duì)數(shù)，并整理；

　　（3） 求導(dǎo)數(shù) ；

　　（4） 解似然方程

?

注意：最大似然估計(jì)只考慮某個(gè)模型能產(chǎn)生某個(gè)給定觀察序列的概率。而未考慮該模型本身的概率。這點(diǎn)與貝葉斯估計(jì)區(qū)別。貝葉斯估計(jì)方法將在以后的博文中描述

本文參考

http://en.wikipedia.org/wiki/Maximum_likelihood

http://www.shamoxia.com/html/y2010/1520.html

?

最大后驗(yàn)概率：

最大后驗(yàn)估計(jì)是根據(jù)經(jīng)驗(yàn)數(shù)據(jù)獲得對(duì)難以觀察的量的點(diǎn)估計(jì)。與最大似然估計(jì)類似，但是最大的不同時(shí)，最大后驗(yàn)估計(jì)的融入了要估計(jì)量的先驗(yàn)分布在其中。故最大后驗(yàn)估計(jì)可以看做規(guī)則化的最大似然估計(jì)。

首先，我們回顧上篇文章中的最大似然估計(jì)，假設(shè)x為獨(dú)立同分布的采樣，θ為模型參數(shù),f為我們所使用的模型。那么最大似然估計(jì)可以表示為：

現(xiàn)在，假設(shè)θ的先驗(yàn)分布為g。通過貝葉斯理論，對(duì)于θ的后驗(yàn)分布如下式所示：

最后驗(yàn)分布的目標(biāo)為：

　　　　注：最大后驗(yàn)估計(jì)可以看做貝葉斯估計(jì)的一種特定形式。

　　舉例來說：

　　假設(shè)有五個(gè)袋子，各袋中都有無限量的餅干(櫻桃口味或檸檬口味)，已知五個(gè)袋子中兩種口味的比例分別是

　　　　櫻桃 100%

　　　　櫻桃 75% + 檸檬 25%

　　　　櫻桃 50% + 檸檬 50%

　　　　櫻桃 25% + 檸檬 75%

　　　　檸檬 100%

　　如果只有如上所述條件，那問從同一個(gè)袋子中連續(xù)拿到2個(gè)檸檬餅干，那么這個(gè)袋子最有可能是上述五個(gè)的哪一個(gè)？

我們首先采用最大似然估計(jì)來解這個(gè)問題，寫出似然函數(shù)。假設(shè)從袋子中能拿出檸檬餅干的概率為p(我們通過這個(gè)概率p來確定是從哪個(gè)袋子中拿出來的)，則似然函數(shù)可以寫作

　　

　　由于p的取值是一個(gè)離散值，即上面描述中的0,25%，50%，75%，1。我們只需要評(píng)估一下這五個(gè)值哪個(gè)值使得似然函數(shù)最大即可，得到為袋子5。這里便是最大似然估計(jì)的結(jié)果。

上述最大似然估計(jì)有一個(gè)問題，就是沒有考慮到模型本身的概率分布，下面我們擴(kuò)展這個(gè)餅干的問題。

假設(shè)拿到袋子1或5的機(jī)率都是0.1，拿到2或4的機(jī)率都是0.2，拿到3的機(jī)率是0.4，那同樣上述問題的答案呢？這個(gè)時(shí)候就變MAP了。我們根據(jù)公式

　　

寫出我們的MAP函數(shù)。

　　

根據(jù)題意的描述可知，p的取值分別為0,25%，50%，75%，1，g的取值分別為0.1，0.2,0.4,0.2,0.1.分別計(jì)算出MAP函數(shù)的結(jié)果為：0,0.0125,0.125,0.28125,0.1.由上可知，通過MAP估計(jì)可得結(jié)果是從第四個(gè)袋子中取得的最高。

　　上述都是離散的變量，那么連續(xù)的變量呢？假設(shè)為獨(dú)立同分布的，μ有一個(gè)先驗(yàn)的概率分布為。那么我們想根據(jù)來找到μ的最大后驗(yàn)概率。根據(jù)前面的描述，寫出MAP函數(shù)為：

　　

　　此時(shí)我們?cè)趦蛇吶?duì)數(shù)可知。所求上式的最大值可以等同于求

　　

　　的最小值。求導(dǎo)可得所求的μ為

　　

　　以上便是對(duì)于連續(xù)變量的MAP求解的過程。

在MAP中我們應(yīng)注意的是：

MAP與MLE最大區(qū)別是MAP中加入了模型參數(shù)本身的概率分布，或者說。MLE中認(rèn)為模型參數(shù)本身的概率的是均勻的，即該概率為一個(gè)固定值。

?

轉(zhuǎn)載于:https://www.cnblogs.com/onemorepoint/p/8168019.html

總結(jié)

以上是生活随笔為你收集整理的转先验概率、最大似然估计、贝叶斯估计、最大后验概率的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。