文章轉(zhuǎn)載自：Leavingseason?http://www.cnblogs.com/sylvanas2012/p/5058065.html?

1） 最大似然估計(jì) MLE

給定一堆數(shù)據(jù)，假如我們知道它是從某一種分布中隨機(jī)取出來(lái)的，可是我們并不知道這個(gè)分布具體的參數(shù)，即“模型已定，參數(shù)未知”。例如，我們知道這個(gè)分布是正態(tài)分布，但是不知道均值和方差；或者是二項(xiàng)分布，但是不知道均值。 最大似然估計(jì)（MLE，Maximum Likelihood Estimation）就可以用來(lái)估計(jì)模型的參數(shù)。MLE的目標(biāo)是找出一組參數(shù)，使得模型產(chǎn)生出觀測(cè)數(shù)據(jù)的概率最大：

其中就是似然函數(shù)，表示在參數(shù)下出現(xiàn)觀測(cè)數(shù)據(jù)的概率。我們假設(shè)每個(gè)觀測(cè)數(shù)據(jù)是獨(dú)立的，那么有

為了求導(dǎo)方便，一般對(duì)目標(biāo)取log。 所以最優(yōu)化對(duì)似然函數(shù)等同于最優(yōu)化對(duì)數(shù)似然函數(shù)：

舉一個(gè)拋硬幣的簡(jiǎn)單例子。 現(xiàn)在有一個(gè)正反面不是很勻稱的硬幣，如果正面朝上記為H，方面朝上記為T，拋10次的結(jié)果如下：

求這個(gè)硬幣正面朝上的概率有多大？

很顯然這個(gè)概率是0.2。現(xiàn)在我們用MLE的思想去求解它。我們知道每次拋硬幣都是一次二項(xiàng)分布，設(shè)正面朝上的概率是，那么似然函數(shù)為：

x=1表示正面朝上，x=0表示方面朝上。那么有：

求導(dǎo)：

令導(dǎo)數(shù)為0，很容易得到：

也就是0.2 。

2） 最大后驗(yàn)概率 ?MAP

以上MLE求的是找出一組能夠使似然函數(shù)最大的參數(shù)，即。 現(xiàn)在問(wèn)題稍微復(fù)雜一點(diǎn)點(diǎn)，假如這個(gè)參數(shù)有一個(gè)先驗(yàn)概率呢？比如說(shuō)，在上面拋硬幣的例子，假如我們的經(jīng)驗(yàn)告訴我們，硬幣一般都是勻稱的，也就是=0.5的可能性最大，=0.2的可能性比較小，那么參數(shù)該怎么估計(jì)呢？這就是MAP要考慮的問(wèn)題。 MAP優(yōu)化的是一個(gè)后驗(yàn)概率，即給定了觀測(cè)值后使概率最大：

把上式根據(jù)貝葉斯公式展開：

我們可以看出第一項(xiàng)就是似然函數(shù)，第二項(xiàng)就是參數(shù)的先驗(yàn)知識(shí)。取log之后就是：

回到剛才的拋硬幣例子，假設(shè)參數(shù)有一個(gè)先驗(yàn)估計(jì)，它服從Beta分布，即：

而每次拋硬幣任然服從二項(xiàng)分布：

那么，目標(biāo)函數(shù)的導(dǎo)數(shù)為：

求導(dǎo)的第一項(xiàng)已經(jīng)在上面MLE中給出了，第二項(xiàng)為：

令導(dǎo)數(shù)為0，求解為：

其中，表示正面朝上的次數(shù)。這里看以看出，MLE與MAP的不同之處在于，MAP的結(jié)果多了一些先驗(yàn)分布的參數(shù)。

?

補(bǔ)充知識(shí)： Beta分布

Beat分布是一種常見的先驗(yàn)分布，它形狀由兩個(gè)參數(shù)控制，定義域?yàn)閇0,1]

Beta分布的最大值是x等于的時(shí)候：

所以在拋硬幣中，如果先驗(yàn)知識(shí)是說(shuō)硬幣是勻稱的，那么就讓。 但是很顯然即使它們相等，它兩的值也對(duì)最終結(jié)果很有影響。它兩的值越大，表示偏離勻稱的可能性越小：

轉(zhuǎn)載于:https://www.cnblogs.com/chaofn/p/8960976.html

總結(jié)

以上是生活随笔為你收集整理的最大似然估计 （MLE） 最大后验概率（MAP）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。