（1）最大似然估計(jì)ML和最大后驗(yàn)估計(jì)MAP

最大似然估計(jì)量

非貝葉斯方法通常是最大化似然函數(shù)：

其中

被稱(chēng)為 的最大似然估計(jì)量，它是 的函數(shù)。

最大后驗(yàn)估計(jì)量

估計(jì)隨機(jī)參數(shù)的通常方法是最大化后驗(yàn)分布函數(shù)：

其中

被稱(chēng)為 的最大后驗(yàn)估計(jì)量，它是 的函數(shù)。

（2）高斯噪聲下ML和MAP的比較

考慮如下測(cè)量模型（一維）：

最大似然估計(jì)

假設(shè)

是未知的某常量， 的似然函數(shù)為：

所以：

最大后驗(yàn)估計(jì)

然后假設(shè)參數(shù)

是隨機(jī)變量，其分布函數(shù) 是均值為 方差為 的高斯分布，并和 獨(dú)立，即：

在觀測(cè)

的條件下， 的后驗(yàn)分布為：

其中

。

計(jì)算得到

滿(mǎn)足高斯分布的形式：

其中：

所以：

（3）Diffuse Prior下的MAP估計(jì)器

我們已經(jīng)知道，

基于非貝葉斯方法， 基于貝葉斯方法。這里我將介紹在某些特定的先驗(yàn)分布下：

假設(shè)

的先驗(yàn)分布為：

其中

，且大于零；我們稱(chēng)這個(gè)分布為Diffuse pdf。

所以 的后驗(yàn)分布為：

這里可以看出，后驗(yàn)分布與似然函數(shù)只差一個(gè)正的比例因子，所以ML與MAP的結(jié)果一致。

這里的Diffuse pdf也被稱(chēng)為improper pdf，它的另外一個(gè)名字叫做noninformative pdf。

一個(gè)例子：

回到上面第（二）節(jié)，已知

的先驗(yàn)分布為 的高斯分布，現(xiàn)令 。我們知道當(dāng)協(xié)方差越來(lái)越大時(shí)，高斯分布會(huì)看起來(lái)越像一個(gè)均勻分布。

此時(shí)，當(dāng) 時(shí)， 的先驗(yàn)分布就是一個(gè)noninformative pdf，最大后驗(yàn)估計(jì)與最大似然估計(jì)的結(jié)果一樣。

因此非貝葉斯方法可以看成貝葉斯方法的一種退化情況。

（4）充分統(tǒng)計(jì)量與似然方程

如果一個(gè)參數(shù)的似然函數(shù)可以分解為如下形式：

那么很顯然，

的最大似然估計(jì)僅僅依賴(lài)于函數(shù) ，而不是 ；這里將 稱(chēng)為充分統(tǒng)計(jì)量。

一個(gè)例子：

考慮以下測(cè)量方程：

其中

相互獨(dú)立。

在

的條件下，觀測(cè) 滿(mǎn)足的分布 為：

其中

相互獨(dú)立。

所以似然函數(shù)可以寫(xiě)為：

對(duì)其分解：

其中：

上述

就是充分統(tǒng)計(jì)量(sufficient statistic)。

對(duì)log-likelihood函數(shù)求導(dǎo)得：

結(jié)論：

相似地可以證明，當(dāng)

時(shí)，也就是觀測(cè)次數(shù)非常多時(shí)，最大后驗(yàn)估計(jì)值趨近于最大似然估計(jì)值：

（5）總結(jié)

參考資料

Bar-Shalom Y, Li X R, Kirubarajan T. Estimation with applications to tracking and navigation: theory algorithms and software[M]. John Wiley & Sons, 2004.

MLE vs MAP: the connection between Maximum Likelihood and Maximum A Posteriori Estimation?wiseodd.github.io

總結(jié)

以上是生活随笔為你收集整理的最大似然估计_状态估计的基本概念（2）最大似然估计和最大后验估计的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。