Probabilistic in Robotics Ⅱ: Bayesian Estimation/Inference

統計推斷旨在根據可觀察到的事物來了解不可觀察到的事物。即，統計推斷是基于一個總體或一些樣本中的某些觀察變量（通常是影響）得出結論的過程，例如關于總體或樣本中某些潛在變量（通常是原因）的準時估計、置信區間或區間估計等。

先前我們已經介紹了最大似然估計MLE和最大后驗概率估計MAP

劉浚嘉：機器人學的概率方法——最大似然估計MLE與最大后驗概率估計MAP?zhuanlan.zhihu.com

貝葉斯估計/推斷

貝葉斯估計(Bayesian Estimation)和貝葉斯推斷(Bayesian Inference)大致是一個意思，Inference范圍更大一點，包括區間估計、假設檢驗等；Estimation則更傾向于指參數估計。
—— polimi 某統計大佬

我們在上一章強調貝葉斯派與頻率派世界觀差異的時候，著重描述了貝葉斯派對于參數是隨機變量的看法，然而最大后驗概率估計MAP得到的值卻是個定值

，是參數這個變量概率分布中的一個特定點。這聽起來沒有很好的貫徹貝葉斯派的精神。

貝葉斯推斷是個更徹底的貝葉斯派，是MAP的進一步擴展。不再估計一個特定的參數

，而是要估計它的分布。

在貝葉斯推斷中，樣本經驗分布

不再被省略，因為這不再是專門對參數 的估計。

離散型貝葉斯公式：

連續型貝葉斯公式：

很明顯，這并不是一個好處理的公式，尤其是連續型的分母（歸一化因子）

(全概率公式展開，還記得嗎 )

手算貝葉斯推斷

我們先試著做做，還是之前的扔硬幣，不過樣本變了點，正六反四：

以下內容來自貝葉斯估計、最大似然估計、最大后驗概率估計

使用共軛先驗分布，就可以更好的解決這個問題。二項分布參數的共軛先驗是Beta分布，由于 θ 的似然函數服從二項分布，因此在貝葉斯推斷中，假設 θ 的先驗分布服從

，Beta分布的概率密度公式為：

因此，貝葉斯公式可寫作：

從上面的公式可以看出，

。其中 B 函數，也稱Beta函數，是一個標準化常量，用來使整個概率的積分為1。 就是貝葉斯推斷的結果。

如果使用貝葉斯推斷得到的 θ 分布存在一個有限均值，則可以用后驗分布的期望作為 θ 的估計值。假設

，在這種情況下，先驗分布會在0.5處取得最大值，則 ，Beta(θ|9,7)的曲線如下圖：

從上圖可以看出，在

的情況下，θ的估計值 應該在0.6附近。根據Beta分布的數學期望公式 ，我們可以和MAP一樣求出一個參數的特值：

求解步驟：

• 確定參數的似然函數
• 確定參數的先驗分布，應是后驗分布的共軛先驗
• 確定參數的后驗分布函數
• 根據貝葉斯公式求解參數的后驗分布

對測試集的估計

這個功能是貝葉斯推斷獨有的。貝葉斯估計要解決的不是如何估計參數，而是用來估計新測量數據出現的概率，對于新出現的數據

：

那么實際項目中，我們如何計算貝葉斯推斷呢？

• 基于采樣的馬爾可夫鏈蒙特卡羅(Markov Chain Monte Carlo，簡稱MCMC)方法
• 基于近似的變分推斷(Variational Inference，簡稱VI)方法

劉浚嘉：PR Sampling Ⅰ: 重要性采樣及python實現?zhuanlan.zhihu.com

更多系列文章見關聯庫

Reinforcement-Learning-in-Robotics?github.com

Reference

Bayesian inference problem, MCMC and variational inference

貝葉斯估計、最大似然估計、最大后驗概率估計

總結

以上是生活随笔為你收集整理的最大后验估计_PR Ⅱ：贝叶斯估计/推断及其与MAP的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。