最大似然估計MLE

MLE（Maximum Likelihood Estimation）就是利用已知的樣本結果，反推最有可能(最大概率)導致這樣結果的參數值的計算過程。直白來講，就是給定了一定的數據，假定知道數據是從某種分布中隨機抽取出來的，但是不知道這個分布具體的參數值，即"模型已定，參數未知"，MLE就可以用來估計模型的參數。MLE的目標是找出一組參數(模型中的參數)，使得模型產出觀察數據的概率最大。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

假定盒子中有黑白兩種球，數目未知，黑白球比例也未知，現只知道隨機的10次有放回抽樣情況，求盒子中抽取出白球的概率：

盒子編號12345678910

1	黑	黑	黑	黑	黑	黑	黑	黑	黑	黑
2	黑	黑	白	白	黑	黑	黑	白	黑	黑
3	黑	白	黑	黑	白	黑	白	黑	白	白
4	白	黑	白	白	黑	白	黑	白	白	白
5	白	白	白	白	白	白	白	白	白	白

MLE求解過程：

編寫似然函數(即聯合概率函數)（似然函數：在樣本固定的情況下，樣本出現的概率與參數θ之間的函數）；

對似然函數取對數，并整理；(一般都進行)

求導數；

解似然方程

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

上述例子解法

盒子中只有黑球和白球，假定白球的比例為p，那么黑球的比例為1-p。因為采取的是有放回的隨機抽取，那么每次抽取出來的球的顏色服從同一獨立分布情況，即每次抽取之間是獨立互不影響的。

最大后驗概率估計 MAP

最大后驗概率估計（Maximum A Posteriori Estimation，MAP）和MLE一樣，都是通過樣本估計參數 θ 的值。在MLE中，是使似然函數P(x∣θ)最大的時候參數θ 的值，MLE中假設先驗概率是等值的。而在MAP中，則是求 θ 使P(x∣θ)P(θ) 的值最大，這也就是要求θ值不僅僅是讓似然函數最大，同時要求 θ 本身出現的先驗概率也得比較大。可以認為MAP是貝葉斯算法的一種應用。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

總結

以上是生活随笔為你收集整理的机器学习之最大似然估计（MLE）和最大后验概率估计（MAP）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。