極大似然估計法是求估計的另一種方法。它最早由高斯提出。后來為費歇在1912年的文章中重新提出，并且證明了這個方法的一些性質。極大似然估計這一名稱也是費歇給的。這是一種上前仍然得到廣泛應用的方法。它是建立在極大似然原理的基礎上的一個統計方法，極大似然原理的直觀想法是：一個隨機試驗如有若干個可能的結果A，B，C，…。若在一次試驗中，結果A出現，則一般認為試驗條件對A出現有利，也即A出現的概率很大。

最大似然估計法的基本思想
　　最大似然估計法的思想很簡單：在已經得到試驗結果的情況下，我們應該尋找使這個結果出現的可能性最大的那個 作為真 的估計。
　　我們分兩種情進行分析：

1．離散型總體　
　　設 為離散型隨機變量，其概率分布的形式為 ，則樣本 的概率分布為 ，在 固定時，上式表示 取值 的概率；當 固定時，它是 的函數，我們把它記為 并稱為似然函數。似然函數 的值的大小意味著該樣本值出現的可能性的大小。既然已經得到了樣本值 ，那它出現的可能性應該是大的，即似然函數的值應該是大的。因而我們選擇使 達到最大值的那個 作為真 的估計。

　2．連續型總體
　　設 為連續型隨機變量，其概率密度函數為 則 為從該總體抽出的樣本。因為相互獨立且同分布，于是，樣本的聯合概率密度函數為
 ，在 是固定時，它是在 處的 密度，它的大小與 落在附近的概率的大小成正比，而當樣本值 固定時，它是 的函數。我們仍把它記為并稱為似然函數。類似于剛才的討論，我們選擇使 最大的那個 作為真 的估計。

總之，在有了試驗結果即樣本值 時，似然函數 反映了 的各個不同值導出這個結果的可能性的大小。我們選擇使 達到最大值的那個 作為真 的估計。這種求點估計的方法就叫作最大似然法。

7.2.2　最大似然估計的求法
　　假定現在我們已經觀測到一組樣本 要去估計未知參數 。一種直觀的想法是，哪一組能數值使現在的樣本出現的可能性最大，哪一組參數可能就是真正的參數，我們就要用它作為參數的估計值。這里，假定我們有一組樣本 .如果對參數的兩組不同的值 和，似然函數有如下關系
　　 ,
　　那么，從 又是概率密度函數的角度來看，上式的意義就是參數 使出現的可能性比參數 使 出現的可能性大，當然參數 比更像是真正的參數.這樣的分析就導致了參數估計的一種方法，即用使似然函數達到最大值的點,作為未知參數的估計，這就是所謂的最大似然估計。現在我們討論求最大似然估計的具體方法.為簡單起見，以下記 ,求θ的極大似然估計就歸結為求 的最大值點.由于對數函數是單調增函數，所以
　　　　　　　　　　 　　　　　(7.2.1)

　與 有相同的最大值點。而在許多情況下，求 的最大值點比較簡單，于是，我們就將求 的最大值點改為求 的最大值點.對 關于 求導數，并命其等于零，得到方程組
　　　　　　　　　　, (7.2.2)
　　稱為似然方程組。解這個方程組，又能驗證它是一個極大值點，則它必是 ，也就是 的最大值點，即為所求的最大似然估計。大多常用的重要例子多屬于這種情況。然而在一些情況下，問題比較復雜，似然方程組的解可能不唯一，這時就需要進一步判定哪一個是最大值點。
　　還需要指出，若函數 關于 的導數不存在時，我們就無法得到似然方程組(7.2.2)，這時就必須根據最大似然估計的定義直接去 的最大值點。
　　在一些情況下，我們需要估計 。如果 分別是 的最大似然估計，則稱 為 的最大似然估計。
　　下面我們舉一些例子來說明求最大似然估計的方法。

 例 7.2.1 設從正態總體 抽出樣本 ，這里未知參數為mm 和 （注意我們把 看作一個參數）。似然函數為
　　　　　　　　
　　　　　 =
　　它的對數為
　　 ，
　　似然方程組為

　　由第一式解得
 ， (7.2.3)
代入第二式得
 . (7.2.4)
　　似然方程組有唯一解( ， )，而且它一定是最大值點，這是因為當 或 或∞時，非負函數 。于是 和 的最大似然估計為
　　　　　　　　 ， . (7.2.5)
　　這里，我們用大寫字母表示所有涉及的樣本，因為最大似然估計 和 都是統計量，離開了具體的一次試驗或觀測，它們都是隨機的。
　　例7.2.2　設總體 服從參數為的泊松分布，它的分布律為
　　　　　　　　 ，
　　有了樣本 之后，參數λ的似然函數為
 ，

　　似然方程為
 ，
　　解得
　　　　　　　　　　　　 .
　　因為 的二階導數總是負值，可見，似然函數在 處達到最大值。所以， 是λ的最大似然估計。
　　例7.2.3設總體 為 上的均勻分布，求 的最大似然估計。
　　 的概率密度函數為
　　　　　　　　　
　　對樣本 ，
　　　　　　　　　

　　很顯然，L(a，b)作為a和b的二元函數是不連續的。這時我們不能用似然方程組(7.2.2)來求最大似然估計，而必須從最大似然估計的定義出發，求L(a，b)的最大值。為使L(a，b)達到最大，b－a應該盡量地小，但b又不能小于 ，否則，L(a，b)=0。
　　類似地，a不能大過 。因此，a和b的最大似然估計為
　　　　　　　　　 ，
 .　
　　現在為止，我們以正態分布，泊松分布，均勻分布的參數以及事件發生的概率的估計為例子討論了矩估計和最大似然估計。在我們所舉的例子中，除了均勻分布外，兩種估計都是一致的。矩估計的優點是簡單，只需知道總體的矩，總體的分布形式不必知道。而最大似然估計則必須知道總體分布形式，并且在一般情況下，似然方程組的求解較復雜，往往需要在計算機上通過迭代運算才能計算出其近似解。

本文出處:http://bbs.sciencenet.cn/home.php?mod=space&uid=491809&do=blog&id=400893

總結

以上是生活随笔為你收集整理的最大似然估计 高斯分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。