hit2015spring晨鳧追風

歡迎關注我的博客：http://blog.csdn.NET/hit2015spring

舉個例子：
張無忌和宋青書分別給周芷若送一個糖果，周芷若最后只接受一個糖果，問周芷若接受了誰的糖果。大部分的人肯定會說，當然是張無忌了。
這里面就蘊含了極大似然的思想。因為周芷若接受張無忌的概率大于宋青書呀，而故事的最后周芷若接受了一顆糖果這個事實發生了，所以我們自然選擇發生概率大的那個了。

一個函數總體的分布是f(x;θ1,θ2,?,θk)。樣本X1,X2,?,Xn是從總體中抽出的樣本，這些樣本獨立同分布（是極大似然的前提條件），則這些樣本(X1,X2,?,Xn)服從的分布就是：
f(x1;θ1,θ2,?,θk)f(x2;θ1,θ2,?,θk)?f(xn;θ1,θ2,?,θk)
因為獨立同分布，所以可以乘。把上面函數記為L(x1,?,xn;θ1,?,θk)

1°當我們固定θ1,?,θk時，看做是x1,?,xn的函數，L是一個概率密度函數或者概率函數。

這樣理解：若L(X1,?,Xn;θ1,?,θk)<L(Y1,?,Yn;θ1,?,θk),則我們可以認為(Y1,?,Yn)這個點出現的可能性要大于(X1,?,Xn)這些點出現的概率。

2°當我們固定x1,?,xn時，L(X1,?,Xn;θ1,?,θk)看做是θ1,?,θk的函數，L是一個似然估計，這個函數在一個固定的觀察結果x1,?,xn的取值下，參數值θ1,?,θk可以看成是導致這個結果出現的原因，因為出現了周芷若接受糖果的事了，所以我們就讓這件事情發生的概率最大，所以就叫張無忌去送糖果。張無忌就是那個θ??1,?,θ??k。當然這里面的θ1,?,θk是有一定的值的（并不是任何值都可以），并不是隨便一個人送糖果都可以的對吧。這里還包含了貝葉斯學派和頻率主義學派兩家的觀點問題。頻率主義學派認為參數是雖然是未知的，但是它是一個客觀存在的固定值，因此可以通過優化似然函數等一些準則來確定參數值；但是貝葉斯學派認為參數是未觀察到的隨機變量，其本身也可以有分布，因此可以假定參數服從一個先驗分布，然后基于觀測到的數據來計算參數的后驗分布。上面的估計方法就是傳統的頻率主義學派所認為的觀點，就是一個事件的概率分布參數是存在的，我們需要優化似然函數這樣的函數來求解得到參數。既然能發生，說明它出現的概率就是大，就像能考到清北的孩子優秀的概率肯定大于一般高校的孩子（一般這樣認為）。
所以我們就去求當滿足取樣值的條件下，似然函數最大的那個參數就ok即：

L(X1,?,Xn;θ?1,?,θ?k)=maxθ1,?,θkL(Y1,?,Yn;θ1,?,θk)

即選擇使得似然條件最大的參數作為原始參數的估計值。當然為了使得似然函數計算和不至于上溢，選擇對原始似然函數去對數，叫做對數似然，于是就是優化下面的函數

lnL=∑i=1nlnf(Xi;θ1,?,θk)

為了使得L達到最大，只需對lnL取偏導，就可以建立方程組：

?lnL?θi=0

總結

以上是生活随笔為你收集整理的极大似然法估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。