hit2015spring晨鳧追風(fēng)

歡迎關(guān)注我的博客：http://blog.csdn.NET/hit2015spring

舉個例子：
張無忌和宋青書分別給周芷若送一個糖果，周芷若最后只接受一個糖果，問周芷若接受了誰的糖果。大部分的人肯定會說，當(dāng)然是張無忌了。
這里面就蘊(yùn)含了極大似然的思想。因為周芷若接受張無忌的概率大于宋青書呀，而故事的最后周芷若接受了一顆糖果這個事實發(fā)生了，所以我們自然選擇發(fā)生概率大的那個了。

一個函數(shù)總體的分布是f(x;θ1,θ2,?,θk)。樣本X1,X2,?,Xn是從總體中抽出的樣本，這些樣本獨立同分布（是極大似然的前提條件），則這些樣本(X1,X2,?,Xn)服從的分布就是：
f(x1;θ1,θ2,?,θk)f(x2;θ1,θ2,?,θk)?f(xn;θ1,θ2,?,θk)
因為獨立同分布，所以可以乘。把上面函數(shù)記為L(x1,?,xn;θ1,?,θk)

1°當(dāng)我們固定θ1,?,θk時，看做是x1,?,xn的函數(shù)，L是一個概率密度函數(shù)或者概率函數(shù)。

這樣理解：若L(X1,?,Xn;θ1,?,θk)<L(Y1,?,Yn;θ1,?,θk),則我們可以認(rèn)為(Y1,?,Yn)這個點出現(xiàn)的可能性要大于(X1,?,Xn)這些點出現(xiàn)的概率。

2°當(dāng)我們固定x1,?,xn時，L(X1,?,Xn;θ1,?,θk)看做是θ1,?,θk的函數(shù)，L是一個似然估計，這個函數(shù)在一個固定的觀察結(jié)果x1,?,xn的取值下，參數(shù)值θ1,?,θk可以看成是導(dǎo)致這個結(jié)果出現(xiàn)的原因，因為出現(xiàn)了周芷若接受糖果的事了，所以我們就讓這件事情發(fā)生的概率最大，所以就叫張無忌去送糖果。張無忌就是那個θ??1,?,θ??k。當(dāng)然這里面的θ1,?,θk是有一定的值的（并不是任何值都可以），并不是隨便一個人送糖果都可以的對吧。這里還包含了貝葉斯學(xué)派和頻率主義學(xué)派兩家的觀點問題。頻率主義學(xué)派認(rèn)為參數(shù)是雖然是未知的，但是它是一個客觀存在的固定值，因此可以通過優(yōu)化似然函數(shù)等一些準(zhǔn)則來確定參數(shù)值；但是貝葉斯學(xué)派認(rèn)為參數(shù)是未觀察到的隨機(jī)變量，其本身也可以有分布，因此可以假定參數(shù)服從一個先驗分布，然后基于觀測到的數(shù)據(jù)來計算參數(shù)的后驗分布。上面的估計方法就是傳統(tǒng)的頻率主義學(xué)派所認(rèn)為的觀點，就是一個事件的概率分布參數(shù)是存在的，我們需要優(yōu)化似然函數(shù)這樣的函數(shù)來求解得到參數(shù)。既然能發(fā)生，說明它出現(xiàn)的概率就是大，就像能考到清北的孩子優(yōu)秀的概率肯定大于一般高校的孩子（一般這樣認(rèn)為）。
所以我們就去求當(dāng)滿足取樣值的條件下，似然函數(shù)最大的那個參數(shù)就ok即：

L(X1,?,Xn;θ?1,?,θ?k)=maxθ1,?,θkL(Y1,?,Yn;θ1,?,θk)

即選擇使得似然條件最大的參數(shù)作為原始參數(shù)的估計值。當(dāng)然為了使得似然函數(shù)計算和不至于上溢，選擇對原始似然函數(shù)去對數(shù)，叫做對數(shù)似然，于是就是優(yōu)化下面的函數(shù)

lnL=∑i=1nlnf(Xi;θ1,?,θk)

為了使得L達(dá)到最大，只需對lnL取偏導(dǎo)，就可以建立方程組：

?lnL?θi=0

總結(jié)

以上是生活随笔為你收集整理的极大似然法估计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。