先大概講下：極大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來(lái)評(píng)估模型參數(shù)的方法，即：“模型已定，參數(shù)未知”。簡(jiǎn)單而言，假設(shè)我們要統(tǒng)計(jì)全國(guó)人口的身高，首先假設(shè)這個(gè)身高服從服從正態(tài)分布，但是該分布的均值與方差未知。我們沒(méi)有人力與物力去統(tǒng)計(jì)全國(guó)每個(gè)人的身高，但是可以通過(guò)采樣，獲取部分人的身高，然后通過(guò)極大似然估計(jì)來(lái)獲取上述假設(shè)中的正態(tài)分布的均值與方差。
極大似然估計(jì)中采樣需滿足一個(gè)很重要的假設(shè)，就是所有的采樣都是獨(dú)立同分布的。

舉個(gè)別人博客中的例子，假如有一個(gè)罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來(lái)數(shù)。現(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個(gè)球出來(lái)，記錄球的顏色，然后把拿出來(lái)的球 再放回罐中。這個(gè)過(guò)程可以重復(fù)，我們可以用記錄的球的顏色來(lái)估計(jì)罐中黑白球的比例。假如在前面的一百次重復(fù)記錄中，有七十次是白球，請(qǐng)問(wèn)罐中白球所占的比例最有可能是多少？很多人馬上就有答案了：70%。而其后的理論支撐是什么呢？
我們假設(shè)罐中白球的比例是p，那么黑球的比例就是1-p。因?yàn)槊砍橐粋€(gè)球出來(lái)，在記錄顏色之后，我們把抽出的球放回了罐中并搖勻，所以每次抽出來(lái)的球的顏 色服從同一獨(dú)立分布。這里我們把一次抽出來(lái)球的顏色稱為一次抽樣。題目中在一百次抽樣中，七十次是白球的概率是P(Data|M)，這里Data是所有的數(shù)據(jù)，M是所給出的模型，表示每次抽出來(lái)的球是白色的概率為p。如果第一抽樣的結(jié)果記為x1，第二抽樣的結(jié)果記為x2... 那么Data=(x1,x2,…,x100)。這樣，

　　　　　　　　　　　　　　　　P(Data|M)=P(x1,x2,...,x100|M)=P(x1|M)P(x2|M)…P(x100|M)=p70(1?p)30. 　　　　
那么 p在取什么值的時(shí)候，P(Data|M)的值最大呢？將 p70(1?p)30對(duì) p求導(dǎo)，并其等于零。
70?p69(1?p)30?p70?30?(1?p)29=0。
解方程可以得到： p=0.7。

注意：極大似然估計(jì)只考慮某個(gè)模型能產(chǎn)生某個(gè)給定觀察序列的概率。而未考慮該模型本身的概率。這點(diǎn)與貝葉斯估計(jì)區(qū)別。

概率和似然

下面是通俗的理解：
舉一個(gè)經(jīng)典而又簡(jiǎn)單的例子，擲硬幣：現(xiàn)在我們討論的是似然，但為了避免和我們想討論的概率混淆，我們把硬幣的“正面”出現(xiàn)的概率稱為硬幣的參數(shù)。
概率：有了硬幣的參數(shù)，就可以去推測(cè)拋硬幣的各種情況的可能性，這稱為概率。比如就可以推測(cè)扔10次硬幣，出現(xiàn)5次“正面”朝上的概率。
似然：我們對(duì)硬幣的參數(shù)并不清楚，要通過(guò)拋硬幣的情況去推測(cè)硬幣的參數(shù)，這稱為似然。簡(jiǎn)單講就是根據(jù)現(xiàn)有的事實(shí)或者樣本結(jié)果反過(guò)來(lái)推斷參數(shù)。
極大似然估計(jì)：
所謂最大似然估計(jì)，就是假設(shè)硬幣的參數(shù)，然后計(jì)算實(shí)驗(yàn)結(jié)果的概率是多少，概率越大的，那么這個(gè)假設(shè)的參數(shù)就越可能是真的。所以似然是這樣一個(gè)·過(guò)程，在有似然函數(shù)的前提下，似然是推測(cè)參數(shù)的分布，而求極大似然的問(wèn)題就成了求似然函數(shù)的極值。
在試驗(yàn)過(guò)程中：

• 隨著實(shí)驗(yàn)次數(shù)的增多，可選的參數(shù)的分布越集中。越多的實(shí)驗(yàn)結(jié)果，讓參數(shù)越來(lái)越明確。

數(shù)學(xué)名詞：
一次實(shí)驗(yàn)：拋硬幣10次，出現(xiàn)6次“花”，就是一次實(shí)驗(yàn)。
二項(xiàng)分布：拋硬幣10次，出現(xiàn)6次“花”的概率為0.25，出現(xiàn)5次“花”的概率為0.21，所有的可能的結(jié)果（比如拋硬幣10次，出現(xiàn)11次“花”，這就是不可能）的概率，放在一起就是二項(xiàng)分布
而極大似然估計(jì)真正的用途是針對(duì)多次實(shí)驗(yàn)。。。
通過(guò)多次實(shí)驗(yàn)進(jìn)行最大似然估計(jì)：
上面的二項(xiàng)分布用通俗點(diǎn)的話來(lái)說(shuō)，就是描述了拋10次硬幣的結(jié)果的概率，其中“花”出現(xiàn)的概率為 θ 。
針對(duì)上面的二項(xiàng)分布，現(xiàn)在進(jìn)行6次實(shí)驗(yàn)（也就是總共6次，每次拋10次硬幣）
我們用 x1,x2,?,xn表示每次實(shí)驗(yàn)結(jié)果，因?yàn)槊看螌?shí)驗(yàn)都是獨(dú)立的，所以似然函數(shù)可以寫(xiě)作（得到這個(gè)似然函數(shù)很簡(jiǎn)單，獨(dú)立事件的聯(lián)合概率，直接相乘就可以得到）：
L(θ)=f(x1∣θ)f(x2∣θ)?f(xn∣θ)
f(xn∣θ)表示在同一個(gè)參數(shù)下的實(shí)驗(yàn)結(jié)果，也可以認(rèn)為是條件概率。
下面是對(duì)實(shí)驗(yàn)的圖像化：

圖中的{3,5,4,2,5,4}是在參數(shù)θ=0.37的時(shí)候的6次實(shí)驗(yàn)結(jié)果，第一次的結(jié)果是出現(xiàn)3次“花”，第二次的結(jié)果是出現(xiàn)5次“花”，以此類推。而θ是每個(gè)硬幣出現(xiàn)“花的概率”。從上圖可以看出推測(cè)的θ值和給出的值很接近，之所以有差別是因?yàn)閷?shí)驗(yàn)本身具有二項(xiàng)隨機(jī)性，相信試驗(yàn)次數(shù)越多，推測(cè)會(huì)越準(zhǔn)確。

以上就是對(duì)極大似然估計(jì)的一些理解，具體的參數(shù)計(jì)算方法就很簡(jiǎn)單了。

參考： http://www.matongxue.com/madocs/447.html#/madoc

總結(jié)

以上是生活随笔為你收集整理的极大似然估计的理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。