極大似然估計(jì)，通俗理解來說，就是在假定整體模型分布已知，利用已知的樣本結(jié)果信息，反推最具有可能（最大概率）導(dǎo)致這些樣本結(jié)果出現(xiàn)的模型參數(shù)值！

換句話說，極大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來評估模型參數(shù)的方法，即：“模型已定，參數(shù)未知”。

可能有小伙伴就要說了，還是有點(diǎn)抽象呀。我們這樣想，一當(dāng)模型滿足某個分布，它的參數(shù)值我通過極大似然估計(jì)法求出來的話。比如正態(tài)分布中公式如下：

如果我通過極大似然估計(jì)，得到模型中參數(shù)u和sigma的值，那么這個模型的均值和方差以及其它所有的信息我們是不是就知道了呢。確實(shí)是這樣的。

極大似然估計(jì)中采樣需滿足一個重要的假設(shè)，就是所有的采樣都是獨(dú)立同分布的。

下面我通過倆個例子來幫助理解一下最大似然估計(jì)

例子一

別人博客的一個例子。

假如有一個罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數(shù)。

現(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個球出來，記錄球的顏色，然后把拿出來的球 再放回罐中。這個過程可以重復(fù)，我們可以用記錄的球的顏色來估計(jì)罐中黑白球的比例。假如在前面的一百次重復(fù)記錄中，有七十次是白球，請問罐中白球所占的比例最有可能是多少？

很多人馬上就有答案了：70%。而其后的理論支撐是什么呢？

我們假設(shè)罐中白球的比例是p，那么黑球的比例就是1-p。因?yàn)槊砍橐粋€球出來，在記錄顏色之后，我們把抽出的球放回了罐中并搖勻，所以每次抽出來的球的顏色服從同一獨(dú)立分布。

這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中，七十次是白球的,三十次為黑球事件的概率是P(樣本結(jié)果|Model)。

如果第一次抽象的結(jié)果記為x1,第二次抽樣的結(jié)果記為x2…那么樣本結(jié)果為(x1,x2…,x100)。這樣，我們可以得到如下表達(dá)式：

P(樣本結(jié)果|Model)

= P(x1,x2,…,x100|Model)

= P(x1|Mel)P(x2|M)…P(x100|M)

= $p^{70}(1?p{)}^{30}$.

好的，我們已經(jīng)有了觀察樣本結(jié)果出現(xiàn)的概率表達(dá)式了。那么我們要求的模型的參數(shù)，也就是求的式中的p。

那么我們怎么來求這個p呢？按照什么標(biāo)準(zhǔn)來求這個p呢？

不同的p，直接導(dǎo)致P（樣本結(jié)果|Model）的不同。

好的，我們的p實(shí)際上是有無數(shù)多種分布的。如下：

那么在上面p的分布條件下求出 p^70(1-p)30為 7.8 * 10^(-31)

p的分布也可以是如下：

那么也可以求出$p^{70}(1?p{)}^{30}$為2.95* 10^(-27)

那么問題來了，既然有無數(shù)種分布可以選擇，極大似然估計(jì)應(yīng)該按照什么原則去選取這個分布呢？

答：采取的方法是讓這個樣本結(jié)果出現(xiàn)的可能性最大，也就是使得p^70(1-p)30值最大，那么我們就可以看成是p的方程，求導(dǎo)即可！

那么既然事情已經(jīng)發(fā)生了，為什么不讓這個出現(xiàn)的結(jié)果的可能性最大呢？使得發(fā)生的樣本出現(xiàn)的可能性最大。這就是最大似然估計(jì)的核心。

我們想辦法讓觀察樣本出現(xiàn)的概率最大，轉(zhuǎn)換為數(shù)學(xué)問題就是使得：

$p^{70}(1?p{)}^{30}$最大，這太簡單了，未知數(shù)只有一個p，我們令其導(dǎo)數(shù)為0，即可求出p為70%，與我們一開始認(rèn)為的70%是一致的。其中蘊(yùn)含著我們的數(shù)學(xué)思想在里面。

例子二

假設(shè)我們要統(tǒng)計(jì)全國人民的年均收入，首先假設(shè)這個收入服從服從正態(tài)分布，但是該分布的均值與方差未知。我們沒有人力與物力去統(tǒng)計(jì)全國每個人的收入。我們國家有10幾億人口呢？那么豈不是沒有辦法了？

不不不，有了極大似然估計(jì)之后，我們可以采用嘛！我們比如選取一個城市，或者一個鄉(xiāng)鎮(zhèn)的人口收入，作為我們的觀察樣本結(jié)果。然后通過最大似然估計(jì)來獲取上述假設(shè)中的正態(tài)分布的參數(shù)。

有了參數(shù)的結(jié)果后，我們就可以知道該正態(tài)分布的期望和方差了。也就是我們通過了一個小樣本的采樣，反過來知道了全國人民年收入的一系列重要的數(shù)學(xué)指標(biāo)量！

那么我們就知道了極大似然估計(jì)的核心關(guān)鍵就是對于一些情況，樣本太多，無法得出分布的參數(shù)值，可以采樣小樣本后，利用極大似然估計(jì)獲取假設(shè)中分布的參數(shù)值。就相當(dāng)于得到了模型的一系列重要數(shù)學(xué)指標(biāo)了。

總結(jié)

以上是生活随笔為你收集整理的为什么“极大似然估计表达式的极值”可以用来估计参数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。