極大似然估計的樸素理解 2010年04月20日???科研,?讀書?? 共 2356字 ??評論數 28?? 被圍觀 12,437+ <a href="http://www.zhizhihu.com/wp-content/uploads/2009/09/6.jpg" class="cboxElement" rel="example4" 1520"="" style="text-decoration: none; color: rgb(1, 150, 227);">

似然估計

最大似然法,英文名稱是Maximum Likelihood Method，在統計中應用很廣。這個方法的思想最早由高斯提出來，后來由菲舍加以推廣并命名。

最大似然法是要解決這樣一個問題：給定一組數據和一個參數待定的模型，如何確定模型的參數，使得這個確定參數后的模型在所有模型中產生已知數據的概率最 大。通俗一點講，就是在什么情況下最有可能發生已知的事件。舉個例子，假如有一個罐子，里面有黑白兩種顏色的球，數目多少不知，兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數。現在我們可以每次任意從已經搖勻的罐中拿一個球出來，記錄球的顏色，然后把拿出來的球 再放回罐中。這個過程可以重復，我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重復記錄中，有七十次是白球，請問罐中白球所占的比 例最有可能是多少？

我想很多人立馬有答案：70%。這個答案是正確的。可是為什么呢？（常識嘛！這還要問？！）其實，在很多常識的背后，都有相應的理論支持。在上面的問題 中，就有最大似然法的支持。

在很久以前的一個下午，自己在圖書館看書，書中講到了同一獨立分布（i.i.d., identical and independent distribution），與概率相關。當時已經聽說最大似然法很長時間了，最大似然法在不同場合應用的結論看過不少，但自己還沒有真正地學習和應用 過。突然想到了上面的例子（類似的例子在自己以后的閱讀很常見，當時沒有意識到自己到底以前看過類似的例子沒有），決定自己動手算一算。

下面會有一些數學，我知道西河比較深，大牛比較多，看了不要見笑。有意見和建議盡管提。

我們假設罐中白球的比例是p，那么黑球的比例就是1-p。因為每抽一個球出來，在記錄顏色之后，我們把抽出的球放回了罐中并搖勻，所以每次抽出來的球的顏 色服從同一獨立分布。這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中，七十次是白球的概率是P(Data | M)，這里Data是所有的數據，M是所給出的模型，表示每次抽出來的球是白色的概率為p。如果第一抽樣的結果記為x1，第二抽樣的結果記為x2，。。。 那么Data = (x1,x2,...,x100)。這樣，
P(Data | M)
= P(x1,x2,...,x100|M)
= P(x1|M)P(x2|M)...P(x100|M)
= p^70(1-p)^30.
那么p在取什么值的時候，P(Data |M)的值最大呢？將p^70(1-p)^30對p求導，并其等于零。
70p^69(1-p)^30-p^70*30(1-p)^29=0。
解方程可以得到p=0.7。
在邊界點p=0,1，P(Data|M)=0。所以當p=0.7時，P(Data|M)的值最大。這和我們常識中按抽樣中的比例來計算的結果是一樣的。

當時，自己推到完這些，心情很高興，感覺自己理解了最大似然法。接著想到了連續變量。

總結

以上是生活随笔為你收集整理的极大似然估计的朴素理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。