最大似然法,英文名稱是Maximum Likelihood Method，在統(tǒng)計(jì)中應(yīng)用很廣。這個(gè)方法的思想最早由高斯提出來，后來由菲舍加以推廣并命名。

最大似然法是要解決這樣一個(gè)問題：給定一組數(shù)據(jù)和一個(gè)參數(shù)待定的模型，如何確定模型的參數(shù)，使得這個(gè)確定參數(shù)后的模型在所有模型中產(chǎn)生已知數(shù)據(jù)的概率最 大。通俗一點(diǎn)講，就是在什么情況下最有可能發(fā)生已知的事件。舉個(gè)例子，假如有一個(gè)罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數(shù)。現(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個(gè)球出來，記錄球的顏色，然后把拿出來的球 再放回罐中。這個(gè)過程可以重復(fù)，我們可以用記錄的球的顏色來估計(jì)罐中黑白球的比例。假如在前面的一百次重復(fù)記錄中，有七十次是白球，請問罐中白球所占的比 例最有可能是多少？

我想很多人立馬有答案：70%。這個(gè)答案是正確的。可是為什么呢？（常識(shí)嘛！這還要問？！）其實(shí)，在很多常識(shí)的背后，都有相應(yīng)的理論支持。在上面的問題 中，就有最大似然法的支持。

在很久以前的一個(gè)下午，自己在圖書館看書，書中講到了同一獨(dú)立分布（i.i.d., identical and independent distribution），與概率相關(guān)。當(dāng)時(shí)已經(jīng)聽說最大似然法很長時(shí)間了，最大似然法在不同場合應(yīng)用的結(jié)論看過不少，但自己還沒有真正地學(xué)習(xí)和應(yīng)用 過。突然想到了上面的例子（類似的例子在自己以后的閱讀很常見，當(dāng)時(shí)沒有意識(shí)到自己到底以前看過類似的例子沒有），決定自己動(dòng)手算一算。

下面會(huì)有一些數(shù)學(xué)，我知道西河比較深，大牛比較多，看了不要見笑。有意見和建議盡管提。

我們假設(shè)罐中白球的比例是p，那么黑球的比例就是1-p。因?yàn)槊砍橐粋€(gè)球出來，在記錄顏色之后，我們把抽出的球放回了罐中并搖勻，所以每次抽出來的球的顏 色服從同一獨(dú)立分布。這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中，七十次是白球的概率是P(Data | M)，這里Data是所有的數(shù)據(jù)，M是所給出的模型，表示每次抽出來的球是白色的概率為p。如果第一抽樣的結(jié)果記為x1，第二抽樣的結(jié)果記為x2，。。。 那么Data = (x1,x2,...,x100)。這樣，
P(Data | M)
= P(x1,x2,...,x100|M)
= P(x1|M)P(x2|M)...P(x100|M)
= p^70(1-p)^30.
那么p在取什么值的時(shí)候，P(Data |M)的值最大呢？將p^70(1-p)^30對p求導(dǎo)，并其等于零。
70p^69(1-p)^30-p^70*30(1-p)^29=0。
解方程可以得到p=0.7。
在邊界點(diǎn)p=0,1，P(Data|M)=0。所以當(dāng)p=0.7時(shí)，P(Data|M)的值最大。這和我們常識(shí)中按抽樣中的比例來計(jì)算的結(jié)果是一樣的。

當(dāng)時(shí)，自己推到完這些，心情很高興，感覺自己理解了最大似然法。接著想到了連續(xù)變量。

假如我們有一組連續(xù)變量的采樣值（x1,x2,...,xn），我們知道這組數(shù)據(jù)服從正態(tài)分布，標(biāo)準(zhǔn)差已知。請問這個(gè)正態(tài)分布的期望值為多少時(shí)，產(chǎn)生這個(gè) 已有數(shù)據(jù)的概率最大？
P(Data | M) = ??

求導(dǎo)，u=(x1+x2+...+xn)/n.這個(gè)正態(tài)分布的期望值，就是這組數(shù)據(jù)的均值。在我們的日常生活和工作中，我們經(jīng)常會(huì)用到平均值，這是有道理 的，可以用最大似然法來解釋。如果數(shù)據(jù)服從正態(tài)分布，這是最可能的數(shù)據(jù)。

當(dāng)我第一次自己推導(dǎo)出這些的時(shí)候，心中有一種豁然開朗、恍然大悟的感覺：最大似然法就這樣！

最大似然法原理簡單，應(yīng)用很廣。舉個(gè)例子，這樣的情況在生活會(huì)經(jīng)常遇到。假如人們會(huì)感染一種病毒，有一種測試方法，在被測試者已感染這個(gè)病毒時(shí)，測試結(jié)果 為陽性的概率為95%。在被測試者沒有感染這個(gè)病毒時(shí)，測試結(jié)果為陽性的概率為2%。現(xiàn)在，有一個(gè)人的測試結(jié)果為陽性，問這個(gè)人感染了病毒嗎？根據(jù)最大似 然法，如果一個(gè)人感染病毒，95%的測試結(jié)果會(huì)為陽性；而如果這個(gè)人沒有感染病毒，只有2%的測試結(jié)果會(huì)為陽性，所以這個(gè)人應(yīng)該是已經(jīng)感染病毒了。

最大似然法應(yīng)用廣泛，但是經(jīng)常會(huì)受到一種批評(píng)，而且對于這種批評(píng)，尤其在數(shù)據(jù)量比較小的時(shí)候，最大似然法的支持者沒有很多充分的反駁理由：在最大似然法 中，只考慮了由一個(gè)模型產(chǎn)生一個(gè)已知數(shù)據(jù)的概率，而沒有考慮模型本身的概率。相對應(yīng)的考慮了模型本身概率的方法，是貝葉斯方法（Bayesian method)。

在上面測試病毒的例子中，如果我們知道在整體人群中，只有1%人會(huì)感染這種病毒，那么，根據(jù)貝葉斯方法，這個(gè)被測試者只有1/3左右的可能性感染了病毒 {1%*95%/(1%*95%+99%*2%)=32.4%}
在這里，我們看到先驗(yàn)概率對結(jié)果的影響很大。

不過，當(dāng)數(shù)據(jù)量比較大的時(shí)候，先驗(yàn)概率的影響就會(huì)減小。比如，人們在被檢測出感染了一個(gè)嚴(yán)重的病毒后，一般會(huì)去其他醫(yī)院復(fù)查。假如同一個(gè)人在三家醫(yī)院進(jìn)行 了獨(dú)立的檢查，結(jié)果都是陽性。那么，這個(gè)人真正感染了病毒的概率有多大？在這個(gè)人感染病毒時(shí)，出現(xiàn)這種檢測結(jié)果的可能性為95%*95%*95% = 85.7%；而在這個(gè)人沒有感染病毒時(shí)，出現(xiàn)這種檢測結(jié)果的可能性為2%*2%*2% = 0.000008。根據(jù)最大似然法，我們應(yīng)選擇這個(gè)人感染了病毒。

根據(jù)貝葉斯方法，這個(gè)人感染病毒的概率為1%*95%*95%*95%/(1%*95%*95%*95%+99%*2%*2%*2%) = 99.9%。

當(dāng)然，當(dāng)時(shí)自己主要體會(huì)了同一獨(dú)立分布在最大似然法中的要求。在以后的一個(gè)應(yīng)用中，才對“模型已知，參數(shù)未定”這一要求有了進(jìn)一步的認(rèn)識(shí)。link

from:?http://www.zhizhihu.com/html/y2010/1520.html

總結(jié)

以上是生活随笔為你收集整理的Maximum Likelihood Method极大似然估计的朴素理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。