最大似然估計(jì)[編輯] ?

原文地址：

http://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1

最大似然估計(jì)，也稱為最大概似估計(jì)，是一種統(tǒng)計(jì)方法，它用來(lái)求一個(gè)樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個(gè)方法最早是遺傳學(xué)家以及統(tǒng)計(jì)學(xué)家羅納德·費(fèi)雪爵士在1912年至1922年間開(kāi)始使用的。

?

目錄

??[隱藏]?

• 1?預(yù)備知識(shí)
• 2?最大似然估計(jì)的原理
  • 2.1?注意
• 3?例子
  • 3.1?離散分布，離散有限參數(shù)空間
  • 3.2?離散分布，連續(xù)參數(shù)空間
  • 3.3?連續(xù)分布，連續(xù)參數(shù)空間
• 4?性質(zhì)
  • 4.1?泛函不變性（Functional invariance）
  • 4.2?漸近線行為
  • 4.3?偏差
• 5?參見(jiàn)
• 6?外部資源

?

預(yù)備知識(shí)[編輯]

下邊的討論要求讀者熟悉概率論中的基本定義，如概率分布、概率密度函數(shù)、隨機(jī)變量、數(shù)學(xué)期望等。同時(shí)，還要求讀者熟悉連續(xù)實(shí)函數(shù)的基本技巧，比如使用微分來(lái)求一個(gè)函數(shù)的極值（即極大值或極小值）。

最大似然估計(jì)的原理[編輯]

給定一個(gè)概率分布，假定其概率密度函數(shù)（連續(xù)分布）或概率質(zhì)量函數(shù)（離散分布）為，以及一個(gè)分布參數(shù)，我們可以從這個(gè)分布中抽出一個(gè)具有個(gè)值的采樣，通過(guò)利用，我們就能計(jì)算出其概率：

但是，我們可能不知道的值，盡管我們知道這些采樣數(shù)據(jù)來(lái)自于分布。那么我們?nèi)绾尾拍芄烙?jì)出呢？一個(gè)自然的想法是從這個(gè)分布中抽出一個(gè)具有個(gè)值的采樣，然后用這些采樣數(shù)據(jù)來(lái)估計(jì).

一旦我們獲得，我們就能從中找到一個(gè)關(guān)于的估計(jì)。最大似然估計(jì)會(huì)尋找關(guān)于的最可能的值（即，在所有可能的取值中，尋找一個(gè)值使這個(gè)采樣的“可能性”最大化）。這種方法正好同一些其他的估計(jì)方法不同，如的非偏估計(jì)，非偏估計(jì)未必會(huì)輸出一個(gè)最可能的值，而是會(huì)輸出一個(gè)既不高估也不低估的值。

要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計(jì)法，我們首先要定義似然函數(shù):

并且在的所有取值上，使這個(gè)函數(shù)最大化(一階導(dǎo)數(shù))。這個(gè)使可能性最大的值即被稱為的最大似然估計(jì)。

注意[編輯]

• 這里的似然函數(shù)是指不變時(shí)，關(guān)于的一個(gè)函數(shù)。
• 最大似然估計(jì)函數(shù)不一定是惟一的，甚至不一定存在。

例子[編輯]

離散分布，離散有限參數(shù)空間[編輯]

考慮一個(gè)拋硬幣的例子。假設(shè)這個(gè)硬幣正面跟反面輕重不同。我們把這個(gè)硬幣拋80次（即，我們獲取一個(gè)采樣并把正面的次數(shù)記下來(lái)，正面記為H，反面記為T）。并把拋出一個(gè)正面的概率記為，拋出一個(gè)反面的概率記為（因此，這里的即相當(dāng)于上邊的）。假設(shè)我們拋出了49個(gè)正面，31個(gè)反面，即49次H，31次T。假設(shè)這個(gè)硬幣是我們從一個(gè)裝了三個(gè)硬幣的盒子里頭取出的。這三個(gè)硬幣拋出正面的概率分別為,?,?.這些硬幣沒(méi)有標(biāo)記，所以我們無(wú)法知道哪個(gè)是哪個(gè)。使用最大似然估計(jì)，通過(guò)這些試驗(yàn)數(shù)據(jù)（即采樣數(shù)據(jù)），我們可以計(jì)算出哪個(gè)硬幣的可能性最大。這個(gè)似然函數(shù)取以下三個(gè)值中的一個(gè)：

我們可以看到當(dāng)時(shí)，似然函數(shù)取得最大值。這就是的最大似然估計(jì)。

離散分布，連續(xù)參數(shù)空間[編輯]

現(xiàn)在假設(shè)例子1中的盒子中有無(wú)數(shù)個(gè)硬幣，對(duì)于中的任何一個(gè)， 都有一個(gè)拋出正面概率為的硬幣對(duì)應(yīng)，我們來(lái)求其似然函數(shù)的最大值：

其中. 我們可以使用微分法來(lái)求最值。方程兩邊同時(shí)對(duì)取微分，并使其為零。

在不同比例參數(shù)值下一個(gè)二項(xiàng)式過(guò)程的可能性曲線t?= 3,?n?= 10；其最大似然估計(jì)值發(fā)生在其眾數(shù)并在曲線的最大值處。

其解為,?，以及.使可能性最大的解顯然是（因?yàn)楹瓦@兩個(gè)解會(huì)使可能性為零）。因此我們說(shuō)最大似然估計(jì)值為.

這個(gè)結(jié)果很容易一般化。只需要用一個(gè)字母代替49用以表達(dá)伯努利試驗(yàn)中的被觀察數(shù)據(jù)（即樣本）的“成功”次數(shù)，用另一個(gè)字母代表伯努利試驗(yàn)的次數(shù)即可。使用完全同樣的方法即可以得到最大似然估計(jì)值:

對(duì)于任何成功次數(shù)為，試驗(yàn)總數(shù)為的伯努利試驗(yàn)。

連續(xù)分布，連續(xù)參數(shù)空間[編輯]

最常見(jiàn)的連續(xù)概率分布是正態(tài)分布，其概率密度函數(shù)如下：

現(xiàn)在有個(gè)正態(tài)隨機(jī)變量的采樣點(diǎn)，要求的是一個(gè)這樣的正態(tài)分布，這些采樣點(diǎn)分布到這個(gè)正態(tài)分布可能性最大（也就是概率密度積最大，每個(gè)點(diǎn)更靠近中心點(diǎn)），其個(gè)正態(tài)隨機(jī)變量的采樣的對(duì)應(yīng)密度函數(shù)（假設(shè)其獨(dú)立并服從同一分布）為：

或：

,

這個(gè)分布有兩個(gè)參數(shù)：.有人可能會(huì)擔(dān)心兩個(gè)參數(shù)與上邊的討論的例子不同，上邊的例子都只是在一個(gè)參數(shù)上對(duì)可能性進(jìn)行最大化。實(shí)際上，在兩個(gè)參數(shù)上的求最大值的方法也差不多：只需要分別把可能性在兩個(gè)參數(shù)上最大化即可。當(dāng)然這比一個(gè)參數(shù)麻煩一些，但是一點(diǎn)也不復(fù)雜。使用上邊例子同樣的符號(hào)，我們有.

最大化一個(gè)似然函數(shù)同最大化它的自然對(duì)數(shù)是等價(jià)的。因?yàn)樽匀粚?duì)數(shù)log是一個(gè)連續(xù)且在似然函數(shù)的值域內(nèi)嚴(yán)格遞增的上凸函數(shù)。[注意：可能性函數(shù)（似然函數(shù)）的自然對(duì)數(shù)跟信息熵以及Fisher信息聯(lián)系緊密。]求對(duì)數(shù)通常能夠一定程度上簡(jiǎn)化運(yùn)算，比如在這個(gè)例子中可以看到：

這個(gè)方程的解是.這的確是這個(gè)函數(shù)的最大值，因?yàn)樗抢镱^惟一的一階導(dǎo)數(shù)等于零的點(diǎn)并且二階導(dǎo)數(shù)嚴(yán)格小于零。

同理，我們對(duì)求導(dǎo)，并使其為零。

這個(gè)方程的解是.

因此，其關(guān)于的最大似然估計(jì)為：

.

性質(zhì)[編輯]

泛函不變性（Functional invariance）[編輯]

如果是的一個(gè)最大似然估計(jì)，那么的最大似然估計(jì)是.函數(shù)g無(wú)需是一個(gè)一一映射。請(qǐng)參見(jiàn)George Casella與Roger L. Berger所著的Statistical Inference定理Theorem 7.2.10的證明。（中國(guó)大陸出版的大部分教材上也可以找到這個(gè)證明。）

漸近線行為[編輯]

最大似然估計(jì)函數(shù)在采樣樣本總數(shù)趨于無(wú)窮的時(shí)候達(dá)到最小方差（其證明可見(jiàn)于Cramer-Rao lower bound）。當(dāng)最大似然估計(jì)非偏時(shí)，等價(jià)的，在極限的情況下我們可以稱其有最小的均方差。 對(duì)于獨(dú)立的觀察來(lái)說(shuō)，最大似然估計(jì)函數(shù)經(jīng)常趨于正態(tài)分布。

偏差[編輯]

最大似然估計(jì)的偏差是非常重要的。考慮這樣一個(gè)例子，標(biāo)有1到n的n張票放在一個(gè)盒子中。從盒子中隨機(jī)抽取票。如果n是未知的話，那么n的最大似然估計(jì)值就是抽出的票上標(biāo)有的n，盡管其期望值的只有.為了估計(jì)出最高的n值，我們能確定的只能是n值不小于抽出來(lái)的票上的值。

轉(zhuǎn)載于:https://www.cnblogs.com/Anykong/p/3741066.html

總結(jié)

以上是生活随笔為你收集整理的极大似然估计 摘自维基百科的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。