基础理论-极大似然
官方解釋
求未知參數點估計的一種重要方法。思路是設一隨機試驗在已知條件下,有若干個結果A,B,C,…,如果在一次試驗中A發生了,則可認為在已知條件下最有利于A發生,
故應按照已知條件選擇分布的參數,使發生A的概率最大。
?
通俗理解
1. 極大似然是用來求某種分布的參數的方法。那怎么求呢?
2. 在某種情況(模型已知,參數已定)下,我們通過做實驗,甚至可以多做幾次實驗,看看實驗結果,我們希望發生的事情發生了沒,如果沒發生,說明我們實驗的方法不對(不能這么搞,說明前提(假設的分布)錯了),
如果發生了,看看結果是什么樣的,我們的目標是想辦法讓這個結果盡可能發生,也就是讓這個結果發生的概率最大。
?
極大似然的前提是樣本獨立同分布。
此時 P(AB)=P(A)P(B)
?
實例
有一個罐子,里面有黑白兩種球,數目多少不知,兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例,但我們不能把罐中的球全部拿出來數。
現在我們可以每次任意從已經搖勻的罐中拿一個球出來,記錄球的顏色,然后把拿出來的球 再放回罐中。這個過程可以重復,我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重復記錄中,有七十次是白球,請
問罐中白球所占的比例最有可能是多少?
?
很多人馬上就有答案了:70%。而其后的理論支撐是什么呢?
我們假設罐中白球的比例是p,那么黑球的比例就是1-p。因為每抽一個球出來,在記錄顏色之后,我們把抽出的球放回了罐中并搖勻,所以每次抽出來的球的顏色服從同一獨立分布。
這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中,七十次是白球的,三十次為黑球事件的概率是P(樣本結果|Model)。
?P(樣本結果|Model)=P70(1-P)30
重點:這里要注意,實驗結果70白30黑這件事,是在我們假設的情況下發生的,而這件事其實是真實的,我們要做的是讓這件事盡可能發生,即發生的概率接近1,那么怎么盡可能發生,就是調整我們的分布參數。
?
事情盡可能發生,就是發生的概率最大,就是求P的導數
? (P70(1-P)30)'
=70P69(1-P)30+30P70(1-P)29*(-1)
=10P69(1-P)29(7(1-P)-3P)
=10P69(1-P)29(7-10P)
=0
P=0.7 正解
?
?
極大似然牽扯的東西挺多的,后期再更新吧
轉載于:https://www.cnblogs.com/yanshw/p/10448824.html
總結
- 上一篇: Blob
- 下一篇: POJ 1486 Sorting Sli