EM算法是一種迭代方法，可以看作用坐標下降法來最大化對數似然估計下界的過程。

一、引入

（一）算法介紹

1、例題

有三枚硬幣，ABC他們出現正面的概率分別是Π，p和q。進行如下投擲實驗：先投擲A，再根據其結果選出硬幣B或者C，A出現正面選擇B，反面選擇C，然后投擲選出的硬幣，將擲出正面記作1，反面記作0，獨立地重復N次實驗（該問題n=10），觀測結果如下：1，1，0，1，0，0，1，0，1，1

要求：只能觀測到擲硬幣的結果，不能觀測到擲硬幣的過程，問如何估計三硬幣正面出現的概率，即三硬幣模型的參數

P(y|λ)=ΣzP(y,z|λ)=ΣzP(z|λ)P(y|z,λ)
=
y是觀測變量，表示一次實驗的測試結果是1或者0，隨機變量z是隱變量，表示未觀測到的擲硬幣A的結果；λ=（Π，p, q）是參數模型。


求極大似然估計沒有解析式，只有通過迭代的方法求解。EM可以完成該任務，

2、EM算法流程

(1)選取參數初值記作λ（0）=（Π(0),p(0),q(0)）,通過迭代計算參數的估計值，直至收斂，EM算法的第i+1次迭代如下。
(2)E步
(3)M步：計算模型參數的新估計值

🐖：Yj表示每一次的觀測結果，每次計算都要把所有實驗結果都代進迭代式
假設三個參數的初值都是0.5，那么對于y=1或者y=0來說，E步對應的值都是0.5
計算過程如下：

EM算法注意點

1、對初值敏感
2、當迭代過程中的兩步的值無限趨近的時候，則停止迭代
3、E步求的是Q函數及其最大
4、M步的每次迭代使近似函數增大或達到局部極值。

(二)、算法導出

為什么EM算法能實現對觀測數據的極大似然估計呢？通過近似求解觀測數據的對數似然函數的極大化問題導出EM算法，可以看到EM算法的作用。
極大化

難點在于上式中包含未觀測數據并由包含和的對數。
EM算法的核心是通過迭代逐步近似極大化L函數，每一次新的估計值都期望它可以讓L值增大，逐步達到最大值。

總結

以上是生活随笔為你收集整理的李航《统计学习方法》之EM算法及其推广的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。