參考自

• 《統計學習方法》
• 機器學習常見算法個人總結（面試用）
• 從最大似然到EM算法淺解
• （EM算法）The EM Algorithm

簡介

EM算法，即期望極大算法，用于含有隱變量的概率模型的極大似然估計或極大后驗概率估計，它一般分為兩步：第一步求期望(E),第二步求極大(M)。

如果概率模型的變量都是觀測變量，那么給定數據之后就可以直接使用極大似然法或者貝葉斯估計模型參數。
但是當模型含有隱含變量的時候就不能簡單的用這些方法來估計，EM就是一種含有隱含變量的概率模型參數的極大似然估計法。

應用到的地方：混合高斯模型、混合樸素貝葉斯模型、因子分析模型。

算法推導

上述公式相當于決定了L(θ)的下界，而EM算法實際上就是通過不斷求解下界的極大化來逼近對數似然函數極大化的算法。

算法流程

算法流程如下所示：

收斂性

收斂性部分可以主要看（EM算法）The EM Algorithm的推導，最終可以推導得到如下公式：

L(θ(t+1))≥∑i∑ziQ(t)i(z(i))logp(x(i),z(i);θ(t+1))Q(t)i(z(i))≥∑i∑ziQ(t)i(z(i))logp(x(i),z(i);θ(t))Q(t)i(z(i))=L(θ(t))

特點

最大優點是簡單性和普適性

EM算法不能保證找到全局最優點，在應用中，通常選取幾個不同的初值進行迭代，然后對得到的幾個估計值進行比較，從中選擇最好的

EM算法對初值是敏感的，不同初值會得到不同的參數估計值

使用例子

EM算法一個常見的例子就是GMM模型，即高斯混合模型。而高斯混合模型的定義如下：

高斯混合模型是指具有如下形式的概率分布模型：

>P(y|θ)=∑k=1Kαk?(y|θk)>其中，αk是系數，αk≥0,∑k=1Kαk=1;?(y|θk)是高斯分布密度，θk=(μk,σ2k),>?(y|θk)=12π??√σkexp(?(y?μk)22σ2k)>

?(y|θk)稱為第k個分模型。

每個樣本都有可能由k個高斯產生，只不過由每個高斯產生的概率不同而已，因此每個樣本都有對應的高斯分布（k<script type="math/tex" id="MathJax-Element-31">k</script>個中的某一個），此時的隱含變量就是每個樣本對應的某個高斯分布。

GMM的E步公式如下（計算每個樣本對應每個高斯的概率）：

更具體的計算公式為：

M步公式如下（計算每個高斯的比重，均值，方差這3個參數）：

總結

以上是生活随笔為你收集整理的机器学习算法总结--EM算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。