什么都不要想，先來感受一個例子：

公司有男同事=[A，B，C]，同時有很多漂亮的女職員=[小甲，小章，小乙]。（請勿對號入座）你迫切的懷疑這些男同事跟這些女職員有“問題”。為了科學的驗證你的猜想，你進行了細致的觀察。于是：

觀察數據：

• 1、A，小甲、小乙一起出門了；
• 2、B，小甲、小章一起出門了；
• 3、B，小章、小乙一起出門了；
• 4、C，小乙一起出門了；

收集到了數據，你開始了神秘的EM計算。

初始化：你覺得三個同事一樣帥，一樣有錢，三個美女一樣漂亮，每個人都可能跟每個人有關系。所以，每個男同事跟每個女職員“有問題”的概率都是1/3;

EM算法中的E步驟：

• 1、A跟小甲出去過了 1/2 * 1/3 = 1/6 次，跟小乙也出去了1/6次；
• 2、B跟小甲，小章也都出去了1/6次；
• 3、B跟小乙，小章又出去了1/6次；
• 4、C跟小乙出去了1/3次；

總計：

• A跟小甲出去了1/6次，跟小乙也出去了1/6次 ;
• B跟小甲，小乙出去了1/6次，跟小章出去了1/3次；
• C跟小乙出去了1/3。

EM算法中的M步驟 - 你開始更新你的八卦：

• A跟小甲，小乙有問題的概率都是1/6 / (1/6 + 1/6) = 1/2；
• B跟小甲，小乙有問題的概率是1/6 / (1/6+1/6+1/6+1/6) = 1/4;
• B跟小章有問題的概率是(1/6+1/6)/(1/6 * 4) = 1/2;
• C跟小乙有問題的概率是1。

EM算法中的E步驟 - 然后你又開始根據最新的概率計算了。

• 1、A跟小甲出去了 1/2 * 1/2 = 1/4 次，跟小乙也出去 1/4 次；
• 2、B跟小甲出去了1/2 * 1/4 = 1/8 次， 跟小章出去了 1/2 * 1/2 = 1/4 次；
• 3、B跟小乙出去了1/2 * 1/4 = 1/8 次， 跟小章又出去了 1/2 * 1/2 = 1/4 次；
• 4、C跟小乙出去了1次；

EM算法中的M步驟 - 重新反思你的八卦：

• A跟小甲，小乙有問題的概率都是1/4/ (1/4 + 1/4) = 1/2；
• B跟小甲，小乙是 1/8 / (1/8 + 1/4 + 1/4 + 1/8) = 1/6 ;
• B跟小章是 2/3 ;
• C跟小乙的概率是1。

你繼續計算，反思，總之，最后，你得到了真相。

通過上面的計算我們可以得知，EM算法實際上是一個不停迭代計算的過程，根據我們事先估計的先驗概率A，得出一個結果B，再根據結果B，再計算得到結果A，然后反復直到這個過程收斂。

可以想象飯店的后方大廚，炒了兩盤一樣的菜，現在，菜炒好后從鍋中倒入盤，不可能一下子就分配均勻，所以先往兩盤中倒入，然后發現B盤菜少了，就從A中勻出一些，A少了，從B勻.....

EM算法

EM算法（Expectation Maximization Algorithm，最大期望算法）是一種迭代類型的算法，是一種在概率模型中尋找參數最大似然估計或者最大后驗估計的算法，其中概率模型依賴于無法觀測的隱藏變量。

EM算法流程：

• 初始化分布參數
• 重復下列兩個操作直到收斂：
• E步驟：估計隱藏變量的概率分布期望函數
• M步驟：根據期望函數重新估計分布參數

EM算法原理：

給定的m個訓練樣本?，樣本間獨立，找出樣本的模型參數 θ ，極大化模型分布的對數似然函數如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

假定樣本數據中存在隱含數據??，此時極大化模型分布的對數似然函數如下：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

令z的分布為 Q(z;θ) ，并且 Q(z;θ)≥0 ，那么有如下公式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

Jensen不等式：

如果函數f為凸函數，那么存在下列公式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

如下圖所示：

若??則

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

根據Jensen不等式的特性，當下列式子的值為常數的時候，l(θ) 函數才能取等號。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

EM算法流程：

樣本數據??，聯合分布 ?，條件分布，最大迭代次數J。

隨機初始化模型參數θ的初始值

開始EM算法的迭代處理：

E步：計算聯合分布的條件概率期望

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

M步：極大化L函數，得到?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

如果??已經收斂，則算法結束，輸出最終的模型參數θ ，否則繼續迭代處理

EM算法收斂證明

EM算法的收斂性只要我們能夠證明對數似然函數的值在迭代的過程中是增加的即可，即證明下式成立：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

證明過程如下：

? ? ? ? ? ? ? ?

?

高斯混合模型

GMM（Gaussian Mixture Model，高斯混合模型）是指該算法由多個高斯模型線性疊加混合而成。每個高斯模型稱之為component。GMM算法描述的是數據的本身存在的一種分布。

GMM算法常用于聚類應用中，component的個數就可以認為是類別的數量。

假定GMM由k個Gaussian分布線性疊加而成，那么概率密度函數如下：

對數似然函數：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

E step：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
?

M step：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
?

對均值求偏導：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

對方差求偏導：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

對概率使用拉格朗日乘子法求解：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

總結

以上是生活随笔為你收集整理的机器学习之 EM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。