從第九章開始，學習總結的東西有所不同了，第2-8章是分類問題，都屬于監督學習，第9章EM算法是非監督學習。本文主要是總結EM算法的應用以及處理問題的過程和原理推導。

EM算法

EM算法(期望極大算法 Expectation Maximization Algorithm)是一種迭代算法。當我們面對概率模型的時候，既有觀測變量，又含有隱變量或者潛在變量。如果概率模型的變量都是觀測變量，那么給定數據，可以直接使用極大似然估計法或者貝葉斯估計模型估計參數，但是，當模型含有隱變量的時候，就不能簡單地這樣估計，此時，在1977年，Dempster等人總結提出EM算法：E步：求期望(expectation);M步：求極大值(maximization)。

推導過程

上述闡述了EM算法，可是為什么EM算法能近似實現對觀測數據的極大似然估計呢？下面通過近似求解觀測數據的對數似然函數的極大化問題來導出EM算法，從而了解EM算法的作用。

在推導過程中用到的公式：

EM算法在高斯混合模型學習中的應用

高斯混合模型

推導過程

明確隱變量，寫出完全數據的對數似然函數

EM算法的E步，確定Q函數

確定EM算法的M步

EM算法的推廣

GEM算法

總結

以上是生活随笔為你收集整理的em算法详细例子及推导_第九章-EM算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。