11.EM算法

本文主要轉(zhuǎn)自：https://www.cnblogs.com/pinard/p/6912636.html

EM算法也稱期望最大化（Expectation-Maximum,簡稱EM）算法，它是一個(gè)基礎(chǔ)算法，是很多機(jī)器學(xué)習(xí)領(lǐng)域算法的基礎(chǔ)，比如隱式馬爾科夫算法（HMM）， LDA主題模型的變分推斷等等。本文就對EM算法的原理做一個(gè)總結(jié)。

11.1.EM算法要解決的問題

我們經(jīng)常會從樣本觀察數(shù)據(jù)中，找出樣本的模型參數(shù)。 最常用的方法就是極大化模型分布的對數(shù)似然函數(shù)。

但是在一些情況下，我們得到的觀察數(shù)據(jù)有未觀察到的隱含數(shù)據(jù)，此時(shí)我們未知的有隱含數(shù)據(jù)和模型參數(shù)，因而無法直接用極大化對數(shù)似然函數(shù)得到模型分布的參數(shù)。怎么辦呢？這就是EM算法可以派上用場的地方了。

EM算法解決這個(gè)的思路是使用啟發(fā)式的迭代方法，既然我們無法直接求出模型分布參數(shù)，那么我們可以先猜想隱含數(shù)據(jù)（EM算法的E步），接著基于觀察數(shù)據(jù)和猜測的隱含數(shù)據(jù)一起來極大化對數(shù)似然，求解我們的模型參數(shù)（EM算法的M步)。由于我們之前的隱藏?cái)?shù)據(jù)是猜測的，所以此時(shí)得到的模型參數(shù)一般還不是我們想要的結(jié)果。不過沒關(guān)系，我們基于當(dāng)前得到的模型參數(shù)，繼續(xù)猜測隱含數(shù)據(jù)（EM算法的E步），然后繼續(xù)極大化對數(shù)似然，求解我們的模型參數(shù)（EM算法的M步)。以此類推，不斷的迭代下去，直到模型分布參數(shù)基本無變化，算法收斂，找到合適的模型參數(shù)。

從上面的描述可以看出，EM算法是迭代求解最大值的算法，同時(shí)算法在每一次迭代時(shí)分為兩步，E步和M步。一輪輪迭代更新隱含數(shù)據(jù)和模型分布參數(shù)，直到收斂，即得到我們需要的模型參數(shù)。

一個(gè)最直觀了解EM算法思路的是K-Means算法，見之前寫的K-Means聚類算法原理（http://www.cnblogs.com/pinard/p/6164214.html）。在K-Means聚類時(shí)，每個(gè)聚類簇的質(zhì)心是隱含數(shù)據(jù)。我們會假設(shè)K個(gè)初始化質(zhì)心，即EM算法的E步；然后計(jì)算得到每個(gè)樣本最近的質(zhì)心，并把樣本聚類到最近的這個(gè)質(zhì)心，即EM算法的M步。重復(fù)這個(gè)E步和M步，直到質(zhì)心不再變化為止，這樣就完成了K-Means聚類。

當(dāng)然，K-Means算法是比較簡單的，實(shí)際中的問題往往沒這么簡單。

11.2.EM算法的推導(dǎo)

11.3.EM算法流程

11.4.EM算法的收斂性思考

11.5.EM算法的一些思考

如果我們從算法思想的角度來思考EM算法，我們可以發(fā)現(xiàn)我們的算法里已知的是觀察數(shù)據(jù)，未知的是隱含數(shù)據(jù)和模型參數(shù)，在E步，我們所做的事情是固定模型參數(shù)的值，優(yōu)化隱含數(shù)據(jù)的分布，而在M步，我們所做的事情是固定隱含數(shù)據(jù)分布，優(yōu)化模型參數(shù)的值。比較下其他的機(jī)器學(xué)習(xí)算法，其實(shí)很多算法都有類似的思想。比如SMO算法（支持向量機(jī)原理(四)SMO算法原理（http://www.cnblogs.com/pinard/p/6111471.html）），坐標(biāo)軸下降法(Lasso回歸算法： 坐標(biāo)軸下降法與最小角回歸法小結(jié)(http://www.cnblogs.com/pinard/p/6018889.html)), 都使用了類似的思想來求解問題。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的11.EM算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。