EM算法（Expectation Maximization Algorithm）詳解

• 主要內(nèi)容?
  
  • EM算法簡(jiǎn)介
  • 預(yù)備知識(shí)?
    
    • 極大似然估計(jì)
    • Jensen不等式
  • EM算法詳解?
    
    • 問(wèn)題描述
    • EM算法推導(dǎo)
    • EM算法流程
  • EM算法優(yōu)缺點(diǎn)以及應(yīng)用

---

1、EM算法簡(jiǎn)介?
??EM算法是一種迭代優(yōu)化策略，由于它的計(jì)算方法中每一次迭代都分兩步，其中一個(gè)為期望步（E步），另一個(gè)為極大步（M步），所以算法被稱為EM算法（Expectation Maximization Algorithm）。EM算法受到缺失思想影響，最初是為了解決數(shù)據(jù)缺失情況下的參數(shù)估計(jì)問(wèn)題，其算法基礎(chǔ)和收斂有效性等問(wèn)題在Dempster，Laird和Rubin三人于1977年所做的文章Maximum likelihood from incomplete data via the EM algorithm中給出了詳細(xì)的闡述。其基本思想是：首先根據(jù)己經(jīng)給出的觀測(cè)數(shù)據(jù)，估計(jì)出模型參數(shù)的值；然后再依據(jù)上一步估計(jì)出的參數(shù)值估計(jì)缺失數(shù)據(jù)的值，再根據(jù)估計(jì)出的缺失數(shù)據(jù)加上之前己經(jīng)觀測(cè)到的數(shù)據(jù)重新再對(duì)參數(shù)值進(jìn)行估計(jì)，然后反復(fù)迭代，直至最后收斂，迭代結(jié)束。?
??EM算法作為一種數(shù)據(jù)添加算法，在近幾十年得到迅速的發(fā)展，主要源于當(dāng)前科學(xué)研究以及各方面實(shí)際應(yīng)用中數(shù)據(jù)量越來(lái)越大的情況下，經(jīng)常存在數(shù)據(jù)缺失或者不可用的的問(wèn)題，這時(shí)候直接處理數(shù)據(jù)比較困難，而數(shù)據(jù)添加辦法有很多種，常用的有神經(jīng)網(wǎng)絡(luò)擬合、添補(bǔ)法、卡爾曼濾波法等等，但是EM算法之所以能迅速普及主要源于它算法簡(jiǎn)單，穩(wěn)定上升的步驟能非?？煽康卣业健白顑?yōu)的收斂值”。隨著理論的發(fā)展，EM算法己經(jīng)不單單用在處理缺失數(shù)據(jù)的問(wèn)題，運(yùn)用這種思想，它所能處理的問(wèn)題更加廣泛。有時(shí)候缺失數(shù)據(jù)并非是真的缺少了，而是為了簡(jiǎn)化問(wèn)題而采取的策略，這時(shí)EM算法被稱為數(shù)據(jù)添加技術(shù)，所添加的數(shù)據(jù)通常被稱為“潛在數(shù)據(jù)”，復(fù)雜的問(wèn)題通過(guò)引入恰當(dāng)?shù)臐撛跀?shù)據(jù)，能夠有效地解決我們的問(wèn)題。

2、預(yù)備知識(shí)?
??介紹EM算法之前，我們需要介紹極大似然估計(jì)以及Jensen不等式。?
2.1 極大似然估計(jì)?
（1）舉例說(shuō)明：經(jīng)典問(wèn)題——學(xué)生身高問(wèn)題?
??我們需要調(diào)查我們學(xué)校的男生和女生的身高分布。 假設(shè)你在校園里隨便找了100個(gè)男生和100個(gè)女生。他們共200個(gè)人。將他們按照性別劃分為兩組，然后先統(tǒng)計(jì)抽樣得到的100個(gè)男生的身高。假設(shè)他們的身高是服從正態(tài)分布的。但是這個(gè)分布的均值和方差我們不知道，這兩個(gè)參數(shù)就是我們要估計(jì)的。記作。?
??問(wèn)題：我們知道樣本所服從的概率分布的模型和一些樣本，需要求解該模型的參數(shù)。如圖1?

?
圖1
??我們已知的有兩個(gè)：樣本服從的分布模型、隨機(jī)抽取的樣本；我們未知的有一個(gè)：模型的參數(shù)。根據(jù)已知條件，通過(guò)極大似然估計(jì)，求出未知參數(shù)。總的來(lái)說(shuō)：極大似然估計(jì)就是用來(lái)估計(jì)模型參數(shù)的統(tǒng)計(jì)學(xué)方法。?
（2）如何估計(jì)?
??問(wèn)題數(shù)學(xué)化：設(shè)樣本集 ,其中 ?， 為概率密度函數(shù)，表示抽到男生 （的身高）的概率。由于100個(gè)樣本之間獨(dú)立同分布，所以我同時(shí)抽到這100個(gè)男生的概率就是他們各自概率的乘積，也就是樣本集 中各個(gè)樣本的聯(lián)合概率，用下式表示：?

??這個(gè)概率反映了，在概率密度函數(shù)的參數(shù)是 時(shí)，得到 這組樣本的概率。 我們需要找到一個(gè)參數(shù) ，使得抽到 這組樣本的概率最大，也就是說(shuō)需要其對(duì)應(yīng)的似然函數(shù) 最大。滿足條件的 叫做 的最大似然估計(jì)量，記為?

（3）求最大似然函數(shù)估計(jì)值的一般步驟?
??首先，寫出似然函數(shù)：?

??然后，對(duì)似然函數(shù)取對(duì)數(shù)：?

??接著，對(duì)上式求導(dǎo)，令導(dǎo)數(shù)為0，得到似然方程；?
??最后，求解似然方程，得到的參數(shù) 即為所求。?
2.2 Jensen不等式 ?
??設(shè) 是定義域?yàn)閷?shí)數(shù)的函數(shù)，如果對(duì)于所有的實(shí)數(shù) ， 的二次導(dǎo)數(shù)大于等于0，那么 是凸函數(shù)。?
??Jensen不等式表述如下：如果 是凸函數(shù)， 是隨機(jī)變量，那么： 。當(dāng)且僅當(dāng) 是常量時(shí)，上式取等號(hào)。其中， 表示 的數(shù)學(xué)期望。?
??例如，圖2中，實(shí)線 是凸函數(shù)， 是隨機(jī)變量，有0.5的概率是 ，有0.5的概率是 。 的期望值就是 和 的中值了，圖中可以看到 成立。?
?? 注： ?
??1、Jensen不等式應(yīng)用于凹函數(shù)時(shí)，不等號(hào)方向反向。當(dāng)且僅當(dāng) 是常量時(shí)，Jensen不等式等號(hào)成立。?
??2、關(guān)于凸函數(shù)，百度百科中是這樣解釋的——“對(duì)于實(shí)數(shù)集上的凸函數(shù)，一般的判別方法是求它的二階導(dǎo)數(shù)，如果其二階導(dǎo)數(shù)在區(qū)間上非負(fù)，就稱為凸函數(shù)（向下凸）”。關(guān)于函數(shù)的凹凸性，百度百科中是這樣解釋的——“中國(guó)數(shù)學(xué)界關(guān)于函數(shù)凹凸性定義和國(guó)外很多定義是反的。國(guó)內(nèi)教材中的凹凸，是指曲線，而不是指函數(shù)，圖像的凹凸與直觀感受一致，卻與函數(shù)的凹凸性相反。只要記住“函數(shù)的凹凸性與曲線的凹凸性相反”就不會(huì)把概念搞亂了”。關(guān)于凹凸性這里，確實(shí)解釋不統(tǒng)一，博主暫時(shí)以函數(shù)的二階導(dǎo)數(shù)大于零定義凸函數(shù)，此處不會(huì)過(guò)多影響EM算法的理解，只要能夠確定何時(shí) 或者 就可以。?
?
圖2

3、EM算法詳解?
3.1 問(wèn)題描述?
??我們目前有100個(gè)男生和100個(gè)女生的身高，共200個(gè)數(shù)據(jù)，但是我們不知道這200個(gè)數(shù)據(jù)中哪個(gè)是男生的身高，哪個(gè)是女生的身高。假設(shè)男生、女生的身高分別服從正態(tài)分布，則每個(gè)樣本是從哪個(gè)分布抽取的，我們目前是不知道的。這個(gè)時(shí)候，對(duì)于每一個(gè)樣本，就有兩個(gè)方面需要猜測(cè)或者估計(jì)： 這個(gè)身高數(shù)據(jù)是來(lái)自于男生還是來(lái)自于女生？男生、女生身高的正態(tài)分布的參數(shù)分別是多少？EM算法要解決的問(wèn)題正是這兩個(gè)問(wèn)題。如圖3：?

?
圖3
3.2 EM算法推導(dǎo) ?
??樣本集 ，包含 個(gè)獨(dú)立的樣本；每個(gè)樣本 對(duì)應(yīng)的類別 是未知的（即上文中每個(gè)樣本屬于哪個(gè)分布是未知的）；我們需要估計(jì)概率模型 的參數(shù) ，即需要找到適合的 和 讓 最大。根據(jù)上文 2.1 極大似然估計(jì) 中的似然函數(shù)取對(duì)數(shù)所得 ，可以得到如下式：?

其中，(1)式是根據(jù) 的邊緣概率計(jì)算得來(lái)，(2)式是由(1)式分子分母同乘一個(gè)數(shù)得到，(3)式是由(2)式根據(jù)Jensen不等式得到。?
??這里簡(jiǎn)單介紹一下(2)式到(3)式的轉(zhuǎn)換過(guò)程：由于 為 的期望，且 為凹函數(shù)，根據(jù)Jensen不等式（當(dāng) 是凸函數(shù)時(shí)， 成立；當(dāng) 是凹函數(shù)時(shí)， 成立）可由(2)式得到(3)式。此處若想更加詳細(xì)了解，可以參考博客 the EM algorithm 。?
??上述過(guò)程可以看作是對(duì) （即 ）求了下界。對(duì)于 的選擇，有多種可能，那么哪種更好呢？假設(shè) 已經(jīng)給定，那么 的值就取決于 和 了。我們可以通過(guò)調(diào)整這兩個(gè)概率使下界不斷上升，以逼近 的真實(shí)值，那么什么時(shí)候算是調(diào)整好了呢？當(dāng)不等式變成等式時(shí)，說(shuō)明我們調(diào)整后的概率能夠等價(jià)于 了。按照這個(gè)思路，我們要找到等式成立的條件。根據(jù)Jensen不等式，要想讓等式成立，需要讓隨機(jī)變量變成常數(shù)值，這里得到：?
為常數(shù)，不依賴于 。對(duì)此式做進(jìn)一步推導(dǎo)：由于 ，則有 （多個(gè)等式分子分母相加不變，則認(rèn)為每個(gè)樣例的兩個(gè)概率比值都是 ），因此得到下式：?

??至此，我們推出了在固定其他參數(shù) 后， 的計(jì)算公式就是后驗(yàn)概率，解決了 如何選擇的問(wèn)題。這一步就是E步，建立 的下界。接下來(lái)的M步，就是在給定 后，調(diào)整 ，去極大化 的下界（在固定 后，下界還可以調(diào)整的更大）。這里讀者可以參考文章 EM算法 。?
3.3 EM算法流程 ?
??初始化分布參數(shù) ； 重復(fù)E、M步驟直到收斂：?
??E步驟：根據(jù)參數(shù) 初始值或上一次迭代所得參數(shù)值來(lái)計(jì)算出隱性變量的后驗(yàn)概率（即隱性變量的期望），作為隱性變量的現(xiàn)估計(jì)值：?

??M步驟：將似然函數(shù)最大化以獲得新的參數(shù)值：?

4、EM算法優(yōu)缺點(diǎn)以及應(yīng)用?
??優(yōu)點(diǎn)：簡(jiǎn)介中已有介紹，這里不再贅述。?
??缺點(diǎn)：對(duì)初始值敏感：EM算法需要初始化參數(shù)，而參數(shù)的選擇直接影響收斂效率以及能否得到全局最優(yōu)解。?
??EM算法的應(yīng)用：k-means算法是EM算法思想的體現(xiàn)，E步驟為聚類過(guò)程，M步驟為更新類簇中心。GMM（高斯混合模型）也是EM算法的一個(gè)應(yīng)用，感興趣的小伙伴可以查閱相關(guān)資料。

總結(jié)

以上是生活随笔為你收集整理的EM算法（Expectation Maximization Algorithm）详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。