與k-means一樣，給定的訓練樣本是，我們將隱含類別標簽用表示。與k-means的硬指定不同，我們首先認為是滿足一定的概率分布的，這里我們認為滿足多項式分布，，其中，有k個值{1,…,k}可以選取。而且我們認為在給定后，滿足多值高斯分布，即。由此可以得到聯合分布。

????? 整個模型簡單描述為對于每個樣例，我們先從k個類別中按多項式分布抽取一個，然后根據所對應的k個多值高斯分布中的一個生成樣例，。整個過程稱作混合高斯模型。注意的是這里的仍然是隱含隨機變量。模型中還有三個變量和。最大似然估計為。對數化后如下：

?????

????? 這個式子的最大值是不能通過前面使用的求導數為0的方法解決的，因為求的結果不是close form。但是假設我們知道了每個樣例的，那么上式可以簡化為：

?????

?????? 這時候我們再來對和進行求導得到：

?????

????? 就是樣本類別中的比率。是類別為j的樣本特征均值，是類別為j的樣例的特征的協方差矩陣。

實際上，當知道后，最大似然估計就近似于高斯判別分析模型（Gaussian discriminant analysis model）了。所不同的是GDA中類別y是伯努利分布，而這里的z是多項式分布，還有這里的每個樣例都有不同的協方差矩陣，而GDA中認為只有一個。

????? 之前我們是假設給定了，實際上是不知道的。那么怎么辦呢？考慮之前提到的EM的思想，第一步是猜測隱含類別變量z，第二步是更新其他參數，以獲得最大的最大似然估計。用到這里就是：

循環下面步驟，直到收斂： { ????? （E步）對于每一個i和j，計算 ????????????????? ????? （M步），更新參數： ????????????????? }

????? 在E步中，我們將其他參數看作常量，計算的后驗概率，也就是估計隱含類別變量。估計好后，利用上面的公式重新計算其他參數，計算好后發現最大化最大似然估計時，值又不對了，需要重新計算，周而復始，直至收斂。

????? 的具體計算公式如下：

?????

????? 這個式子利用了貝葉斯公式。

????? 這里我們使用代替了前面的，由簡單的0/1值變成了概率值。

????? 對比K-means可以發現，這里使用了“軟”指定，為每個樣例分配的類別是有一定的概率的，同時計算量也變大了，每個樣例i都要計算屬于每一個類別j的概率。與K-means相同的是，結果仍然是局部最優解。對其他參數取不同的初始值進行多次計算不失為一種好方法。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的混合高斯模型（Mixtures of Gaussians）和EM算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。