單維的高斯模型：

求解一維的高斯模型參數時，我們可以使用最大似然法，其對數似然函數的表達式(log-likelyhood)如下：

對均值和方差求偏導可以求的高斯分布中的

在混合高斯模型中，

記

其對數似然函數如下：

對數函數中有加法，求導數方式很難求得參數

。

因此我們引入隱變量

，并且使用迭代的方式來求參數 。

隱變量

，表示第i個數據屬于哪一個高斯分布。

EM的迭代公式如下：

這里的

是上一次迭代得到的參數，是一個常數， 只有是優化的變量 ，記其中的積分式為

(本文暫時不證明該公式的收斂性)

現在來定義混合高斯模型中的

和 :

將上面兩個表達是帶入到EM算法公式里去，限制考慮積分里的式子，也就是E-step：

只考慮求和符號中

的那一部分：

再考慮所有的

的情況：

因為

,所以：

交換求和符號順序

將 改為

此時再對

三個參數求導。

:

:

最后得到的結果為：

總結

以上是生活随笔為你收集整理的混合高斯模型_EM算法求解高斯混合模型(GMM)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。