#前言
這個筆記是北大那位老師課程的學習筆記，講的概念淺顯易懂，非常有利于我們掌握基本的概念，從而掌握相關的技術。
#basic concepts
EM算法的核心是，首先假設模型符合什么分布，然后計算相關參數，再根據計算出的結果，重新劃分樣本分布，然后再計算相關參數，直到收斂為止。
公式證明比較繁瑣，這里就不貼了，附上一個python實現的EM

#! -*- coding=utf-8 -*-#模擬兩個正態分布的均值估計from numpy import * import numpy as np import random import copySIGMA = 6 EPS = 0.0001 #生成方差相同,均值不同的樣本 def generate_data(): Miu1 = 20Miu2 = 40N = 1000X = mat(zeros((N,1)))for i in range(N):temp = random.uniform(0,1)if(temp > 0.5):X[i] = temp*SIGMA + Miu1else:X[i] = temp*SIGMA + Miu2return X#EM算法 def my_EM(X):k = 2N = len(X)Miu = np.random.rand(k,1)Posterior = mat(zeros((N,2)))dominator = 0numerator = 0#先求后驗概率for iter in range(1000):for i in range(N):dominator = 0for j in range(k):dominator = dominator + np.exp(-1.0/(2.0*SIGMA**2) * (X[i] - Miu[j])**2)#print dominator,-1/(2*SIGMA**2) * (X[i] - Miu[j])**2,2*SIGMA**2,(X[i] - Miu[j])**2#returnfor j in range(k):numerator = np.exp(-1.0/(2.0*SIGMA**2) * (X[i] - Miu[j])**2)Posterior[i,j] = numerator/dominator oldMiu = copy.deepcopy(Miu)#最大化 for j in range(k):numerator = 0dominator = 0for i in range(N):numerator = numerator + Posterior[i,j] * X[i]dominator = dominator + Posterior[i,j]Miu[j] = numerator/dominatorprint (abs(Miu - oldMiu)).sum() #print '\n'if (abs(Miu - oldMiu)).sum() < EPS:print Miu,iterbreakif __name__ == '__main__':X = generate_data()my_EM(X)

總結

以上是生活随笔為你收集整理的机器学习导论（张志华）：EM算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。