文章目錄

• • 1. EM算法
  • 2. EM算法收斂
  • 3. EM算法應用
  • 4. EM算法的推廣
  • 5. sklearn.mixture.GaussianMixture

• 概率模型有時既有觀測變量（observable variable），又有隱變量或潛在變量（latent variable）
• 如果概率模型的變量都是觀測變量，那么給定數據，可以直接用極大似然估計法，或貝葉斯估計法估計模型參數。
• 當模型含有隱變量時，不能簡單地使用這些估計方法。EM算法就是含有隱變量的概率模型參數的極大似然估計法，或極大后驗概率估計法。

EM 算法與初值的選擇有關，選擇不同的初值可能得到不同的參數估計值

1. EM算法

• EM算法是含有隱變量的概率模型極大似然估計或極大后驗概率估計的迭代算法
• 含有隱變量的概率模型的數據表示為 $P(Y,Z|\theta )$ 。$Y$ 是觀測變量的數據，$Z$ 是隱變量的數據，$\theta$ 是模型參數。
• EM算法通過迭代求解觀測數據的對數似然函數 $L(\theta )=\log P(\mathrm{Y}|\theta )$ 的極大化，實現極大似然估計。

每次迭代包括兩步：

• $E$ 步，求期望，即求 $\log P(Z|Y,\theta )$ 關于 $P(Z|Y,{\theta }^{(i)})$ 的期望：

$$Q\left(\theta ,{\theta }^{(i)}\right)=\sum _Z\log P(Y,Z|\theta )P\left(Z|Y,{\theta }^{(i)}\right)$$
稱為 $Q$ 函數，這里 ${\theta }^{(i)}$ 是參數的現估計值

• $M$步，求極大，即極大化 $Q$ 函數得到參數的新估計值：

$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }Q\left(\theta ,{\theta }^{(i)}\right)$$

在構建具體的EM算法時，重要的是定義$Q$函數。每次迭代中，EM算法通過極大化$Q$函數來增大對數似然函數$L(\theta )$

2. EM算法收斂

EM算法在每次迭代后均提高觀測數據的似然函數值，單調遞增的，即

$$P\left(Y|{\theta }^{(i+1)}\right)?P\left(Y|{\theta }^{(i)}\right)$$

在一般條件下EM算法是收斂的，但不能保證收斂到全局最優

3. EM算法應用

• EM算法應用極其廣泛，主要應用于含有隱變量的概率模型的學習
• 高斯混合模型的參數估計是EM算法的一個重要應用
• 下一章的隱馬爾可夫模型的非監督學習也是EM算法的一個重要應用

4. EM算法的推廣

• EM算法還可以解釋為 $F$ 函數的 極大-極大算法
• EM算法有許多變形，如 GEM 算法
• GEM算法的特點是每次迭代增加 $F$ 函數值（并不一定是極大化 $F$ 函數），從而增加似然函數值

5. sklearn.mixture.GaussianMixture

sklearn.mixture.GaussianMixture

class sklearn.mixture.GaussianMixture(n_components=1, covariance_type='full', tol=0.001, reg_covar=1e-06, max_iter=100, n_init=1, init_params='kmeans', weights_init=None, means_init=None, precisions_init=None, random_state=None, warm_start=False, verbose=0, verbose_interval=10)

參數說明：參考了 https://blog.csdn.net/lihou1987/article/details/70833229

n_components: 混合高斯模型個數，默認為1

covariance_type: 協方差類型，包括{‘full’,‘tied’, ‘diag’, ‘spherical’}四種，分別對應完全協方差矩陣（元素都不為零），相同的完全協方差矩陣（HMM會用到），對角協方差矩陣（非對角為零，對角不為零），球面協方差矩陣（非對角為零，對角完全相同，球面特性），默認‘full’ 完全協方差矩陣

tol：EM迭代停止閾值，默認為1e-3.

reg_covar: 協方差對角非負正則化，保證協方差矩陣均為正，默認為0

max_iter: 最大迭代次數，默認100

n_init: 初始化次數，用于產生最佳初始參數，默認為1

init_params: {‘kmeans’, ‘random’}, defaults to ‘kmeans’.初始化參數實現方式，默認用kmeans實現，也可以選擇隨機產生

weights_init: 各組成模型的先驗權重，可以自己設，默認按照7產生

means_init: 初始化均值，同8

precisions_init: 初始化精確度（模型個數，特征個數），默認按照7實現

random_state :隨機數發生器

warm_start :若為True，則fit（）調用會以上一次fit（）的結果作為初始化參數，適合相同問題多次fit的情況，能加速收斂，默認為False。

verbose :使能迭代信息顯示，默認為0，可以為1或者大于1（顯示的信息不同）

verbose_interval :與13掛鉤，若使能迭代信息顯示，設置多少次迭代后顯示信息，默認10次。

sklearn官方實例

#%% # ---------sklearn GaussianMixture----- import numpy as np import matplotlib.pyplot as plt from matplotlib.colors import LogNorm from sklearn import mixture from mpl_toolkits.mplot3d import Axes3D #3維繪圖 n_samples = 300 np.random.seed(0)#%% 以(-10,15) 和(0,20)為中心的高斯分布 shifted_gaussian = np.random.randn(n_samples, 2) + np.array([20, 20]) shifted_gaussian2 = np.random.randn(n_samples, 2) + np.array([-10, 15])#%% 拉伸的（0,0）為中心的高斯分布 C = np.array([[0, -0.7], [3.5, 0.7]]) stretched_gaussian = np.dot(np.random.randn(n_samples, 2), C)#%% 數據堆疊 X_train = np.vstack([shifted_gaussian, stretched_gaussian,shifted_gaussian2])#%% 高斯分布 3個高斯分布 clf = mixture.GaussianMixture(n_components=3, covariance_type='full')#%% 擬合 clf.fit(X_train)#%% x = np.linspace(-20, 30) y = np.linspace(-20, 40)#%% X, Y = np.meshgrid(x, y) XX = np.array([X.ravel(), Y.ravel()]).T Z = -clf.score_samples(XX)#%% Z = Z.reshape(X.shape) CS = plt.contour(X, Y, Z, norm=LogNorm(vmin=1.0, vmax=1000), levels=np.logspace(1, 4, 18)) CB = plt.colorbar(CS, shrink=0.8, extend='both') plt.scatter(X_train[:, 0], X_train[:, 1], 0.8) plt.show()# 3D繪圖 fig = plt.figure() ax = Axes3D(fig) # ax.scatter(X,Y,Z) ax.plot_surface(X, Y, Z, cmap=plt.cm.autumn) plt.show()

總結

以上是生活随笔為你收集整理的EM（期望极大化）算法及其推广的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。