高斯混合模型GMM是一個(gè)非常基礎(chǔ)并且應(yīng)用很廣的模型。對(duì)于它的透徹理解非常重要。

本文從高斯分布開(kāi)始逐步透徹講解高斯混合模型

高斯分布

高斯分布有兩個(gè)參數(shù)：

• μ = mean(數(shù)據(jù)的中心)
• σ2 =variance(數(shù)據(jù)的分布擴(kuò)展范圍)

μ是高斯分布的位置參數(shù)。由概率密度函數(shù)圖像可知，離μ越近概率密度越大，離μ越遠(yuǎn)概率越小。高斯分布以X=μ為對(duì)稱(chēng)軸，左右完全對(duì)稱(chēng)。期望、均數(shù)、中位數(shù)、眾數(shù)相同，均等于μ。

σ2描述數(shù)據(jù)分布的離散程度，σ越大，數(shù)據(jù)分布越分散；反之，越聚集。也是高斯分布的形狀參數(shù)，σ越大，曲線越平扁；反之，σ越小，曲線越瘦峭。

一維高斯分布

下圖的數(shù)據(jù)就是由上圖的高斯分布產(chǎn)生的。

高斯分布有如下重要性質(zhì)

• 中心極限定理：大量相同分布的隨機(jī)變量的和傾向于高斯分布。
• 高斯隨機(jī)變量的和與差仍然是高斯。
• 如果X分布為N (μ, σ2)。。。
• aX + b分布為N (aμ + b, (aσ)2)
• 負(fù)對(duì)數(shù)看起來(lái)像加權(quán)歐幾里德距離

二維高斯分布

如上公式所示，二維聯(lián)合高斯分布的概率密度，從幾何上講，二維高斯分布在二維空間投影近似于橢圓，整個(gè)概率密度函數(shù)在三維空間上近似于橢球體。

可以參考本頭條號(hào)另一篇文章《透徹理解高斯分布》一樣，二維獨(dú)立變量高斯分布的指數(shù)化簡(jiǎn)成橢圓曲線的形式，其中r表示其相關(guān)系數(shù)，如果r = 0，表示兩個(gè)變量相互獨(dú)立，聯(lián)合概率密度為各自密度的乘積。

如果x1，x2不相關(guān)。知道x1并不能告訴你關(guān)于x2的一切。

下圖是r = 0, σ1 = σ2時(shí)的分布圖形：

x1，x2可以是不相關(guān)的并且具有不同的方差。即r = 0, σ1 ！=σ2

如果x1，x2相關(guān)。那么知道x1能告訴獲得一些關(guān)于x2的信息

我們把二維高斯分布的協(xié)方差矩陣寫(xiě)成如下的形式：

其中， x = (x1, x2), μ = (μ1, μ2)

求對(duì)數(shù)，與加權(quán)歐幾里德距離很相似

如果協(xié)方差是對(duì)角陣：

高斯估計(jì)

數(shù)據(jù)與分布的匹配

通過(guò)獲得的訓(xùn)練數(shù)據(jù)，如何選擇參數(shù)μ、Σ，才能使數(shù)據(jù)和分布相匹配？

如果分布產(chǎn)生訓(xùn)練數(shù)據(jù)的可能性很高，就說(shuō)明數(shù)據(jù)和分布相匹配的概率很高。

所以，我們用最大似然估計(jì)(Maximum Likelihood Estimate，MLE)，尋找最優(yōu)參數(shù)μ、Σ，使之最大化訓(xùn)練數(shù)據(jù)的可能性。表達(dá)形式如下：

假設(shè)我們開(kāi)始選擇了"正確"的分布。然后，隨著訓(xùn)練樣本數(shù)量的增加，MLE會(huì)接近"真實(shí)"參數(shù)。MLE是非常有效的，對(duì)于許多類(lèi)型的模型，MLE是容易的。

MLE求解

最大似然估計(jì)是有封閉形式解的。

求對(duì)參數(shù)求偏導(dǎo)：

求得：

多維變量時(shí)，其均值和協(xié)方差是：

高斯估計(jì)的缺陷：并不是所有數(shù)據(jù)都是高斯分布。但是，如果用多個(gè)高斯分布(注意，是多個(gè)，不是多維)，實(shí)踐證明，是可以表達(dá)任何分布的，這就是我們接下來(lái)要講的高斯混合模型GMM。

高斯混合模型

Σj pj = 1 , pj ≥ 0

這就是高斯混合模型。如果使用足夠的高斯成分，可以很好地估計(jì)任何分布。給定訓(xùn)練數(shù)據(jù)，如何估計(jì)參數(shù)μj , Σj , 和混合權(quán)重 pj。

為了最大化數(shù)據(jù)的概率？沒(méi)有封閉形式的解決方案。我們只能使用優(yōu)化技術(shù)。

我們選擇期望最大化算法(Expectation Maximum)。

EM算法就是一個(gè)求解GMM的算法，其過(guò)程如下：

通過(guò)隱藏變量尋找模型的ML參數(shù)估計(jì)值。

迭代爬山法

• 調(diào)整每次迭代中的參數(shù)估計(jì)值
• 這樣的數(shù)據(jù)可能性每次迭代都會(huì)不斷地增加

最后找到最優(yōu)值。

隱藏變量

無(wú)法觀察到的隨機(jī)變量。在GMM計(jì)算最后的概率，取決于1、各個(gè)產(chǎn)生數(shù)據(jù)的混合組成部分產(chǎn)；2、各個(gè)部分的參數(shù)。而這個(gè)混合部分就是隱藏變量。

計(jì)算數(shù)據(jù)x的概率，需要計(jì)算在隱藏變量h的所有可能值下條件概率之和：

考慮高斯混合的概率分布

• h ?哪個(gè)組件生成樣本
• P(h) = pj ; P(x |h) = N (μj , Σj )

如果確定每個(gè)xi的隱藏值，模型不再隱藏！例如，在GMM組件之間已經(jīng)劃分了數(shù)據(jù)。

因此，對(duì)于每個(gè)數(shù)據(jù)點(diǎn)xi，分配單個(gè)隱藏值hi。取hi = arg maxh P(h)P(xi |h)，確定產(chǎn)生每個(gè)點(diǎn)的GMM組成部分分量。

在非隱藏模型中訓(xùn)練參數(shù)是非常容易的。我們通過(guò)更新P(h), P(x |h)中的參數(shù)。獲得μj , Σj , pj的MLE。

所以，我們有以下可選的處理方式：

非常“硬”的處理方式：

對(duì)于每個(gè)xi，分配單個(gè)hi = arg maxh P(h, xi )，數(shù)量為和1。然后繼續(xù)其他步驟。

比較“軟”的處理方式：

對(duì)于每個(gè)xi，計(jì)算每個(gè)h的后驗(yàn)概率：

也稱(chēng)為"分?jǐn)?shù)計(jì)數(shù)"，我們得到每個(gè)組件的概率

由于硬處理方式直接分配hi，非常主觀，顯然是事可取的。所以我們選擇軟的處理方式。

EM算法步驟

1.以某種方式初始化參數(shù)值。

2.迭代

• 期望步驟：計(jì)算每個(gè)xi的h的后驗(yàn)概率：

• 最大化步驟：更新參數(shù)

假定非隱藏?cái)?shù)據(jù)已經(jīng)獲得，而不是隱藏h的數(shù)據(jù)xi

本文主要講解GMM，EM算法就不詳細(xì)推導(dǎo)了，后面會(huì)專(zhuān)門(mén)發(fā)文講解。

總結(jié)

以上是生活随笔為你收集整理的一维数据高斯滤波器_透彻理解高斯混合模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。