標簽（空格分隔）： 機器學習

---

（最近被一波波的筆試+面試淹沒了，但是在有兩次面試時被問到了同一個問題：K-Means算法的收斂性。在網上查閱了很多資料，并沒有看到很清晰的解釋，所以希望可以從K-Means與EM算法的關系，以及EM算法本身的收斂性證明中找到蛛絲馬跡，下次不要再掉坑啊。。）

EM算法的收斂性

1.通過極大似然估計建立目標函數：

\(l(\theta) = \sum_{i=1}^{m}log\ p(x;\theta) = \sum_{i=1}^{m}log\sum_{z}p(x,z;\theta)\)

通過EM算法來找到似然函數的極大值，思路如下：
希望找到最好的參數\(\theta\)，能夠使最大似然目標函數取最大值。但是直接計算 \(l(\theta) = \sum_{i=1}^{m}log\sum_{z}p(x,z;\theta)\)比較困難，所以我們希望能夠找到一個不帶隱變量\(z\)的函數\(\gamma(x|\theta) \leq l(x,z;\theta)\)恒成立，并用\(\gamma(x|\theta)\)逼近目標函數。
如下圖所示：

• 在綠色線位置，找到一個\(\gamma\)函數，能夠使得該函數最接近目標函數，
• 固定\(\gamma\)函數，找到最大值，然后更新\(\theta\),得到紅線；
• 對于紅線位置的參數\(\theta\)：
• 固定\(\theta\)，找到一個最好的函數\(\gamma\)，使得該函數更接近目標函數。
  重復該過程，直到收斂到局部最大值。

2. 從Jensen不等式的角度來推導

令\(Q_{i}\)是\(z\)的一個分布，\(Q_{i} \geq 0\)，則：

$l(\theta) = \sum_{i=1}^{m}log\sum_{z^{(i)}}p(x^{(i)},z^{(i)};\theta) $
$ = \sum_{i=1}^{m}log\sum_{z^{(i)}}Q_{i}(z^{(i)})\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})}$
\(\geq \sum_{i=1}^{m}\sum_{z^{(i)}}Q_{i}(z^{(i)})log\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})}\)

(對于log函數的Jensen不等式)

3.使等號成立的Q

盡量使\(\geq\)取等號，相當于找到一個最逼近的下界：也就是Jensen不等式中，\(\frac{f(x_{1})+f(x_{2})}{2} \geq f(\frac{x_{1}+x_{2}}{2})\)，當且僅當\(x_{1} = x_{2}\)時等號成立(很關鍵)。

對于EM的目標來說：應該使得\(log\)函數的自變量恒為常數，即：
\(\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})} = C\)
也就是分子的聯合概率與分母的z的分布應該成正比，而由于\(Q\)是z的一個分布，所以應該保證\(\sum_{z}Q_{i}(z^{(i)}) = 1\)
故\(Q = \frac{p}{p對z的歸一化因子}\)

\(Q_{i}(z^{(i)}) = \frac{p(x^{(i)},z^{(i)};\theta)}{\sum_{z}p(x^{(i)},z^{(i)};\theta)}\)
\(= \frac{p(x^{(i)},z^{(i)};\theta)}{p(x^{(i)};\theta)} = p(z^{(i)}|x^{(i)};\theta)\)

4.EM算法的框架

由上面的推導，可以得出EM的框架：

回到最初的思路，尋找一個最好的\(\gamma\)函數來逼近目標函數，然后找\(\gamma\)函數的最大值來更新參數\(\theta\):

• E-step: 根據當前的參數\(\theta\)找到一個最優的函數\(\gamma\)能夠在當前位置最好的逼近目標函數；
• M-step: 對于當前找到的\(\gamma\)函數，求函數取最大值時的參數\(\theta\)的值。

K-Means的收斂性

通過上面的分析，我們可以知道，在EM框架下，求得的參數\(\theta\)一定是收斂的，能夠找到似然函數的最大值。那么K-Means是如何來保證收斂的呢？

目標函數

假設使用平方誤差作為目標函數：
\(J(\mu_{1},\mu_{2},...,\mu_{k}) = \frac{1}{2}\sum_{j=1}^{K}\sum_{i=1}^{N}(x_{i}-\mu_{j})^{2}\)

E-Step

固定參數\(\mu_{k}\), 將每個數據點分配到距離它本身最近的一個簇類中：
\[ \gamma_{nk} = \begin{cases} 1, & \text{if $k = argmin_{j}||x_{n}-\mu_{j}||^{2}$ } \\ 0, & \text{otherwise} \end{cases} \]

M-Step

固定數據點的分配，更新參數（中心點）\(\mu_{k}\):
\(\mu_{k} = \frac{\sum_{n}\gamma_{nk}x_{n}}{\sum_{n}\gamma_{nk}}\)

所以，答案有了吧。為啥K-means會收斂呢？目標是使損失函數最小，在E-step時，找到一個最逼近目標的函數\(\gamma\)；在M-step時，固定函數\(\gamma\)，更新均值\(\mu\)（找到當前函數下的最好的值）。所以一定會收斂了~

轉載于:https://www.cnblogs.com/little-YTMM/p/5885153.html

總結

以上是生活随笔為你收集整理的再论EM算法的收敛性和K-Means的收敛性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。