UA MATH567 高維統(tǒng)計(jì)III 隨機(jī)矩陣8 社區(qū)發(fā)現(xiàn) Spectral Clustering的理論分析

上一講我們完成了Stochastic Block Model與社區(qū)發(fā)現(xiàn)問題的建模，并描述了目標(biāo)：Community detection in networks的目標(biāo)是給定一個某個隨機(jī)矩陣的樣本數(shù)據(jù)集，要還原隨機(jī)矩陣的期望的特征向量。同時我們明確了算法分析的基本方法是攝動方法，這里描述一個大致思路：

我們對社區(qū)發(fā)現(xiàn)算法進(jìn)行理論分析的目的是說明這樣的算法能夠提供一個一致的、誤差可以被控制的輸出，也就是要說明算法還原出來的特征向量（算法輸出）與隨機(jī)矩陣期望的特征向量（理論結(jié)果）之差的范數(shù)足夠小，在理論分析的時候，我們可以認(rèn)為算法與理論的區(qū)別在于算法計(jì)算特征向量時用的是帶噪聲的數(shù)據(jù)，因此我們需要能分析矩陣噪聲對特征值的影響的工具，于是我們選擇了攝動方法。

---

Davis-Kahan定理 假設(shè)$S,T$是對稱矩陣，假設(shè)${\min }_{j=i}|{\lambda }_i(S)?{\lambda }_j(S)|=\delta >0$，用$v_i(S)$表示矩陣$S$的第$i$個特征值對應(yīng)的標(biāo)準(zhǔn)化的特征向量，用${\theta }_i(S,T)$表示矩陣$S,T$的第$i$個特征值對應(yīng)的特征向量形成的夾角，則
$$\sin {\theta }_i(S,T)\le \frac{2\Vert S?T\Vert }{\delta }$$

評注
i) 雖然這個結(jié)果看起來只能說明當(dāng)$S,T$兩個矩陣相差不大時，它們的特征向量的夾角也不大，但我們可以進(jìn)一步得到它們特征向量之差的范數(shù)的結(jié)果：

因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">${\theta }_i(S,T)\in [0,\pi /2]$，于是
$$1\le \frac{{\Vert v_i(S)?v_i(T)\Vert }_2}{\sin {\theta }_i(S,T)}\le \sqrt{2}$$

所以
$${\Vert v_i(S)?v_i(T)\Vert }_2\le \frac{2\sqrt{2}\Vert S?T\Vert }{\delta }$$

---

Spectral Clustering
假設(shè)我們使用Spectral Clustering來做Community detection in networks，根據(jù)上一講的簡單分析：

如果$A$表示一個隨機(jī)網(wǎng)絡(luò)，計(jì)算它的$v_2(A)$，則$v_2(A)$的某個元素的符號表示對應(yīng)節(jié)點(diǎn)所屬的社區(qū)。

定理 考慮隨機(jī)網(wǎng)絡(luò)$G(n,p,q)$，如果$\min (q,p?q)=\mu >0$，則$?c>0$，Spectral Clustering最多搞錯$c/{\mu }^2$個節(jié)點(diǎn)的概率至少是$1?4e^{?n}$。

證明
用$A$表示這個隨機(jī)網(wǎng)絡(luò)的伴隨矩陣，做分解
$$A=D+R$$

其中$D$是一個不含隨機(jī)性的矩陣，$rankD=2$, $\Vert D\Vert ={\lambda }_1=\frac{(p+q)n}{2}$并且${\lambda }_2=\frac{(p?q)n}{2}$；$$P(\Vert R\Vert \le 2CK\sqrt{n})\ge 1?4e^{?n}$$

記$\delta =\min ({\lambda }_1?{\lambda }_2,{\lambda }_2)=n\mu >0$，于是我們可以使用Davis-Kahan定理以及上面這個概率不等式：$?C^{\prime }>0$
$${\Vert v_2(D)?v_2(A)\Vert }_2\le \frac{2\sqrt{2}{C}^{\prime }\sqrt{n}}{\mu n}$$

這個不等式成立的概率是$1?e^{?4n}$，要考慮搞錯的節(jié)點(diǎn)個數(shù)，需要考慮$\sqrt{n}$乘以特征向量，于是
$$\begin{gathered} \sqrt{n}{\Vert v_2(D)?v_2(A)\Vert }_2\le \frac{2\sqrt{2}{C}^{\prime }}{\mu } \\ \sqrt{n}{\Vert v_2(D)?v_2(A)\Vert }_2^2\le \frac{8C^{\prime 2}}{{\mu }^2} \end{gathered}$$

記$c=8C^{\prime 2}$，則定理得證。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计III 随机矩阵8 社区发现 Spectral Clustering的理论分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。