UA MATH567 高維統(tǒng)計IV Lipschitz組合11 社區(qū)發(fā)現(xiàn) Spectral Clustering容許的最大隨機噪聲

• • 社區(qū)發(fā)現(xiàn)的Spectral Clustering算法復習
  • 用矩陣Bernstein不等式推導Spectral Clustering的理論性質

社區(qū)發(fā)現(xiàn)的Spectral Clustering算法復習

我們在上一部分介紹隨機矩陣的時候介紹了stochastic blocking model以及community detection的spectral clustering算法。

假設這個網(wǎng)絡有$n$個節(jié)點，網(wǎng)絡中有兩個社區(qū)，它們的規(guī)模相當，各擁有$n/2$個節(jié)點，記這兩個社區(qū)為$C_1,C_2$，我們用$G(n,p,q)$表示這個隨機網(wǎng)絡，其中$p$表示某條邊連接的兩個點屬于同一個社區(qū)的概率，$q$表示某條邊連接的兩個點屬于不同社區(qū)的概率，假設$p>q$，用$A$表示這個網(wǎng)絡的伴隨矩陣，顯然它是一個隨機矩陣，
$$\begin{gathered} P(A_{ij}=1|i,j\in C_{1}ori,j\in C_2)=p \\ P(A_{ij}=1|i\in C_1,j\in C_{2}ori\in C_2,j\in C_1)=q \end{gathered}$$

我們可以將$A$分解為它的期望與殘差矩陣：
$$A=E[A]+R$$

Community detection in networks的目標是給定一個某個隨機矩陣的樣本數(shù)據(jù)集，要還原隨機矩陣的期望的特征向量，下面是Spectral clustering的算法描述：

我們在上部分第八講用Davis-Kahan定理說明了它的理論性質：考慮隨機網(wǎng)絡$G(n,p,q)$，如果$\min (q,p?q)=\mu >0$，則$?c>0$，Spectral Clustering最多搞錯$c/{\mu }^2$個節(jié)點的概率至少是$1?4e^{?n}$。這個結論的條件是
$$\Vert D\Vert ～n,P(\Vert R\Vert =O(\sqrt{n}))\ge 1?4e^{?n}$$

---

用矩陣Bernstein不等式推導Spectral Clustering的理論性質

注意到$\Vert D\Vert =(p+q)n/2\ge \mu n$，所以之前得到的結果需要的條件是
$$\mu n>>O(\sqrt{n})$$

也就是$\Vert D\Vert >>n$，但是用矩陣Bernstein不等式，我們可以把這個條件弱化為$\Vert D\Vert >>\log n$。

記$d=\Vert D\Vert$，定義$A={\sum }_{1\le i<j\le n}{Z}_{ij}$，其中$Z_{ij}$是$n\times n$的矩陣，除了$(i,j)$與$(j,i)$這兩個位置為Bernoulli變量外，其他位置均為0，我們可以說明
$$E\Vert R\Vert =E\Vert A?EA\Vert ?\sqrt{d\log n}+\log n$$

證明思路
$$R=A?EA=\sum _{1\le i<j\le n}(Z_{ij}?E{Z}_{ij})$$

這里的$Z_{ij}?E{Z}_{ij}$是有界（算子范數(shù)小于1）、獨立、零均值、對稱的隨機變量，計算
$${\sigma }^2=\Vert \sum E(Z_{ij}?E{Z}_{ij}{)}^2\Vert \approx d$$

根據(jù)矩陣Bernstein不等式的推論

$$E\Vert R\Vert ?\sigma \sqrt{\log n}+\log n$$

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计IV Lipschitz组合11 社区发现 Spectral Clustering容许的最大随机噪声的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。