UA MATH567 高維統計專題2 Low-rank矩陣及其估計3 Rank RIP

Low-rank matrix completion的模型是rank minimization，上一講我們介紹了rank minimization與nuclear norm minimization的等價性，這一講我們介紹用nuclear norm minimization
$$\begin{gathered} \underset{\Theta }{\min }{\Vert \Theta \Vert }_{?} \\ s.t.y=\mathcal{X}(\Theta ),\mathcal{X}:{\mathbb{R}}^{d_1\times d_2}\to {\mathbb{R}}^n \end{gathered}$$

成功估計low-rank matrix的條件。

---

在sparse signal recovery中，我們討論L1 minimization的full recovery時引入了restricted isometry property(RIP)，它可以推廣到matrix completion中，作為nuclear norm minimization的條件：

Rank-restricted RIP
稱$\mathcal{X}$具有rank RIP of rank $r$ with constant $\delta$，如果$?\Theta$, $rank(\Theta )\le r$,
$$(1?\delta ){\Vert \Theta \Vert }_F^2\le {\Vert \mathcal{X}(\Theta )\Vert }_2^2\le (1+\delta ){\Vert \Theta \Vert }_F^2$$

記${\delta }_r(\mathcal{X})$是讓這個不等式成立的最小可能的$\delta$。

定理1 如果$y=\mathcal{X}({\Theta }^{?})$，$r=rank({\Theta }^{?})$，并且${\delta }_{2r}(\mathcal{X})<1$，則${\Theta }^{?}$是rank minimization
$$\begin{gathered} \underset{\Theta }{\min }rank(\Theta ) \\ s.t.y=\mathcal{X}(\Theta ),\mathcal{X}:{\mathbb{R}}^{d_1\times d_2}\to {\mathbb{R}}^n \end{gathered}$$

的唯一解。

定理2 如果$y=\mathcal{X}({\Theta }^{?})$，$r=rank({\Theta }^{?})$，并且${\delta }_{4r}(\mathcal{X})\le \sqrt{2}?1$，則${\Theta }^{?}$是nuclear norm minimization
$$\begin{gathered} \underset{\Theta }{\min }{\Vert \Theta \Vert }_{?} \\ s.t.y=\mathcal{X}(\Theta ),\mathcal{X}:{\mathbb{R}}^{d_1\times d_2}\to {\mathbb{R}}^n \end{gathered}$$

的唯一解。

定理3 假設$\mathcal{X}:{\mathbb{R}}^{d_1\times d_2}\to {\mathbb{R}}^n$是一個隨機張量，它的分量獨立同分布于$N(0,1/n)$，如果
$$n\ge cr(d_1+d_2)\frac{\log \frac{1}{\delta }}{{\delta }^2}$$

（$c$是一個常數）則$\mathcal{X}$滿足${\delta }_r(\mathcal{X})\le \delta$的rank RIP with high probability.

評注 這三個定理完整證明過程可以閱讀Wright and Ma 2020年那本高維數據分析的section 4.3.4-4.3.5；對于noisy data generation process $$y=\mathcal{X}(\Theta )+w$$

其中$w$是noise，我們可以仿照LASSO寫出penalized least square形式的模型：
$$\min \frac{1}{2}{\Vert y?\mathcal{X}(\Theta )\Vert }_2^2+\lambda {\Vert \Theta \Vert }_{?}$$

---

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计专题2 Low-rank矩阵及其估计3 Rank RIP的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。