UA MATH567 高维统计专题2 Low-rank矩阵及其估计3 Rank RIP
UA MATH567 高維統計專題2 Low-rank矩陣及其估計3 Rank RIP
Low-rank matrix completion的模型是rank minimization，上一講我們介紹了rank minimization與nuclear norm minimization的等價性，這一講我們介紹用nuclear norm minimization
min?Θ∥Θ∥?s.t.y=X(Θ),X:Rd1×d2→Rn\min_{\Theta} \ \ \left\| \Theta \right\|_*\\ s.t. \ \ y=\mathcal{X}(\Theta),\mathcal{X}:\mathbb{R}^{d_1 \times d_2 } \to \mathbb{R}^nΘmin???∥Θ∥??s.t.??y=X(Θ),X:Rd1?×d2?→Rn
成功估計low-rank matrix的條件。
在sparse signal recovery中，我們討論L1 minimization的full recovery時引入了restricted isometry property(RIP)，它可以推廣到matrix completion中，作為nuclear norm minimization的條件：
Rank-restricted RIP
稱X\mathcal{X}X具有rank RIP of rank rrr with constant δ\deltaδ，如果?Θ\forall \Theta?Θ, rank(Θ)≤rrank(\Theta)\le rrank(Θ)≤r,
(1?δ)∥Θ∥F2≤∥X(Θ)∥22≤(1+δ)∥Θ∥F2(1-\delta)\left\|\Theta \right\|_F^2 \le \left\|\mathcal{X}(\Theta) \right\|_2^2 \le (1+\delta)\left\|\Theta \right\|_F^2(1?δ)∥Θ∥F2?≤∥X(Θ)∥22?≤(1+δ)∥Θ∥F2?
記δr(X)\delta_r(\mathcal{X})δr?(X)是讓這個不等式成立的最小可能的δ\deltaδ。
定理1 如果y=X(Θ?)y=\mathcal{X}(\Theta^*)y=X(Θ?)，r=rank(Θ?)r=rank(\Theta^*)r=rank(Θ?)，并且δ2r(X)<1\delta_{2r}(\mathcal{X}) < 1δ2r?(X)<1，則Θ?\Theta^*Θ?是rank minimization
min?Θrank(Θ)s.t.y=X(Θ),X:Rd1×d2→Rn\min_{\Theta} \ \ rank(\Theta) \\ s.t. \ \ y=\mathcal{X}(\Theta),\mathcal{X}:\mathbb{R}^{d_1 \times d_2 } \to \mathbb{R}^nΘmin???rank(Θ)s.t.??y=X(Θ),X:Rd1?×d2?→Rn
的唯一解。
定理2 如果y=X(Θ?)y=\mathcal{X}(\Theta^*)y=X(Θ?)，r=rank(Θ?)r=rank(\Theta^*)r=rank(Θ?)，并且δ4r(X)≤2?1\delta_{4r}(\mathcal{X}) \le \sqrt{2}-1δ4r?(X)≤2??1，則Θ?\Theta^*Θ?是nuclear norm minimization
min?Θ∥Θ∥?s.t.y=X(Θ),X:Rd1×d2→Rn\min_{\Theta} \ \ \left\| \Theta\right\|_* \\ s.t. \ \ y=\mathcal{X}(\Theta),\mathcal{X}:\mathbb{R}^{d_1 \times d_2 } \to \mathbb{R}^nΘmin???∥Θ∥??s.t.??y=X(Θ),X:Rd1?×d2?→Rn
的唯一解。
定理3 假設X:Rd1×d2→Rn\mathcal{X}:\mathbb{R}^{d_1 \times d_2 } \to \mathbb{R}^nX:Rd1?×d2?→Rn是一個隨機張量，它的分量獨立同分布于N(0,1/n)N(0,1/n)N(0,1/n)，如果
n≥cr(d1+d2)log?1δδ2n \ge c r(d_1+d_2)\frac{\log \frac{1}{\delta}}{\delta^2}n≥cr(d1?+d2?)δ2logδ1??
（ccc是一個常數）則X\mathcal{X}X滿足δr(X)≤δ\delta_r(\mathcal{X}) \le \deltaδr?(X)≤δ的rank RIP with high probability.
評注 這三個定理完整證明過程可以閱讀Wright and Ma 2020年那本高維數據分析的section 4.3.4-4.3.5；對于noisy data generation process y=X(Θ)+wy = \mathcal{X}(\Theta)+wy=X(Θ)+w
其中www是noise，我們可以仿照LASSO寫出penalized least square形式的模型：
min?12∥y?X(Θ)∥22+λ∥Θ∥?\min \ \ \frac{1}{2} \left\| y - \mathcal{X}(\Theta) \right\|_2^2+\lambda \left\| \Theta\right\|_*min??21?∥y?X(Θ)∥22?+λ∥Θ∥??
總結
以上是生活随笔為你收集整理的UA MATH567 高维统计专题2 Low-rank矩阵及其估计3 Rank RIP的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： UA MATH567 高维统计专题2 L
- 下一篇： UA MATH567 高维统计专题3 含