UA MATH567 高維統計專題1 稀疏信號及其恢復6 隨機設計矩陣下LASSO的估計誤差

上一講我們推導了noisy setting下LASSO估計誤差的階$O(\sqrt{s\log d/n})$，但它的假設是design matrix為常矩陣；這一講我們放寬假設，推導隨機設計矩陣下LASSO的估計誤差。

定理 假設$A～{\mathbb{R}}^{n\times d}$，并且它的行向量iid服從$N(0,\Sigma )$，則存在常數$C_1<1<C_2$使得
$$\frac{{\Vert Ax\Vert }_2^2}{n}\ge C_1{\Vert \sqrt{\Sigma }x\Vert }_2^2?C_2{\rho }^2(\Sigma )\frac{\log d}{n}{\Vert x\Vert }_1^2$$

成立的概率不小于$1?\frac{e^{?n/32}}{1?e^{?n/32}}$，其中${\rho }^2(\Sigma )={\max }_i{\Sigma }_{ii}$

評注
這個定理的證明可以參考Manwright的high-dimensional statistics那本書的section 7.6 proof of theorem 7.16；

這個定理蘊涵Restricted Eigenvalue Condition，記${\gamma }_{\min }$為$\Sigma$的最小的特征值，
$$C_1{\Vert \sqrt{\Sigma }x\Vert }_2^2\ge C_1(\sqrt{{\gamma }_{\min }}{\Vert x\Vert }_2{)}^2=C_1{\gamma }_{\min }{\Vert x\Vert }_2^2$$

取$x\in C_{\alpha }(S)$，則
$$\begin{gathered} {\Vert x\Vert }_1={\Vert x_S\Vert }_1+{\Vert x_{S^C}\Vert }_1\le (1+\alpha ){\Vert x_S\Vert }_1 \\ \le (1+\alpha )\sqrt{s}{\Vert x_S\Vert }_2\le (1+\alpha )\sqrt{s}{\Vert x\Vert }_2 \end{gathered}$$

根據這個定理，
$$\begin{gathered} \frac{{\Vert Ax\Vert }_2^2}{n}\ge C_1{\gamma }_{\min }{\Vert x\Vert }_2^2?C_2{\rho }^2(\Sigma )\frac{\log d}{n}(1+\alpha {)}^{2}s{\Vert x\Vert }_2^2 \\ \ge \frac{C_1}{2}{\gamma }_{\min }{\Vert x\Vert }_2^2 \end{gathered}$$

只要
$$C_2{\rho }^2(\Sigma )\frac{\log d}{n}(1+\alpha {)}^{2}s{\Vert x\Vert }_2^2<\frac{C_1}{2}{\gamma }_{\min }{\Vert x\Vert }_2^2$$上式第二個不等號就成立，而這個條件實際上是對sparsity的限制（這個條件非常有趣，可以發現稀疏性的上界關于樣本量$n$是線性的，關于特征數$d$是對數的，因此高維最小二乘模型中允許$d>n$的情況存在），
$$s\le \frac{C_1}{2}{\gamma }_{\min }\frac{n}{\log d}\frac{1}{C_2{\rho }^2(\Sigma )(1+\alpha {)}^2}$$

如果$\alpha =3$，這個上界為
$$\frac{C_1}{32}{\gamma }_{\min }\frac{n}{\log d}\frac{1}{C_2{\rho }^2(\Sigma )}$$

綜上，當$x\in C_3(S)$時
$$\frac{{\Vert Ax\Vert }_2^2}{n}\ge \frac{C_1}{2}{\gamma }_{\min }{\Vert x\Vert }_2^2$$

對所有滿足$|S|=s\le \frac{C_1}{32}{\gamma }_{\min }\frac{n}{\log d}\frac{1}{C_2{\rho }^2(\Sigma )}$的指標集$S$成立，因此這個定理蘊涵$RE(\frac{C_1}{2}{\gamma }_{\min },3)$。

---

Design Matrix的Dependence Structure
協方差矩陣$\Sigma$決定Design Matrix的Dependence Structure，在simulation study中，常用的dependence structure比如

$AR(1)$: $\rho$是自相關性系數
$$\Sigma =?\begin{array}{ccccc}1& \rho & {\rho }^2?& & \\ & 1& \rho & ?& \\ ?& & & & \\ & & & & 1\end{array}?$$

也就是$AR(1)$序列的協方差矩陣；

Compound Symmetry：
$$\Sigma =(1?\rho )I_d+\rho 11^T$$

---

定理 對于Penalized Least Square形式的LASSO，如果${\lambda }_n\ge 2{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$，則對任意滿足$$|S|\le \frac{C_1}{64C_2}\frac{\kappa }{{\rho }^2(\Sigma )}\frac{n}{\log d}$$的指標集$S$，
$${\Vert \hat{x}?x^{?}\Vert }_2^2\le \frac{144}{C_1^2}\frac{{\lambda }_n^2}{{\kappa }^2}|S|+\frac{16}{C_1}\frac{{\lambda }_n}{\kappa }{\Vert x_{S^C}^{?}\Vert }_1+\frac{32C_2}{C_1}\frac{{\rho }^2(\Sigma )}{\kappa }\frac{\log d}{n}{\Vert x_{S^C}^{?}\Vert }_1^2$$

這個上界可以由$|S|$與${\Vert {\theta }_{S^C}^{?}\Vert }_1$控制，當二者均比較小時，這個上界就會比較小，但它們是此消彼長的關系。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复6 随机设计矩阵下LASSO的估计误差的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。