UA MATH567 高維統(tǒng)計(jì)專題1 稀疏信號(hào)及其恢復(fù)6 隨機(jī)設(shè)計(jì)矩陣下LASSO的估計(jì)誤差

上一講我們推導(dǎo)了noisy setting下LASSO估計(jì)誤差的階$O(\sqrt{s\log d/n})$，但它的假設(shè)是design matrix為常矩陣；這一講我們放寬假設(shè)，推導(dǎo)隨機(jī)設(shè)計(jì)矩陣下LASSO的估計(jì)誤差。

定理 假設(shè)$A～{\mathbb{R}}^{n\times d}$，并且它的行向量iid服從$N(0,\Sigma )$，則存在常數(shù)$C_1<1<C_2$使得
$$\frac{{\Vert Ax\Vert }_2^2}{n}\ge C_1{\Vert \sqrt{\Sigma }x\Vert }_2^2?C_2{\rho }^2(\Sigma )\frac{\log d}{n}{\Vert x\Vert }_1^2$$

成立的概率不小于$1?\frac{e^{?n/32}}{1?e^{?n/32}}$，其中${\rho }^2(\Sigma )={\max }_i{\Sigma }_{ii}$

評(píng)注
這個(gè)定理的證明可以參考Manwright的high-dimensional statistics那本書的section 7.6 proof of theorem 7.16；

這個(gè)定理蘊(yùn)涵Restricted Eigenvalue Condition，記${\gamma }_{\min }$為$\Sigma$的最小的特征值，
$$C_1{\Vert \sqrt{\Sigma }x\Vert }_2^2\ge C_1(\sqrt{{\gamma }_{\min }}{\Vert x\Vert }_2{)}^2=C_1{\gamma }_{\min }{\Vert x\Vert }_2^2$$

取$x\in C_{\alpha }(S)$，則
$$\begin{gathered} {\Vert x\Vert }_1={\Vert x_S\Vert }_1+{\Vert x_{S^C}\Vert }_1\le (1+\alpha ){\Vert x_S\Vert }_1 \\ \le (1+\alpha )\sqrt{s}{\Vert x_S\Vert }_2\le (1+\alpha )\sqrt{s}{\Vert x\Vert }_2 \end{gathered}$$

根據(jù)這個(gè)定理，
$$\begin{gathered} \frac{{\Vert Ax\Vert }_2^2}{n}\ge C_1{\gamma }_{\min }{\Vert x\Vert }_2^2?C_2{\rho }^2(\Sigma )\frac{\log d}{n}(1+\alpha {)}^{2}s{\Vert x\Vert }_2^2 \\ \ge \frac{C_1}{2}{\gamma }_{\min }{\Vert x\Vert }_2^2 \end{gathered}$$

只要
$$C_2{\rho }^2(\Sigma )\frac{\log d}{n}(1+\alpha {)}^{2}s{\Vert x\Vert }_2^2<\frac{C_1}{2}{\gamma }_{\min }{\Vert x\Vert }_2^2$$上式第二個(gè)不等號(hào)就成立，而這個(gè)條件實(shí)際上是對(duì)sparsity的限制（這個(gè)條件非常有趣，可以發(fā)現(xiàn)稀疏性的上界關(guān)于樣本量$n$是線性的，關(guān)于特征數(shù)$d$是對(duì)數(shù)的，因此高維最小二乘模型中允許$d>n$的情況存在），
$$s\le \frac{C_1}{2}{\gamma }_{\min }\frac{n}{\log d}\frac{1}{C_2{\rho }^2(\Sigma )(1+\alpha {)}^2}$$

如果$\alpha =3$，這個(gè)上界為
$$\frac{C_1}{32}{\gamma }_{\min }\frac{n}{\log d}\frac{1}{C_2{\rho }^2(\Sigma )}$$

綜上，當(dāng)$x\in C_3(S)$時(shí)
$$\frac{{\Vert Ax\Vert }_2^2}{n}\ge \frac{C_1}{2}{\gamma }_{\min }{\Vert x\Vert }_2^2$$

對(duì)所有滿足$|S|=s\le \frac{C_1}{32}{\gamma }_{\min }\frac{n}{\log d}\frac{1}{C_2{\rho }^2(\Sigma )}$的指標(biāo)集$S$成立，因此這個(gè)定理蘊(yùn)涵$RE(\frac{C_1}{2}{\gamma }_{\min },3)$。

---

Design Matrix的Dependence Structure
協(xié)方差矩陣$\Sigma$決定Design Matrix的Dependence Structure，在simulation study中，常用的dependence structure比如

$AR(1)$: $\rho$是自相關(guān)性系數(shù)
$$\Sigma =?\begin{array}{ccccc}1& \rho & {\rho }^2?& & \\ & 1& \rho & ?& \\ ?& & & & \\ & & & & 1\end{array}?$$

也就是$AR(1)$序列的協(xié)方差矩陣；

Compound Symmetry：
$$\Sigma =(1?\rho )I_d+\rho 11^T$$

---

定理 對(duì)于Penalized Least Square形式的LASSO，如果${\lambda }_n\ge 2{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$，則對(duì)任意滿足$$|S|\le \frac{C_1}{64C_2}\frac{\kappa }{{\rho }^2(\Sigma )}\frac{n}{\log d}$$的指標(biāo)集$S$，
$${\Vert \hat{x}?x^{?}\Vert }_2^2\le \frac{144}{C_1^2}\frac{{\lambda }_n^2}{{\kappa }^2}|S|+\frac{16}{C_1}\frac{{\lambda }_n}{\kappa }{\Vert x_{S^C}^{?}\Vert }_1+\frac{32C_2}{C_1}\frac{{\rho }^2(\Sigma )}{\kappa }\frac{\log d}{n}{\Vert x_{S^C}^{?}\Vert }_1^2$$

這個(gè)上界可以由$|S|$與${\Vert {\theta }_{S^C}^{?}\Vert }_1$控制，當(dāng)二者均比較小時(shí)，這個(gè)上界就會(huì)比較小，但它們是此消彼長(zhǎng)的關(guān)系。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复6 随机设计矩阵下LASSO的估计误差的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。