UA MATH567 高維統計專題1 稀疏信號及其恢復5 LASSO的估計誤差

• • Signal Recovery Noisy Setting
  • LASSO的估計誤差

Signal Recovery Noisy Setting

前四講算是把無噪聲的情況討論得差不多了，這一講開始我們討論含噪聲的稀疏信號恢復問題。假設observations是
$$y=A{x}^{?}+w$$

其中$A\in {\mathbb{R}}^{n\times d}$是design matrix，$x^{?}\in {\mathbb{R}}^d$是true signal，$w$是noise；現在的問題是我們知道$y$和$A$，想要得到真實信號的一個估計量$\hat{x}$；關于這個問題有三種等價的分析框架：

Penalized Least Square
$$\underset{x}{\min }\frac{1}{2n}{\Vert y?Ax\Vert }_2^2+{\lambda }_n?(x)$$

其中${\lambda }_n$是regularization parameter，$?(x)$是penalty function，$\frac{1}{2n}{\Vert y?Ax\Vert }_2^2$是least square loss：

$?(x)={\Vert x\Vert }_1$: LASSO

$?(x)={\Vert x\Vert }_2$: Ridge regression

$?(x)=\eta {\Vert x\Vert }_1+(1?\eta ){\Vert x\Vert }_2$: Elastic net

此外還有adaptive lasso, adaptive elastic net, SCAD (smoothly clipped absolute deviations), MCP (minimax concave penalty)等一系列通過設計penalty function得到能實現不同目的的penalized least square模型；

Constraint Least Square
$$\begin{gathered} \underset{x}{\min }\frac{1}{2n}{\Vert y?Ax\Vert }_2^2 \\ s.t.?(x)\le R \end{gathered}$$

這與Penalized Least Square是完全等價的。

Relaxed Basis Pursuit或者Basis Pursuit Denoising

$$\begin{gathered} \underset{x}{\min }?(x) \\ s.t.\frac{1}{2n}{\Vert y?Ax\Vert }_2^2\le b^2 \end{gathered}$$

這種一般在EECS的文獻中比較常見，統計學一般用前兩種（主要是第一種）框架。

---

LASSO的估計誤差

在noisy setting下，full recovery自然是不可能的了，但我們希望估計誤差$\Vert \hat{x}?x^{?}\Vert$盡可能小，下面我們討論一下LASSO估計誤差的下界。

在第二講推導$L_1$-minimization時，為了構造$L_0$-norm的scale-invariant性質，我們引入了一個凸錐
$$C(S)=\{{\mathbb{R}}^d:{\Vert {\Delta }_{S^C}\Vert }_1\le {\Vert {\Delta }_S\Vert }_1\}$$

其中$S?\{1,2,?,d\}$是一個指標集；在討論LASSO估計量時，我們需要再對這個凸錐做一點修正，考慮到LASSO估計量的特點是$L_1$-norm作為penalty提供sparse solution，沒有被shrink to zero的那些observation會被proportional shrink，據此我們引入一個新的凸錐
$$C_{\alpha }(S)=\{{\mathbb{R}}^d:{\Vert {\Delta }_{S^C}\Vert }_1\le \alpha {\Vert {\Delta }_S\Vert }_1\}$$

Restricted Eigenvalue Condition
稱design matrix $A$滿足Restricted Eigenvalue Condition over index set $S$ with parameter $(\kappa ,\alpha )$如果
$$\frac{1}{n}{\Vert A\Delta \Vert }_2^2\ge \kappa {\Vert \Delta \Vert }_2^2,?\Delta \in C_{\alpha }(S)$$

通常將這個條件簡單記為$RE(\kappa ,\alpha )$。

評注
如果$\kappa >0$，則$RE(\kappa ,\alpha )$說明
$$\frac{1}{n}{\Vert A\Delta \Vert }_2^2\ge \kappa {\Vert \Delta \Vert }_2^2>0,?\Delta \in C_{\alpha }(S)?\{0\}$$

這說明
$$C_1(S)\cap Null(A)=\{0\}$$

也就是Restricted Null Property成立。

定理 如果$supp(x^{?})=S$，$|S|=s$，$A$滿足$RE(\kappa ,\alpha )$ over $S$:

在Penalized Least Square形式的LASSO中，如果$${\lambda }_n\ge 2{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$$則$${\Vert \hat{x}?x^{?}\Vert }_2\le \frac{3}{\kappa }\sqrt{s}{\lambda }_n$$因此最小的上界為$\frac{6}{\kappa }\sqrt{s}{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$

在Constraint Least Square形式的LASSO中，如果$R={\Vert x^{?}\Vert }_1$，則$${\Vert \hat{x}?x^{?}\Vert }_2\le \frac{4}{\kappa }\sqrt{s}{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$$

在Relaxed Basis Pursuit形式的LASSO中，如果$b^2\ge \frac{{\Vert w\Vert }_2^2}{2n}$，則$${\Vert \hat{x}?x^{?}\Vert }_2\le \frac{4}{\kappa }\sqrt{s}{\lambda }_n{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }+\frac{2}{\sqrt{\kappa }}\sqrt{b^2?\frac{{\Vert w\Vert }_2^2}{2n}}$$因此，當$b^2=\frac{{\Vert w\Vert }_2^2}{2n}$時，上界最小，為$\frac{4}{\kappa }\sqrt{s}{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$；

評注
從上面這幾個結果來看，$\kappa$越大（restricted eigenvalue condition越嚴格），$s$越小（信號越系數），估計量的誤差就越小；另外，上界的大小主要由${\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$決定，其中$w$是noise term；如果$A$是固定的，$w{～}_{iid}N(0,{\sigma }^2)$，假設（標準化design matrix的列向量）
$$\frac{{\Vert A_j\Vert }_2}{n}=1$$

且$A$滿足$RE(\kappa ,\alpha )$，則
$$\frac{A^{T}w}{n}～N(0,\frac{A^{T}A}{n^2}{\sigma }^2)$$

$\frac{A^{T}w}{n}$中每個元素的邊緣分布為$N(0,{\sigma }^2/n)$，因此$\frac{A^{T}w}{n}$的$L_{\infty }$-norm其實就是$d$個$N(0,{\sigma }^2/n)$的最大值；根據UA MATH567 高維統計III 隨機矩陣12 整數環上的區間的應用：拐點偵測的統計量及假設檢驗中介紹的最大值的概率不等式，
$$P({\Vert \frac{A^{T}w}{n}\Vert }_{\infty }\ge \sigma (\sqrt{\frac{2\log d}{n}}+\delta ))\le 2e^{?\frac{n{\delta }^2}{2}}$$

取$\frac{1}{\sqrt{n}}?\delta$，則$n{\delta }^2\to \infty$，從而以上概率的上界為0，這說明${\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$依概率1滿足
$${\Vert \frac{A^{T}w}{n}\Vert }_{\infty }=O(\sqrt{\frac{s\log d}{n}})$$

這是一個非常重要的結果，這時到目前為止的Frequentist Optimality；

證明第二條結論
考慮
$$\begin{gathered} \underset{x}{\min }\frac{1}{2n}{\Vert y?Ax\Vert }_2^2 \\ s.t.{\Vert x\Vert }_1\le R={\Vert x^{?}\Vert }_1 \end{gathered}$$

假設$\hat{\theta }$是它的解，$x^{?}$是true signal，定義$\Delta =\hat{x}?x^{?}$；根據解的定義，
$$\begin{gathered} {\Vert y?A\hat{x}\Vert }_2^2\le {\Vert y?A{x}^{?}\Vert }_2^2 \\ {\Vert A{x}^{?}+w?A\hat{x}\Vert }_2^2\le {\Vert w\Vert }_2^2 \\ {\Vert w?A\Delta \Vert }_2^2\le {\Vert w\Vert }_2^2 \\ {\Vert w\Vert }_2^2+{\Vert A\Delta \Vert }_2^2?2w^{T}A\Delta \le {\Vert w\Vert }_2^2 \\ {\Vert A\Delta \Vert }_2^2\le 2w^{T}A\Delta \end{gathered}$$

根據Cauchy不等式
$$\frac{{\Vert A\Delta \Vert }_2^2}{n}\le \frac{2w^{T}A\Delta }{n}\le 2{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }{\Vert \Delta \Vert }_1$$

下面我們說明$\Delta \in C_1(S)?C_3(S)$：因為$x^{?}$是true signal，所以
$$\begin{gathered} \Vert x_S^{?}\Vert ={\Vert x^{?}\Vert }_1=R\ge {\Vert \hat{x}\Vert }_1={\Vert x^{?}+\Delta \Vert }_1 \\ ={\Vert x_S^{?}+{\Delta }_S\Vert }_1+{\Vert {\Delta }_{S^C}\Vert }_1\ge \Vert x_S^{?}\Vert ?{\Vert {\Delta }_S\Vert }_1+{\Vert {\Delta }_{S^C}\Vert }_1 \end{gathered}$$

所以
$${\Vert {\Delta }_{S^C}\Vert }_1\le {\Vert {\Delta }_S\Vert }_1$$

也就是說$\Delta \in C_1(S)$；根據$RE(\kappa ,1)$，
$${\Vert \Delta \Vert }_2^2\le \frac{1}{n\kappa }{\Vert A\Delta \Vert }_2^2\le \frac{2}{\kappa }{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }{\Vert \Delta \Vert }_1$$

其中
$${\Vert \Delta \Vert }_1={\Vert {\Delta }_S\Vert }_1+{\Vert {\Delta }_{S^C}\Vert }_1\le 2{\Vert {\Delta }_S\Vert }_1\le 2\sqrt{s}{\Vert {\Delta }_S\Vert }_2$$

代入上式中可得
$${\Vert \Delta \Vert }_2\le \frac{4}{\kappa }\sqrt{s}{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$$

，

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复5 LASSO的估计误差的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。