UA MATH567 高維統(tǒng)計專題1 稀疏信號及其恢復(fù)7 LASSO的預(yù)測誤差與變量選擇一致性

• • Prediction Error
  • Variable Selection Consistency

Prediction Error

前兩講介紹了LASSO估計誤差的一些結(jié)果，這一講介紹LASSO的預(yù)測誤差，在統(tǒng)計學(xué)習(xí)理論中，我們定義
$$\Vert A\hat{x}?A{x}^{?}\Vert$$

為模型的預(yù)測誤差，對于LASSO而言，$A$是design matrix，$\hat{x}$是LASSO估計，$x^{?}$是參數(shù)的真實值。

先看一個簡單的例子，假設(shè)有兩個特征，$A_1,A_2$，并且它們高度相關(guān)；假設(shè)有兩種可選的模型：
$$\hat{x}=(1,0{)}^T,\tilde{x}=(0,1{)}^T$$

因此預(yù)測誤差為
$$\Vert A(\hat{x}?x^{?})\Vert ,\Vert A(\tilde{x}?x^{?})\Vert$$

首先，分析預(yù)測誤差有一個很重要的觀念：要讓$\Vert A(\hat{x}?x^{?})\Vert$比較小并不需要嘗試讓$\Vert \hat{x}?x^{?}\Vert$比較小；也就是對預(yù)測誤差的分析與對估計誤差的分析其實是比較獨立的兩個問題（換句話說就是在做數(shù)據(jù)分析的時候，參數(shù)估計和預(yù)測其實是兩類不同的數(shù)據(jù)分析問題，在數(shù)據(jù)比較復(fù)雜的情況下應(yīng)該分別建模！）

---

定理 對于Penalized Least Square形式的LASSO，如果${\lambda }_n\ge 2{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$，則

Slow rate result:$$\frac{{\Vert A(\hat{x}?x^{?})\Vert }_2^2}{n}\le 12{\Vert x^{?}\Vert }_1{\lambda }_n$$

Fast rate result: 如果$A$滿足$RE(\kappa ,3)$ over $S=supp(x^{?})$，則$${\Vert A(\hat{x}?x^{?})\Vert }_2^2/n\le \frac{9}{\kappa }|S|{\lambda }_n^2$$

評注
在第五講中，我們介紹了一個non-asymptotic的結(jié)果，取
$${\lambda }_n=2\sigma (\sqrt{\frac{2\log d}{n}}+\delta )$$

則Slow rate result說明預(yù)測誤差的上界為
$$24{\Vert x^{?}\Vert }_1\sigma (\sqrt{\frac{2\log d}{n}}+\delta )$$

取$\delta =O(1/\sqrt{n})$，則上界的階為$O(\sqrt{\frac{\log d}{n}})$，這與第五講得到的關(guān)于估計誤差的階接近；而fast rate result的階會是$\frac{\log d}{n}$，在$d=o(n)$時，fast rate result比slow rate result更快趨于0

Variable Selection Consistency

當用LASSO做變量選擇時，我們希望它具有一致性；記$S=S(x^{?})=supp(x^{?})$，我們希望$P(S(\hat{x})=S(x^{?}))$足夠大甚至趨近于1，一個更強的結(jié)果是$P(sign(\hat{x})=sign(x^{?}))$趨近于1，這個被稱為sign consistency。

一個反例 (Zhao&Yu 2006)
如果$X_1,X_2{～}_{iid}N(0,1)$，$X_3=X_1+X_2$，
$$y=3X_1+2X_2+0X_3+?$$

則做變量選擇時，$X_3$總會先被加入模型（也就是$X_3$總會被認為是有效特征），這是因為$3=\underset{i}{\mathrm{argmax}}Corr(y,X_i)$；此時變量選擇的一致性永遠也無法達成。

一致性的條件
用${\gamma }_{\min }(?)$表示某個矩陣的最小特征值，第一個條件是
$${\gamma }_{\min }(A_S^T{A}_S/n)\ge c_{\min }>0$$

其中$c_{\min }$是一個常正實數(shù)；第二個條件被Zhao&Yu 2006稱為irrepresentable condition:
$$\underset{j\in S^C}{\max }{\Vert (A_S^T{A}_S{)}^{?1}{A}_S^T{A}_j\Vert }_1\le \alpha <1,\alpha \in [0,1)$$

其中$(A_S^T{A}_S{)}^{?1}{A}_S^T{A}_j$實際上是用$A_S$對$A_j$做回歸的最小二乘系數(shù)，我們希望true model以外的特征與true model相關(guān)性越低越好，最好是$A_{S^C}\perp A_S$，否則就會發(fā)生如同上面反例中的事情。下面完整敘述一下這個條件，定義
$${\eta }_n=\underset{j\in S^C}{\max }{\Vert (A_S^T{A}_S{)}^{?1}{A}_S^T{A}_j\Vert }_1$$

當$n,d\to \infty$，$d=O(e^{n^{\kappa }}),\kappa <1$時，在Gauss error下，${\eta }_n\le \alpha <1$是一致性的充分條件，其中$\alpha$是常數(shù)；${\eta }_n<1$是一個必要條件。因為充分條件和必要條件差別著實不大，要構(gòu)造一個滿足必要性但不滿足充分性的例子比較困難，但change point detection(可以參考Multiple change-point detection: A selective overview)就滿足這個條件，它的design matrix是所有非零元素均為1的下三角矩陣，所以change point model一般不用regression-based method處理。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复7 LASSO的预测误差与变量选择一致性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。