UA MATH567 高維統計專題1 稀疏信號及其恢復7 LASSO的預測誤差與變量選擇一致性

• • Prediction Error
  • Variable Selection Consistency

Prediction Error

前兩講介紹了LASSO估計誤差的一些結果，這一講介紹LASSO的預測誤差，在統計學習理論中，我們定義
$$\Vert A\hat{x}?A{x}^{?}\Vert$$

為模型的預測誤差，對于LASSO而言，$A$是design matrix，$\hat{x}$是LASSO估計，$x^{?}$是參數的真實值。

先看一個簡單的例子，假設有兩個特征，$A_1,A_2$，并且它們高度相關；假設有兩種可選的模型：
$$\hat{x}=(1,0{)}^T,\tilde{x}=(0,1{)}^T$$

因此預測誤差為
$$\Vert A(\hat{x}?x^{?})\Vert ,\Vert A(\tilde{x}?x^{?})\Vert$$

首先，分析預測誤差有一個很重要的觀念：要讓$\Vert A(\hat{x}?x^{?})\Vert$比較小并不需要嘗試讓$\Vert \hat{x}?x^{?}\Vert$比較小；也就是對預測誤差的分析與對估計誤差的分析其實是比較獨立的兩個問題（換句話說就是在做數據分析的時候，參數估計和預測其實是兩類不同的數據分析問題，在數據比較復雜的情況下應該分別建模！）

---

定理 對于Penalized Least Square形式的LASSO，如果${\lambda }_n\ge 2{\Vert \frac{A^{T}w}{n}\Vert }_{\infty }$，則

Slow rate result:$$\frac{{\Vert A(\hat{x}?x^{?})\Vert }_2^2}{n}\le 12{\Vert x^{?}\Vert }_1{\lambda }_n$$

Fast rate result: 如果$A$滿足$RE(\kappa ,3)$ over $S=supp(x^{?})$，則$${\Vert A(\hat{x}?x^{?})\Vert }_2^2/n\le \frac{9}{\kappa }|S|{\lambda }_n^2$$

評注
在第五講中，我們介紹了一個non-asymptotic的結果，取
$${\lambda }_n=2\sigma (\sqrt{\frac{2\log d}{n}}+\delta )$$

則Slow rate result說明預測誤差的上界為
$$24{\Vert x^{?}\Vert }_1\sigma (\sqrt{\frac{2\log d}{n}}+\delta )$$

取$\delta =O(1/\sqrt{n})$，則上界的階為$O(\sqrt{\frac{\log d}{n}})$，這與第五講得到的關于估計誤差的階接近；而fast rate result的階會是$\frac{\log d}{n}$，在$d=o(n)$時，fast rate result比slow rate result更快趨于0

Variable Selection Consistency

當用LASSO做變量選擇時，我們希望它具有一致性；記$S=S(x^{?})=supp(x^{?})$，我們希望$P(S(\hat{x})=S(x^{?}))$足夠大甚至趨近于1，一個更強的結果是$P(sign(\hat{x})=sign(x^{?}))$趨近于1，這個被稱為sign consistency。

一個反例 (Zhao&Yu 2006)
如果$X_1,X_2{～}_{iid}N(0,1)$，$X_3=X_1+X_2$，
$$y=3X_1+2X_2+0X_3+?$$

則做變量選擇時，$X_3$總會先被加入模型（也就是$X_3$總會被認為是有效特征），這是因為$3=\underset{i}{\mathrm{argmax}}Corr(y,X_i)$；此時變量選擇的一致性永遠也無法達成。

一致性的條件
用${\gamma }_{\min }(?)$表示某個矩陣的最小特征值，第一個條件是
$${\gamma }_{\min }(A_S^T{A}_S/n)\ge c_{\min }>0$$

其中$c_{\min }$是一個常正實數；第二個條件被Zhao&Yu 2006稱為irrepresentable condition:
$$\underset{j\in S^C}{\max }{\Vert (A_S^T{A}_S{)}^{?1}{A}_S^T{A}_j\Vert }_1\le \alpha <1,\alpha \in [0,1)$$

其中$(A_S^T{A}_S{)}^{?1}{A}_S^T{A}_j$實際上是用$A_S$對$A_j$做回歸的最小二乘系數，我們希望true model以外的特征與true model相關性越低越好，最好是$A_{S^C}\perp A_S$，否則就會發生如同上面反例中的事情。下面完整敘述一下這個條件，定義
$${\eta }_n=\underset{j\in S^C}{\max }{\Vert (A_S^T{A}_S{)}^{?1}{A}_S^T{A}_j\Vert }_1$$

當$n,d\to \infty$，$d=O(e^{n^{\kappa }}),\kappa <1$時，在Gauss error下，${\eta }_n\le \alpha <1$是一致性的充分條件，其中$\alpha$是常數；${\eta }_n<1$是一個必要條件。因為充分條件和必要條件差別著實不大，要構造一個滿足必要性但不滿足充分性的例子比較困難，但change point detection(可以參考Multiple change-point detection: A selective overview)就滿足這個條件，它的design matrix是所有非零元素均為1的下三角矩陣，所以change point model一般不用regression-based method處理。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复7 LASSO的预测误差与变量选择一致性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。