UA MATH567 高維統計 專題0 為什么需要高維統計理論？——理解稀疏向量與hard-threshold

• • 稀疏向量的soft-threshold與hard-threshold近似
  • 引入hard-threshold的線性判別分析

在上一篇的末尾，我們談到了經典統計與高維統計的區別，在高維統計中，information is sparse in features，即并不是每個特征都是一樣重要的，重要的特征占比非常小，這種特性被稱為sparsity。不論是為了模型能處理高維問題還是為了提高計算效率，我們都需要去探索稀疏向量與稀疏矩陣的結構，下面我用一個簡單的例子說明探索稀疏矩陣的結構的意義：

假設我們要做線性模型：$y=X\beta +?$，$X$是正交的設計矩陣，維數為$n\times p$，假設$p=O(n)$，這是一個高維統計問題，我們可以期待系數一定是稀疏的
$$s=\#\{j:{\beta }_j=0\}<<p$$

$\beta$的正則方程為
$$X^{\prime }X\beta =X^{\prime }y$$

用分量形式表達為
$$x_j^T{x}_j{\beta }_j=x_j^{\prime }{y}_j$$

求解正則方程可以得到$\beta$的OLS估計，計算復雜度為$O(N^{2}p)$；因為$\beta$是稀疏向量，我們可以預期很多$\beta$都是0，如果我們對$\beta$的取值能做一下預估計，就可以引入hard-threshold，
$$x_{j,\delta }=x_j{1}_{|{\beta }_j|>\delta }$$

并把正則方程修改為
$$X_{\delta }^{\prime }{X}_{\delta }\beta =X_{\delta }^{\prime }y$$

做了這個操作后，計算復雜度可以降低為$O(N^{2}s)$。高維時，$p$與$N$同階，所以直接求解正則方程復雜度的階為$N^3$；$s$是$N$的無窮小量，引入hard-threshold后，求解正則方程復雜度的階為$N^2$。

稀疏向量的soft-threshold與hard-threshold近似

假設$x$是一個稀疏向量，我們可以對$x$做一些近似，即讓$x$中比較小的一些元素變成0，僅保留一些比較大的元素，這種近似可以把$x$的結構簡化，在高維統計與高維數據分析中會有意想不到的效果。常用的做法有兩種，分別是soft-threshold近似與hard-threshold近似。

稱$H_{\lambda }(x)$是$x$的hard-threshold近似，如果
$$H_{\lambda }(x)=x{1}_{|x|>\lambda }=\{\begin{array}{l}xif|x|>\lambda \\ 0otherwise\end{array}$$

稱這個近似為hard-threshold近似的原因我覺得可能是它比較無情，它就是一個簡單的keep-or-kill機器，$x$的元素中絕對值大于$\lambda$的才能幸存，其他的就被“殺”掉了；

稱$T_{\lambda }(x)$是$x$的soft-threshold近似，如果
$$T_{\lambda }(x)=(x?\lambda sign(x))1_{|x|>\lambda }=\{\begin{array}{l}x?\lambda sign(x)if|x|>\lambda \\ 0otherwise\end{array}$$

這里的$sign(x)$表示$x$的每個元素的符號，之所以稱它是soft-threshold是因為幸存的元素沒有全部大于$\lambda$，所以顯得比hard-threshold近似更溫和，下圖可以比較一下兩種近似的區別($\lambda =0.4$)：

引入hard-threshold的線性判別分析

前兩講我們討論了多元統計中的經典模型線性判別分析，發現在高維時它的classification error滿足高維統計理論的模式，而高維統計理論得到的theoretical classification error比經典理論的oracle error更大。于是我們可以提出一個很有趣的問題：既然經典方法處理高維問題classification error與高維統計理論的theoretical classification error一致，那么用高維統計方法處理高維問題的classification error又會是什么樣子的呢？

我們延續對判別分析的討論，在高維時，用于分類的特征維數較高，我們可以預料到有效的特征數目較少，于是我們可以引入hard-threshold來去掉那些取值較小變化不大的特征。引入特征的樣本均值$${\hat{\mu }}_1=\frac{1}{n_1}\sum _{i=1}^{n_1}{x}_i,{\hat{\mu }}_2=\frac{1}{n_2}\sum _{i=n_1+1}^{n_1+n_2}{x}_i$$

基于特征的樣本均值，我們引入它的hard-threshold近似
$${\tilde{\mu }}_1=H_{\lambda }({\hat{\mu }}_1),{\tilde{\mu }}_2=H_{\lambda }({\hat{\mu }}_2),\lambda =\sqrt{\frac{2\log d}{n}}$$

引入Pooled sample covariance matrix，
$$\hat{\Sigma }=\frac{{\sum }_{i=1}^{n_1}(x_i?{\hat{\mu }}_1)(x_i?{\hat{\mu }}_1{)}^T+{\sum }_{i=1}^{n_2}(x_i?{\hat{\mu }}_2)(x_i?{\hat{\mu }}_2{)}^T}{n_1+n_2?2}$$

從而判別函數為
$$\tilde{\Psi }(x)=({\tilde{\mu }}_1?{\tilde{\mu }}_2{)}^{\prime }{\hat{\Sigma }}^{?1}(x?\frac{{\tilde{\mu }}_1+{\tilde{\mu }}_2}{2})$$

基于這個判別函數進行判別分析，我們可以發現：

也就是說在這種情況下，模擬實驗的結果更接近classical oracle，事實上在高維統計理論中，
$$\frac{\log C_d^s}{n}\to 0$$

時，classical oracle依然適用。

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计 专题0 为什么需要高维统计理论？——理解稀疏向量与hard-threshold的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。