UA MATH567 高維統(tǒng)計(jì)專題1 稀疏信號及其恢復(fù)1 L0-norm minimization

• • $L^0$-norm
  • $L_0$-norm minimization
  • • Exhaustive Search
    • $L_0$-norm minimization的性質(zhì)
    • $L_0$-norm minimization是NP-hard問題

這個(gè)專題我們討論sparse signal recovery，作為這個(gè)專題的開頭，我們先簡單介紹一下sparse vector的norm；熟悉DSP的同學(xué)應(yīng)該比較清楚，用vector和matrix來表示signal是非常常規(guī)的操作，那么sparse signal用sparse vector來表示就非常合理，之所以要從sparse vector的norm開始討論是因?yàn)槲覀冃枰ダ斫庖粋€(gè)很長的sparse vector的結(jié)構(gòu)，并以此設(shè)計(jì)一些更高效的算法。

下圖摘自Wright, Ma的高維數(shù)據(jù)分析圖2.6

$L^p$-norm是我們高維數(shù)據(jù)中最常用的范數(shù)，
$${\Vert x\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}$$

如果$p\ge 1$，則上面的定義是范數(shù)；如果$0<p<1$，則上式不滿足范數(shù)公理化定義中的三角不等式，無法成為范數(shù)，如果需要三角不等式，則可以用下面這個(gè)定義
$$\sum _{i=1}^n|x_i{|}^p$$

但這個(gè)定義不滿足正齊次性。從上圖可以看出，當(dāng)$p$減小時(shí)，$L^p$-ball中的vector被shrink得越厲害，對應(yīng)在sparse signal的設(shè)定中，noise就會(huì)被shrink掉，而signal得以保留。因此我們總是希望被復(fù)原的signal的范數(shù)（$p$越小的范數(shù)越好）不大于某一個(gè)閾值。

$L^0$-norm

最小可能的$p$為0，按上面的分析$L^0$-norm就是最好用的，直觀理解$L^0$-norm就是向量中不為0的元素個(gè)數(shù)
$${\Vert x\Vert }_0=\#\{i:x_i=0\}$$

但是雖然叫$L^0$-norm，但它本身并不是一個(gè)范數(shù)，因?yàn)樗粷M足正齊次性：
$$?c\in \mathbb{R},{\Vert cx\Vert }_0={\Vert x\Vert }_0=c{\Vert x\Vert }_0$$

所以盡管它滿足三角不等式，它也不是一個(gè)范數(shù)。

之所以我們稱之為范數(shù)，并把它歸為$L^p$-norm這一類，是因?yàn)?br /> $$\underset{p\to 0}{\lim }{\Vert x\Vert }_p^p=\underset{p\to 0}{\lim }\sum _{i=1}^n|x_i{|}^p=\sum _{i=1}^n\underset{p\to 0}{\lim }|x_i{|}^p=\sum _{i=1}^n{1}_{x_i=0}={\Vert x\Vert }_0$$

$L_0$-norm minimization

我們先不考慮隨機(jī)性，假設(shè)$y$是我們對稀疏信號的測量，$y=A{x}_o$；討論最簡單的問題，即測量方程中的系數(shù)$A$已知，我們的目標(biāo)是從測量中還原出信號$x_o$，一種可行的操作是在$y=Ax$的解集中找到最稀疏的向量，以此作為sparse signal的估計(jì)，用優(yōu)化表示，我們要求解的問題是：
$$\begin{gathered} \min {\Vert x\Vert }_0 \\ s.t.y=Ax \end{gathered}$$

Exhaustive Search

引入$x$的支撐集$supp(x)=\{i:x_i=0\}?\{1,?,n\}$，則$L_0$-norm minimization的目標(biāo)是找到$y=Ax$的解集中支撐集最小的解；比較粗放的想法是考慮$\{1,?,n\}$的所有子集，記為$I$，對每一個(gè)子集$I$，我們求解
$$A_I{x}_I=y$$

這里的$A_I$表示在$A$中把$I$對應(yīng)的那幾列選出來形成的子矩陣，把$x_I$解出來后填入$I$的對應(yīng)位置，其他位置填0，這樣形成一個(gè)可行解，把所有的這些可行解比較得到的支撐集最小的那個(gè)就是$L_0$-norm minimization的解：

$L_0$-norm minimization的性質(zhì)

上面的Exhaustive Search有一個(gè)非常有趣的理論性質(zhì)：當(dāng)${\Vert x_o\Vert }_0$不太大時(shí)，Exhaustive Search的解一定是$x_o$。更嚴(yán)謹(jǐn)?shù)臄⑹鲂枰隟ruskal rank：記$krank(A)$為矩陣$A$的Kruskal rank，任意$krank(A)$個(gè)$A$的列向量線性無關(guān)，但存在$krank(A)+1$個(gè)$A$的列向量線性無關(guān)。

定理($L^0$ Recovery) 假設(shè)$y=A{x}_o$，并且${\Vert x_o\Vert }_0\le \frac{1}{2}krank(A)$，則$x_o$是$L_0$-norm minimization的唯一解。

評述 這個(gè)定理說明當(dāng)$x_o$足夠sparse的時(shí)候（${\Vert x_o\Vert }_0\le \frac{1}{2}krank(A)$），$L_0$-norm minimization可以把$x_o$準(zhǔn)確還原出來。

$L_0$-norm minimization失效的情況：不妨假設(shè)$\hat{x}$是$L_0$-norm minimization的解，如果$?x_o\in null(A),{\Vert x_o\Vert }_0=k$，此時(shí)$y=A{x}_o=0$，求解$L_0$-norm minimization得到的結(jié)果一定是$\hat{x}=0$，這個(gè)推理說明$A$的核空間存在非零的稀疏矩陣時(shí)，$L_0$-norm minimization失效。

避免$L_0$-norm minimization失效引入假設(shè)：
$$\{\delta \in null(A):{\Vert \delta \Vert }_0\le 2k\}=\{0\}$$

其中$k\ge {\Vert x_o\Vert }_0$；簡單解釋一下這個(gè)假設(shè)取$2k$的原因，因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$\hat{x}$是$L_0$-norm minimization的解，所以${\Vert \hat{x}\Vert }_0\le {\Vert x_o\Vert }_0\le k$，用$\delta$表示$L_0$-norm minimization的估計(jì)誤差，即$\delta =\hat{x}?x_o$，用三角不等式
$${\Vert \delta \Vert }_0={\Vert \hat{x}?x_o\Vert }_0\le {\Vert \hat{x}\Vert }_0+{\Vert x_o\Vert }_0\le 2k$$

另外$A\delta =A(x?x_o)=y?y=0$，所以$\delta \in null(A)$；了解到這些之后我們可以發(fā)現(xiàn)，如果上面的假設(shè)成立，那么$\hat{x}=x_o$。

假設(shè)與矩陣$A$的聯(lián)系：上面的假設(shè)主要約束的是$A$的核空間，那些核空間沒有sparse vector的$A$才是好的$A$，才能得到準(zhǔn)確的signal recovery；這個(gè)假設(shè)可以用$A$的列向量重新敘述，$$\{\delta \in null(A):{\Vert \delta \Vert }_0\le 2k\}=\{0\}$$成立的條件是$A$的任意$2k$個(gè)列向量線性無關(guān)，用Kruskal rank表示就是
$$krank(A)\ge 2k\ge 2{\Vert x_o\Vert }_0$$

這就是定理的結(jié)果。

$L_0$-norm minimization是NP-hard問題

用$P$表示多項(xiàng)式時(shí)間內(nèi)可以求解的問題，$NP$表示多項(xiàng)式時(shí)間內(nèi)可以驗(yàn)證某個(gè)解是否正確的問題；NP可以在多項(xiàng)式時(shí)間內(nèi)化歸成NP-complete問題，一個(gè)很重要的猜想是$P=NP$（右圖）；NP-hard不一定能在多項(xiàng)式時(shí)間內(nèi)被驗(yàn)證，是至少與NP-complete一樣困難的問題。

定理 $L^0$-norm minimization是NP-hard問題。
評述
說明某一個(gè)問題是NP-hard問題只需要找到一個(gè)已知的NP-hard問題，然后說明這個(gè)問題與已知的NP-hard問題等價(jià)即可。

Exact 3-set Cover (E3C)：$S=\{1,?,m\}$，$\mathcal{C}=\{U_1,?,U_n\}$，$U_j?S$，$|U_j|=3$，是否存在${\mathcal{C}}^{\prime }?\mathcal{C}$，使得${\mathcal{C}}^{\prime }$覆蓋$S$，也就是$?i\in S,?!U\in {\mathcal{C}}^{\prime },i\in U$。

E3C是一個(gè)公認(rèn)的NP-hard的問題，我們可以證明$L^0$-norm minimization與E3C等價(jià)。

證明
假設(shè)矩陣$A\in \{0,1{\}}^{m\times n}$，使得$A_{ij}=1_{i\in U_j}$，取$y=1$，則$Ax=y$有稀疏解$x_o$, ${\Vert x_o\Vert }_0\le m/3$的充要條件是存在Exact 3-set Cover；

$?$: 假設(shè)存在Exact 3-set Cover ${\mathcal{C}}^{\prime }$，顯然$|{\mathcal{C}}^{\prime }|=m/3$，定義$x=(x_1,?,n{)}^{\prime },x_j=1_{U_j\in {\mathcal{C}}^{\prime }}$，則$y=Ax$并且${\Vert x\Vert }_0\le m/3$；

$?$: 假設(shè)$y=A{x}_o,{\Vert x_o\Vert }_0\le m/3$，定義${\mathcal{C}}^{\prime }=\{U_j:x_o(j)=0\}$，則${\mathcal{C}}^{\prime }$是Exact 3-set Cover。因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">${\Vert x_o\Vert }_0\le m/3$，所以$A$的列向量有$3$個(gè)非零元素，定義$I=supp(x_o)$，$A_I$至多有$m/3$列，并且至多有$m$個(gè)非零元素；又因?yàn)?span id="ozvdkddzhkzd" class="katex--inline">$A_I{x}_{oI}=y$，所以$A_I$的每一行至少有一個(gè)非零元。綜上，$A_I$每一行恰好有一個(gè)非零元，所以${\mathcal{C}}^{\prime }$是Exact 3-set Cover。

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计专题1 稀疏信号及其恢复1 L0-norm minimization的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。