CS，全稱一般被認為是 Compressive/Compressed Sensing/Sampling，中文叫做壓縮感知，于 2004 至 2006 年之間由 David Donoho、Emamnuel Candes、Terry Tao 等人提出來之后，迅速發展壯大，雖然里組成 CS 理論的基本元素往前追溯都都有很多前人的研究，但是也是在把整個東西系統地提出來了之后，才引發了后續的廣泛關注，從純理論到純應用甚至是新硬件的構造等等各方面。而 CS 本身也是認為是信號處理領域自 Shannon/Nyquist 采樣理論以來的重大突破。

因為 Shannon/Nyquist 采樣理論使得我們可以用離散信號去 perfectly 重構原來的（如果是 band-limited 并且采樣率足夠高的話）連續信號，而離散時間信號處理借助于計算機的力量使得人們可以實現現在的各種復雜的信號處理和濾波，如果我們還在用 Analog 設備直接對 Analog 信號進行各種處理的話，這些東西估計都難以想象吧。然而有些問題里的信號并不是完全 band-limited 的，或者要求的 Nyquist 頻率過高使得硬件限制等各種原因無法完成有效地采樣，然后壓縮感知的理論跳出來說，如果信號在某個已知的基下面是稀疏的的話，我們可以使用遠低于 Nyquist 頻率的代價來完成采樣并完美地恢復出原始信號，與此同時，在實際應用中的各種信號，由于具有其各自的結構性，所以通常在合適的 basic 或者 dictionary 下面都會表現出稀疏性（例如自然景觀圖像在小波域下是稀疏的），另外，Machine Learning 還專門有一個 topic 叫做 sparse learning，其重要的一個目標就是給定一個數據集，構造一個 dictionary 使得該數據集在這個 dictionary 下具有稀疏的線性表達。所以壓縮感知的提出被認為是又一次重大革命。

當然把 CS 和 Shannon/Nyquist 采樣理論直接并列起來比較的話，還是有一些設定不一樣的地方，比如經典的采樣理論一般討論的需要采樣的信號是連續時間的，無窮維的信號，而 CS 中雖然也有擴展理論嘗試處理無窮維的信號，但是主要的著眼點還是在于長度為??的有限維信號；此外，經典的采樣理論中所謂的“采樣”通常是指在某一固定的頻率下沿著時間軸進行……“采樣”，然而 CS 中的采樣則是指去測量一個線性函數作用在原始信號上的值，換句話說是計算一個內積。

具體來說，CS 著眼于一個??維的向量?，采樣的過程是使用一個線性函數，也就是另一個??維向量?作用上去得到?。將??個采樣線性函數按行排列成一個??的矩陣?，于是問題就變成了已知??和?，求?。

線性代數的知識告訴我們，如果??的話，?的秩必定小于?，此時該線性系統有無窮多個解，如果??是其中任意一個解的話，那么所有

都是該問題的解，其中

圖 1 三維空間下的 2-sparse 子空間示意圖。圖片來自于《Compressed Sensing: Theory and Applications》。

是矩陣??的 Null Space。這代表我們采樣的數量還不夠 unique 地決定原始的信號。但是如果我們已知?是稀疏的，情況就不一樣了。從上面的解的形式也讓我們認識到??的 Null Space 的結構將會是影響該問題的重要因素。不過，再進一步之前，我們需要先定義一些符號。首先，一個向量?，如果其中非零元素個數不超過??的話，也就是說，如果?，那么我們稱其為?-sparse 的，所有?-sparse 的向量構成一個集合，記為?，顯然?。

直觀來說，?是由??個線性子空間的并構成的一個空間，它本身并不是一個線性子空間，換句話說，兩個?-sparse 的和通常并不再是?-sparse 的。?下的??的示意圖如圖?(img: 1)?所示。

如果我們已知了??是?-sparse 的，那么的可行解的范圍就縮小了，如果剛才提到的 Null Space 性質良好，就能夠保證我們有唯一解。具體來說，考慮一下如果??的話，會怎樣？假設?、同時是原問題的解，那么我們有

換句話說，，反過來，由于??和??都是原問題的解，它們必定各自是?-sparse 的，所以?，但由于??和??的交集里只有零元素，因此?，也就是說，原問題在這種情況下的解是唯一的。

為了更方便地描述這種情況，人們模仿矩陣的 rank 構造出一個叫做?spark?的量，一個矩陣??的 spark 是最小的數??使得??存在??列是線性相關的。對比一下，rank 則是最小的??使得所有??列都是線性相關的。根據定義容易看到，如果??的話，那么??的 Null Space 和??的交集必然只有零元素。

也就是說，如果我們已知原始的信號是?-sparse 的，那么用一個 spark 大于??的感知矩陣??來進行感知，就能保證所對應的原始信號是唯一的（并且這是充要條件）。不過光靠上面的分析只是證明了解唯一地存在，并沒有告訴我們要如何去求得這個解，如果暴力枚舉的話，將會變成一個 NP Hard 問題。所以在這里有必要簡單地小結一下，CS 的基本理論中所研究的問題大概分為以下幾塊

?需要滿足什么樣的性質可以保證壓縮感知問題的解是唯一的；又有什么樣的性質可以保證這個唯一的解是可以有效地（例如，多項式時間算法）解出來的。這里除了剛才提到的 spark 以外，還有許多諸如 Null Space Property (NSP),?Restricted Isometry Property (RIP), Coherence 之類的。

構造具體的算法去進行 Decoding，這里通常分為三類：-norm 優化算法，將原始問題進行 convex relaxation；貪心算法，迭代求解；組合優化算法，通常屬于理論計算機科學所研究的范圍。

如何去驗證一個給定的??是否滿足上面提到的要求，或者給定上面的要求如何去構造一個符合要求的?。前面提到的各種性質除了 Coherence 之外基本上都無法暴力直接驗證，因為需要進行子集枚舉；而滿足性質的矩陣構造方面，現在已經普遍接受的是使用隨機矩陣進行構造，并證明構造出來的矩陣以壓倒性的概率 (Overwhelming Probability?;p) 滿足給定的性質。

于是再回到剛才關于 Null Space 的討論中，雖然 Spark 的條件給出了在??時候解唯一的充要條件，但是僅考慮?-sparse 信號有時候還是過于局限，因為實際問題中有很多信號本身并不是嚴格的?-sparse，而僅僅是近似稀疏的，也就是是說，它們可以通過一個稀疏的向量來進行近似。具體地，我們可以定義如下的?-term approximation error

當然，如果??本身就是?-sparse 的，那么 approximation error 就為零。此外，當??是?-norm 的時候，?的最佳?-term 近似其實就是保留絕對值最大的??個分量，將剩余的分量全部置零。圖?(fig: 1)以最近的一幅合作水彩作為例子，可以看到在 Wavelet 系數域里，只要保留 5% 那么多非零系數已經可以達到相當令人眼滿意的近似結果?(可以搞一種繪畫形式要求作畫結果中最多只能保留 wavelet 或者其他什么系數域里的多少個系數非零，之類的，哈哈。)。

圖 1 Original Image. Approximation with 5-percent wavelet coefficients. Approximation with 1-percent wavelet coefficients.

回到 CS 的問題，在??本身并不是?-sparse 的時候，我們一般不指望能夠完美地恢復出??來，但是通常可以希望做到和 best?-term approximation 差不多好，具體來說，我們希望能夠實現

(eq: 1)

其中??表示我們的 decoding/reconstruction 算法。直觀來講，等式的右邊，就類似于圖?(fig: 1)?中的近似結果，這是我們在看到完整的原圖之后，把所有的系數從大到小排序然后只保留前??個的結果；而左邊則是只觀察到了矩陣??所對應的??個 sampling 值之后進行重構的結果，我們希望的是在這樣的情況下得到的結果和先觀察到完整圖之后再做近似的結果“差不多”。另外可以看到這個結果是把之前的情況包含進來作為特殊情況的：如果??本身就是?-sparse 的，那么顯然?，所以我們可以保證無損地恢復出原來的信號來。

和之前一樣，為了能夠達到?(eq: 1)?中的目標，我們從??的 Null Space 入手。之前的分析中我們要求??的 Null Space 中不要有除了 0 以外的稀疏向量，現在我們考慮的對象變成了近似稀疏的向量，于是我們類似地要求 Null Space 中不要存在 0 以外的近似稀疏的向量。具體來說，我們將要求所有??滿足

(eq: 2)

這個不等式直觀上來說，就是在說??的 Null Space??里的向量??不應該將值“稀疏地”集中在某??項以內。比如說，?如果是?-sparse 的話，那么式?(eq: 2)?右邊將會等于零，于是左邊也必須等于零，所以和之前一樣，嚴格?-sparse 的向量只有零向量；而近似?-sparse 的向量也無法存在（注意這里的常數??是和?(eq: 1)?中對應起來的同一個常數）。

為了證明這一點，我們注意到對于任意的?，我們可以將它分解為三個部分：?，其中??由絕對值最大的??項組成，?由剩下的絕對值最大的??項組成，而?。首先，由于?，由?(eq: 1)?我們可以保證無損重建，也就是說?。另一方面，由于?，我們有

因此同樣地，我們有?，由此，注意到

即證。也就是說，為了實現?(eq: 1)，必要條件是??的 Null Space 里的向量滿足?(eq: 2)，該性質又被稱為Null Space Property (NSP)?(NSP 還有許多其他類似的定義，不過本質上都是差不多的。)。實際上，通過改變一下常數，我們可以證明該條件同時是充分條件。具體來說，如果

(eq: 3)

那么我們可以令 decoder 為

則，由 decoder 的定義知道，?是屬于 Null Space 的，于是根據?(eq: 3)，我們有

即證。其中最后一個不等式是由于我們所定義的 decoder 是對其參數的??進行最小化的緣故。當然和其他具體的??最小化等 decoder 不一樣，這個 decoder 也并不確定是否有有效地算法可以去進行求解的樣子。

需要注意的是，我們上面的結論其實并沒有明確地要求??是怎樣地“近似?-sparse”，實際上??可以完全不 sparse，上面的結論仍然不會受到影響，但是結論本身可能就沒有什么用處了，因為?(eq: 1)?右邊本身就很大的話，這個 bound 就沒有任何意義了。不過接下來我們還要再將我們的目標擴充一下：將測量誤差考慮進來。換句話說，現在我們的 sample 結果將是

其中??代表測量誤差。為了討論簡單起見，我們暫時回到?-sparse 的信號，此時我們希望我們的 sensing + decoding 過程是 stable 的，具體來說，我們希望對于?，有

為了達到這個 stable 的要求，我們必須要有，對任意的?

(eq: 4)

為了證明這一必要條件，我們將??分解為?，且?，并定義

則

記?，則

但是如果僅僅是?(eq: 4)?的話，我們可以僅僅通過對??進行放大而達到任意想要的??stability。當然如果真的能夠放大 sensing 矩陣而不同時增大測量誤差的話，這確實是有效地消除測量誤差所帶來的影響的有效途徑，但是實際中通常對 sensing 進行這種 naive 的放大之后相應的誤差也會跟著放大，所以為了回避這個 trivial 的情況，我們再對?(eq: 4)?的右邊也進行一下限制。于是有了下面這個性質。

定義 1(Restricted Isometry Property (RIP)). 對于矩陣?，如果存在常數?，使得對任意?，都有那么我們稱??滿足??階 RIP。

這是一個比之前更強的性質，由??很容易知道，如果??滿足??階 RIP，那么顯然??的 spark 是大于??的，否則就存在非零??使得

除此之外，RIP 也比 NSP 要強。具體來說，我們有如下的定理。簡單起見，在接下來的討論中，我們將 NSP 限制為??為?-norm 的情況。

定理 1. 如果??滿足??階 RIP，并且?，那么??也滿足??階的 NSP，并且對應的常數為

令??為??中絕對值最大的??項的下標集，?為 除去??之后的絕對值最大的??項的下標集，依此類推。記?，顯然，我們有

接下來我們先證明對于?，有

于是

(eq: 5)

在證明中我們還需有用到如下的引理。

引理 1. 若??滿足??階 RIP，令??是??的 Null Space 中的一個向量，集合??定義和剛才一樣，并且?，則

其中

引理（的更 general 的情況，不要求??屬于 Null Space 時）的證明可以參見?(Eldar & Kutyniok, 2012)?第一章中的引理 1.3。繼續我們定理的證明，根據引理，我們有

整理得

當??時，我們有?，于是可以將系數除到右邊而不改變不等號方向，從而得到：

再帶入相應的項即證。不過，RIP 既然是更強的條件，它自然也有自己的長處。我們剛才證明了為了能夠讓壓縮感知在有感知誤差的時候也表現的 stable，RIP 是必要條件。實際上，RIP 同時也是充分條件。

定理. 如果??滿足??階 RIP，并且?，令??是如下凸優化問題的最優解：

其中?，而??是感知誤差的一個上界估計。則

其中

證明可以參見?(Candes, 2008)?或者?(Eldar & Kutyniok, 2012)?第一章中整理過的定理 1.9 的證明。關于這個定理，有幾點需要注意的：

• 這個定理將之前的情況作為特殊情況包含進來。特別地，如果測量誤差??為零，那么第二項將消失掉，只留下第一項。注意到不等號左邊是?-norm，由?-norm 和?-norm 之間的關系，很容易得到和我們之前 NSP 中一致的結論。
• 更進一步，如果??本身是?-sparse 的，此時?，于是右邊整個變成零，也就是說，此時可以保證?，亦即完美恢復。
• 這個定理和之前的結果不太一樣的是，給出了一個切實可行的 decoder：也就是?-norm 優化問題，當??時，該問題可以通過 Linear Programming 來求解，即使?，也是一個定義良好的凸優化問題，具有全局最優解，可以通過各種優化算法來求解。

小結一下，如果我們保證感知矩陣??滿足??階的 RIP，那么就能通過求解?-norm 優化問題來進行 decoding。不過，在滿足 RIP 的情況下，除了?-norm 優化之外還有沒有其他行之有效的 CS decoding 算法呢？要滿足特定的 RIP 條件的時候，對于感知樣本的數目??有什么樣的要求呢？具體的??應該如何構造呢？雖然在本文開始的時候已經有一些劇透了，不過由于長度限制，具體的內容還是未完待續吧！

References

• Candes, E. J. (2008). The restricted isometry property and its implications for compressed sensing.Comptes Rendus Mathematique,?346(9-10), 589–592.
• Eldar, Y. C., & Kutyniok, G. (2012).?Compressed sensing: theory and applications. Cambridge University Press.

from:?http://freemind.pluskid.org/machine-learning/a-compressed-sense-of-compressive-sensing-i/

總結

以上是生活随笔為你收集整理的压缩感知（I） A Compressed Sense of Compressive Sensing (I)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。