再说说稀疏信号处理
過去數十年來，信號處理領域中各種方法層出不窮。其中有很多方法沒有明確的物理背景或者意義，或者在非常特殊的情況下才有，完全只是某些數學的或者數據的折騰（英語叫manipulation）。或者有的物理意義也只是粗線條的，很明顯的等等。我認為這些算法，除了可以試一下外，很難能說出別的道道
?
舉個最簡單的例子。在很多情況下，最大似然估計是最優的。在通信里面，最大似然估計在很多情況下是等價于最小距離判決，即哪個最靠近，哪個最有可能，就選哪個。但是，這種判決法只有在信噪比不是特別低的時候，才有道理。如果信噪比特別低了，說不定離得越遠的越好呢。這個信噪比的界正是香農極限。香農極限說了，如果信噪比低于這個界，信號就檢測不出來了，其實這時由于信噪比太低了，越接近的就不見得是越對的了。也就是說，在這種應用中，當信噪比低到一定程度后，所謂最優的最大似然估計法就毫無意義了。
?
過去十幾年（2006年后）中信號處理界里最熱的詞可能就是＂稀疏性＂了。當然，稀疏性就是一種物理現象或者意義，但是我覺得只是粗線條的，從本質上就是自動假設的（英語叫Inherited）。所以人們在求信號的優化過程中加上一個最小個數的限制。但是，信號個數這個度量（叫L0）在數學上不是一個范數，也就是說，不能確定更“接近”的一定更好（有點類似于上面的通信問題中低信噪比的情況），數學家說了，這時數學工具不好使。所以，人們就用了一個“最接近”L0的范數，“當然”就是L1了。是范數了，就有距離的概念了，就可以說近就是好。問題是這個好與L0好是一回事么？用L1求出來的個數少是真的少么？
?
九十年代初的OMP法找信號是在信號庫中一個一個找。先把能量最大的找到，然后減掉，再找下面的。對這種方法來說，信號庫非常重要。如果信號庫對了，還有啥方法可代替么？我認為沒有。人們也許會問，此法利用到稀疏性了么？當然用到了，信號都是一個一個找了，還沒用到稀疏性么？信號的個數總不會比一還少吧！當然，理論上可以多個多個一起找，但是這樣的復雜度會太高了。
?
這里有兩個問題。其一是信號庫的問題。怎么知道信號庫是對的？這個問題跟現在的稀疏信號處理的問題一樣。稀疏信號處理也有類似的問題，即信號在什么域里是稀疏的，這就等價于有了正確的信號庫。從這一點來說，九十年代的OMP與現在的稀疏信號處理一樣。
?
第二個問題也許是計算復雜度。其實現在的稀疏信號處理一般優化算法的復雜度更高，為了降低計算復雜度，人們反而正是用OMP法來解。
?
從上面兩點可以看出，九十年代初的OMP法與現在的稀疏信號處理法基本上是等價的，現在的各種方法都只是OMP法的各種變形，這點并不奇怪，從九十年代到現在都20多年了，本來也該會有對OMP法的自然變異了，而并非是因為是稀疏信號處理的推動。盡管是這么說，但是，由于稀疏性名字的出現，所以有更多的人被吸引過來做了。遺憾的是，現在在這個領域里的很多人都讓各種優化給打雞血了，難道這些優化算法能改進OMP法么？
?
再回到稀疏性的度量L0，假如說L0可以在數學上執行。因為稀疏信號處理的問題大多是不定的，即會有很多解。這時，稀疏性的限制就是說個數越少的越好。我覺得這樣的思考都是在沒有考慮噪聲或者信噪比高的情況下的結論。哪如果信噪比不高呢？或者說信噪比要高到什么程度？
?
我的估計是這樣的。在稀疏域中，噪聲還是滿域的且統計意義上是平的，叫噪聲地層（noise floor）。在噪聲地層上面大于XdB就可以被視為信號。這個X就是稀疏信號處理的界，類似于上面講的香農界。這個X是什么？0？還是1.6？
?
也許這一點與數字通信理論完全不一樣，因為在這里，信號的數值是任意的，無窮的，而數字通信理論中的信號只是有限的固定的。在這里，信號是人為定的，所以，上面的界X就是X，只知道它一定大于0。
?
————
編輯?∑ Gemini
來源：夏香根科學網博客
微信公眾號“算法數學之美”，由算法與數學之美團隊打造的另一個公眾號，歡迎大家掃碼關注！
更多精彩：
?如何向5歲小孩解釋什么是支持向量機（SVM）？
?自然底數e的意義是什么？
?費馬大定理，集驚險與武俠于一體
?簡單的解釋，讓你秒懂“最優化” 問題
?一分鐘看懂一維空間到十維空間
??本科、碩士和博士到底有什么區別？
?小波變換通俗解釋
?微積分必背公式
?影響計算機算法世界的十位大師
?數據挖掘之七種常用的方法
算法數學之美微信公眾號歡迎賜稿
稿件涉及數學、物理、算法、計算機、編程等相關領域，經采用我們將奉上稿酬。
投稿郵箱：math_alg@163.com
總結
- 上一篇： 那个悲伤的朋友，去了一趟菜场竟然活过来了
- 下一篇： 为什么诸多顶级期刊论文中的观点也不靠谱？