稀疏模型与结构性稀疏模型
稀疏編碼系列：
- （一）----Spatial Pyramid 小結
- （二）----圖像的稀疏表示——ScSPM和LLC的總結
- （三）----理解sparse coding
- （四）----稀疏模型與結構性稀疏模型
---------------------------------------------------------------------------
???????
??????? 之前幾次講到了ScSPM，以及改進的LLC。SPM是不帶結構性的稀疏編碼，而LLC是考慮了結構性的稀疏編碼。這次，我想更加全面地介紹一些結構性稀疏的內容。文章的最后會給出幾個典型的例子，附加源代碼(matlab版本的)和引文的pdf，供大家實驗。
??????? Data representation（不僅僅局限于圖像）往往基于如下最小化問題：
?? ? ? ? （1）
? ? ? ?其中X是觀測到的數據的特征矩陣，D是字典，Z是字典上的描述。約束項和使得字典dictionary和描述code具有一定結構性。當D給定時，確定Z的過程叫做representation persuit。當D和Z同時未知時，確定D就是dictionary learning的問題。
? ? ? 稀疏表示，通常對Z做約束，使得Z中的每一列只能取少量的非0系數。其中最簡單的約束項就是
? ? ? ?（2）
? ? ? ? 這時問題就變成了LASSO。K-means + Hard-VQ則是一種更嚴格的稀疏編碼，相比L1-norm的約束，Hard-VQ引入了嚴重的重建誤差，所以效果會比較差。這是介紹ScSPM和LLC時候的內容了，這里簡單重復一下。
? ? ? ? LASSO被LLC改進的一個很重要原因，就是缺少smooth，其潛在的原因便是Z中的非0元素缺少結構信息（unstructured sparse coding）。所以，后面很多論文的工作就是提出帶結構性的稀疏模型。我們將字典D中的每一個碼字稱為dictionary atoms。令表示為D中一些碼字的集合，并將所有這類集合定義為G，即。G中每一個group可以overlap也可以不overlap（這就對應于不同的group sparse model）。而約束項可以表示為：
????? （3）
? ? ? ? 其中是的子向量（只取了group中的元素）。可以看出，對每一個group內部，利用了L2-norm。由于L2-norm本身不小于0，故group之間其實是L1-norm。這樣的約束造成了group選擇特性，即group成組地取0或不取0。這樣仍然不夠完美，因為group內部的各個atom不能滿足稀疏性。于是就有方法提出，在（3）式之后再加（2）式作為約束，以保證group內的稀疏性，即：
?
?? （4）
?
可以看出當且各，（3）就退化成了lasso。
??????? 關于常見的一些結構性稀疏，列舉如下：
? ? ? ??Hierarchical Sparse Coding[code?|?read more]，認為非0的系數之間存在層次結構，即group與group之間要么不overlap，如果overlap則一個group必會包含另一個group。一種典型的層次結構就是tree結構
? ? ? ??Overlapping group sparse coding[code?|read more]，則將約束relax，即允許group之間相互overlap。這個模型據說在genetic data的描述中十分有效，大家不妨試試
????????Graph-Guided Sparse Coding[code?|read more]，建立一個graph，graph中各結點是dictionary中的各個atom。Graph-Guided不同于以上的group sparse coding，它可以加入更加復雜的結構信息。它的形式是：
? （5）
? ? ??? 不同就不同在，這里。從直觀上理解，dictionary中的每個atom被視為圖中的一個節點，而則代表節點之間邊的權重。而權重是可以做很多文章的，比如考慮atom與atom之間在語義層次上的關聯、結構層次上的關聯，等等。
?
-----------------
作者：jiang1st2010
轉載請注明出處：http://blog.csdn.net/jwh_bupt/article/details/12070273
總結
以上是生活随笔為你收集整理的稀疏模型与结构性稀疏模型的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 图像的稀疏表示——ScSPM和LLC的总
- 下一篇： Li Fei-fei写给她学生的一封信，