稀疏編碼系列：

• （一）----Spatial Pyramid 小結(jié)
• （二）----圖像的稀疏表示——ScSPM和LLC的總結(jié)
• （三）----理解sparse coding
• （四）----稀疏模型與結(jié)構(gòu)性稀疏模型

---------------------------------------------------------------------------

????

????? SPM?[1]全稱是Spatial Pyramid Matching，出現(xiàn)的背景是bag of visual words模型被大量地用在了Image representation中，但是BOVW模型完全缺失了特征點(diǎn)的位置信息。文章被引用了3400多次。文章的貢獻(xiàn)，看完以后覺(jué)得其實(shí)挺簡(jiǎn)單的，和分塊直方圖其實(shí)是一個(gè)道理------將圖像分成若干塊(sub-regions)，分別統(tǒng)計(jì)每一子塊的特征，最后將所有塊的特征拼接起來(lái)，形成完整的特征。這就是SPM中的Spatial。在分塊的細(xì)節(jié)上，作者采用了一種多尺度的分塊方法，即分塊的粒度越大越細(xì)(increasingly fine)，呈現(xiàn)出一種層次金字塔的結(jié)構(gòu)，這就是SPM中的Pyramid。M就是Matching，沒(méi)什么可說(shuō)的。

????? 具體地介紹Pyramid Matching：

????? -------假設(shè)存在兩個(gè)點(diǎn)集X和Y（ 每個(gè)點(diǎn)都是D維的，以下將它們所在的空間稱作特征空間）。將特征空間劃分為不同的尺度，在尺度l下特征空間的每一維劃出個(gè)cells，那么d維的特征空間就能劃出個(gè)bins；

????? -------兩個(gè)點(diǎn)集中的點(diǎn)落入同一個(gè)bin就稱這兩個(gè)點(diǎn)Match。在一個(gè)bin中match的總數(shù)定義為 min(Xi, Yi)，其中Xi和Yi分別是兩個(gè)點(diǎn)集中落入第i個(gè)bin的點(diǎn)的數(shù)目；

????? -------統(tǒng)計(jì)各個(gè)尺度下match的總數(shù)（就等于直方圖相交）。由于細(xì)粒度的bin被大粒度的bin所包含，為了不重復(fù)計(jì)算，每個(gè)尺度的有效Match定義為match的增量；

???? ?-------不同的尺度下的match應(yīng)賦予不同權(quán)重，顯然大尺度的權(quán)重小，而小尺度的權(quán)重大，因此定義權(quán)重為；

????? -------最終，兩點(diǎn)集匹配的程度定義為：

??????? (1)

? ? ? ?在作者提出的SPM中，作者實(shí)際采用了圖像的空間坐標(biāo)來(lái)代替第三段假設(shè)中提到的特征空間。因此就有作者的SPM：

?????? -------將圖像空間用構(gòu)造金字塔的方法分解為多個(gè)scale的bins（通俗地說(shuō)就是切分成不同尺度的方形）；

?????? -------像BOW一樣構(gòu)造一本大小為M的dictionary，這樣每個(gè)特征都能投影到dictionary中的一個(gè)word上。其中字典的訓(xùn)練過(guò)程是在特征空間中完成。論文中的特征利用的dense SIFT。

?????? -------統(tǒng)計(jì)每個(gè)bin中各個(gè)words的數(shù)目，最終兩幅圖像的匹配程度定義為：

????????????????????????????? ?? (2)

??????? 注意，當(dāng)L=0時(shí)，模型就退化成為BOW了。

????????SPM介紹了兩幅圖像匹配的方法。如要用于場(chǎng)景分類，注意(2)式就等于M(L+1)個(gè)直方圖相交運(yùn)算的和，其實(shí)也就等于一個(gè)更大的向量直接進(jìn)行直方圖相交運(yùn)算而已。而這個(gè)向量，就等于每個(gè)被劃分的圖像子區(qū)域上的visual words直方圖連在一起。這個(gè)特征，就是用來(lái)分類的特征。

???????? 作者在實(shí)驗(yàn)中表明，不同L下，M從200取到400對(duì)分類性能影響不大，也就是降低了碼書的大小對(duì)分類效果的影響。

????????? 在本文最開(kāi)始也提到了，這個(gè)方法可以作為一個(gè)模板，每個(gè)sub-region中統(tǒng)計(jì)的直方圖可以多種多樣，簡(jiǎn)單的如顏色直方圖，也可以用HOG，這就形成了PHOG。SPM的matlab代碼也可以從作者的主頁(yè)上下載到(here)。只不過(guò)這種空間分類信息仍然有局限性-----一幅相同的圖像旋轉(zhuǎn)90度，匹配的結(jié)果就不會(huì)太高了。所以模型隱含的假設(shè)就是圖像都是正著存儲(chǔ)的（人都是站立的，樹(shù)都是站立的.......）。Spatial BOW?[2]好像可以解決這個(gè)問(wèn)題。另外空間Pyramid的分塊方法也沒(méi)有考慮圖像中object的信息（僅僅是利用SIFT特征來(lái)描述了Object），這也是作者在文中承認(rèn)的缺點(diǎn)。

update @2014.5.29

? ? ? ? 最近有幾位網(wǎng)友提問(wèn)，說(shuō)SPM解決了圖像匹配的時(shí)候如何計(jì)算相似度。但是很多時(shí)候我們要解決分類問(wèn)題，怎么聯(lián)系在一起。我就在這一段談?wù)勎业睦斫狻．?dāng)然可能有不正確的地方，大家可以留言與我討論。

? ? ? ? 匹配的過(guò)程中，我們通過(guò)（2）式計(jì)算相似度，相似度衡量了兩組特征之間的匹配程度。而分類問(wèn)題和匹配是緊密相連的。我們以最經(jīng)典的SVM分類器為例子，SVM最終的分類決策函數(shù)可以寫成：

? ? ? ? ? ? ? ? ??? ? ? ? ? ? ?(3)

? ? ? ? 其中xi是所有的訓(xùn)練樣本，x是待分類的樣本，α只有對(duì)應(yīng)的支持向量才會(huì)大于0（非支持向量都等于0）。(3)式的截圖是從pluskid博客上偷來(lái)的，如果大家已經(jīng)忘了SVM的推導(dǎo)可以看看他的博客（點(diǎn)這里），一個(gè)非常好的介紹SVM的系列。相似的公式也可以在李航的《統(tǒng)計(jì)學(xué)習(xí)方法》P106-107找到。

? ? ? ?我們可以再把（3）式稍微改寫一下，把訓(xùn)練樣本分成正負(fù)樣本兩類：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ?(4)

? ? ? ?好了，(4)式的結(jié)果就比較直觀了。等式右邊第一項(xiàng)其實(shí)就是待分類的樣本與所有正樣本的內(nèi)積（也就是(2)式所描述的相似度，SVM可以用核函數(shù)代替內(nèi)積，在(2)式中也是用了直方圖相交的核函數(shù)代替內(nèi)積，而內(nèi)積是歐式距離對(duì)應(yīng)的核函數(shù)。SPM原文中所提到用在分類問(wèn)題中，就是用Chi-squre Kernel的SVM，這與直方圖相交一樣都是L1距離對(duì)應(yīng)的核函數(shù)），第二項(xiàng)是與所有負(fù)樣本的內(nèi)積。中間是減號(hào)，表明與所有負(fù)樣本的內(nèi)積大，f(x)就偏負(fù)，而與正樣本的內(nèi)極大，f(x)就偏正。因此，SVM無(wú)非就是正負(fù)訓(xùn)練樣本之間的一場(chǎng)拔河，誰(shuí)力氣大（和哪一類最像），x就歸誰(shuí)（屬于那一類）。而SVM的學(xué)習(xí)過(guò)程，無(wú)非就是學(xué)習(xí)α和b這些參數(shù)的過(guò)程。這些參數(shù)對(duì)各個(gè)訓(xùn)練樣本進(jìn)行加權(quán)，權(quán)重大的訓(xùn)練樣本決定性就強(qiáng)。因而，分類問(wèn)題本質(zhì)上就是一個(gè)測(cè)試樣本與訓(xùn)練樣本一一匹配的問(wèn)題了。

? ? ? ? 我覺(jué)得說(shuō)到這，分類和匹配的關(guān)系就講明白了吧。

?

Reference:

????? [1] ??Lazebnik S, Schmid C, Ponce J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]//Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. IEEE, 2006, 2: 2169-2178. ? ? [2] ?Cao Y, Wang C, Li Z, et al. Spatial-bag-of-features[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 3352-3359.

?

--------------

作者：jiang1st2010

原文地址：http://blog.csdn.net/jwh_bupt/article/details/9625469

總結(jié)

以上是生活随笔為你收集整理的空间金字塔匹配Spatial Pyramid Matching 小结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。