FROM：http://blog.csdn.net/loadstar_kun/article/details/39450137

?1.首先，我們用surf算法生成圖像庫中每幅圖的特征點及描述符。

2.再用k-means算法對圖像庫中的特征點進行訓練，生成類心。

3.生成每幅圖像的BOF，具體方法為：判斷圖像的每個特征點與哪個類心最近，最近則放入該類心，最后將生成一列頻數(shù)表，即初步的無權BOF。

4.通過tf-idf對頻數(shù)表加上權重，生成最終的bof。（因為每個類心對圖像的影響不同。比如超市里條形碼中的第一位總是6，它對辨別產品毫無作用，因此權重要減小）。

5.對query進來的圖像也進行3.4步操作，生成一列query圖的BOF。

6.將query的Bof向量與圖像庫中每幅圖的Bof向量求夾角，夾角最小的即為匹配對象。

圖像檢索中應用LSH實現(xiàn)快速搜索，其在一定概率的保證下解決了高維特征查詢的問題，但筆者在應用LSH結合SIFT特征實踐圖像檢索實驗時，由于每張圖像涉及上百個特征，那么在查詢一張圖片時，需要進行上而次的特征查詢，即便是將查詢圖片的特征點數(shù)篩選至50%的量，一次圖片查詢需要進行的特征查詢次數(shù)亦不容小窺。那么有沒有方法可以將任意圖片的所有特征向量用一個固定維數(shù)的向量表出，且這個維數(shù)并不因圖片特征點數(shù)不同而變化？本篇要講到的方法可以解決這個問題，盡管它并不是因這個問題而生的。

Bag-of-Words模型源于文本分類技術，在信息檢索中，它假定對于一個文本，忽略其詞序和語法、句法。將其僅僅看作是一個詞集合，或者說是詞的一個組合，文本中每個詞的出現(xiàn)都是獨立的，不依賴于其他詞是否出現(xiàn)，或者說這篇文章的作者在任意一個位置選擇詞匯都不受前面句子的影響而獨立選擇的。

圖像可以視為一種文檔對象，圖像中不同的局部區(qū)域或其特征可看做構成圖像的詞匯，其中相近的區(qū)域或其特征可以視作為一個詞。這樣，就能夠把文本檢索及分類的方法用到圖像分類及檢索中去。

?????????????????????? Accelerating?Bag-of-Features?SIFT?Algorithm??for?3D?Model?Retrieval

Bag-of-Features模型仿照文本檢索領域的Bag-of-Words方法，把每幅圖像描述為一個局部區(qū)域/關鍵點(Patches/Key?Points)特征的無序集合。使用某種聚類算法(如K-means)將局部特征進行聚類，每個聚類中心被看作是詞典中的一個視覺詞匯(Visual?Word)，相當于文本檢索中的詞，視覺詞匯由聚類中心對應特征形成的碼字(code?word)來表示（可看當為一種特征量化過程）。所有視覺詞匯形成一個視覺詞典(Visual?Vocabulary)，對應一個碼書(code?book)，即碼字的集合，詞典中所含詞的個數(shù)反映了詞典的大小。圖像中的每個特征都將被映射到視覺詞典的某個詞上，這種映射可以通過計算特征間的距離去實現(xiàn)，然后統(tǒng)計每個視覺詞的出現(xiàn)與否或次數(shù)，圖像可描述為一個維數(shù)相同的直方圖向量，即Bag-of-Features。

???????????????????????????????????????????

??????????????????????????Bag?of?Features?Codebook?Generation?by?Self-Organisation

?Bag-of-Features更多地是用于圖像分類或對象識別。在上述思路下對訓練集提取Bag-of-Features特征，在某種監(jiān)督學習（如:SVM）的策略下，對訓練集的Bag-of-Features特征向量進行訓練，獲得對象或場景的分類模型；對于待測圖像，提取局部特征，計算局部特征與詞典中每個碼字的特征距離，選取最近距離的碼字代表該特征，建立一個統(tǒng)計直方圖，統(tǒng)計屬于每個碼字的特征個數(shù)，即為待測圖像之Bag-of-Features特征；在分類模型下，對該特征進行預測從實現(xiàn)對待測圖像的分類。

Classification?Process

1、局部特征提取：通過分割、密集或隨機采集、關鍵點或穩(wěn)定區(qū)域、顯著區(qū)域等方式使圖像形成不同的patches，并獲得各patches處的特征。

????????????????????????????????????????????????????????????????????????????????????

其中，SIFT特征較為流行。

2、構建視覺詞典：

由聚類中心代表的視覺詞匯形成視覺詞典：

3、生成碼書，即構造Bag-of-Features特征，也即局部特征投影過程：

4、SVM訓練BOF特征得分類模型，對待測圖像BOF特征預測：

Retrieval?Process

Bag-of-words在CV中的應用首先出現(xiàn)在Andrew?Zisserman[6]中為解決對視頻場景的搜索，其提出了使用Bag-of-words關鍵點投影的方法來表示圖像信息。后續(xù)更多的研究者歸結此方法為Bag-of-Features，并用于圖像分類、目標識別和圖像檢索。在Bag-of-Features方法的基礎上，Andrew?Zisserman進一步借鑒文本檢索中TF-IDF模型(Term?Frequency一Inverse?Document?Frequency)來計算Bag-of-Features特征向量。接下來便可以使用文本搜索引擎中的反向索引技術對圖像建立索引，高效的進行圖像檢索。

Hamming?embedding?and?weak?geometric?consistency?for?large?scale?image?search

實現(xiàn)檢索的過程同分類的過程無本質的差異，更多的是細節(jié)處理上的差異：

1、局部特征提取；

2、構建視覺詞典；

3、生成原始BOF特征；

4、引入TF-IDF權值：

TF-IDF是一種用于信息檢索的常用加權技術，在文本檢索中，用以評估詞語對于一個文件數(shù)據(jù)庫中的其中一份文件的重要程度。詞語的重要性隨著它在文件中出現(xiàn)的頻率成正比增加，但同時會隨著它在文件數(shù)據(jù)庫中出現(xiàn)的頻率成反比下降。TF的主要思想是:如果某個關鍵詞在一篇文章中出現(xiàn)的頻率高，說明該詞語能夠表征文章的內容，該關鍵詞在其它文章中很少出現(xiàn)，則認為此詞語具有很好的類別區(qū)分度，對分類有很大的貢獻。IDF的主要思想是:如果文件數(shù)據(jù)庫中包含詞語A的文件越少，則IDF越大，則說明詞語A具有很好的類別區(qū)分能力。
詞頻(Term?Frequency，TF)指的是一個給定的詞語在該文件中出現(xiàn)的次數(shù)。如：tf?=?0.030?(?3/100?)表示在包括100個詞語的文檔中,?詞語'A'出現(xiàn)了3次。
逆文檔頻率(Inverse?Document?Frequency，IDF)是描述了某一個特定詞語的普遍重要性，如果某詞語在許多文檔中都出現(xiàn)過，表明它對文檔的區(qū)分力不強，則賦予較小的權重;反之亦然。如:idf?=?13.287?(?log?(10,000,000/1,000)?)表示在總的10,000,000個文檔中，有1,000個包含詞語'A'。
最終的TF-IDF權值為詞頻與逆文檔頻率的乘積。

5、對查詢圖像生成同樣的帶權BOF特征；

6、查詢：初步是通過余弦距離衡量，至于建立索引的方法還未學習到，望看客指點。

Issues

1、使用k-means聚類，除了其K和初始聚類中心選擇的問題外，對于海量數(shù)據(jù)，輸入矩陣的巨大將使得內存溢出及效率低下。有方法是在海量圖片中抽取部分訓練集分類，使用樸素貝葉斯分類的方法對圖庫中其余圖片進行自動分類。另外，由于圖片爬蟲在不斷更新后臺圖像集，重新聚類的代價顯而易見。
2、字典大小的選擇也是問題，字典過大，單詞缺乏一般性，對噪聲敏感，計算量大，關鍵是圖象投影后的維數(shù)高；字典太小，單詞區(qū)分性能差，對相似的目標特征無法表示。
3、相似性測度函數(shù)用來將圖象特征分類到單詞本的對應單詞上，其涉及線型核，塌方距離測度核，直方圖交叉核等的選擇。
4、將圖像表示成一個無序局部特征集的特征包方法，丟掉了所有的關于空間特征布局的信息，在描述性上具有一定的有限性。為此，?Schmid[2]提出了基于空間金字塔的Bag-of-Features。
5、Jégou[7]提出VLAD(vector?of?locally?aggregated?descriptors)，其方法是如同BOF先建立出含有k個visual?word的codebook，而不同于BOF將一個local?descriptor用NN分類到最近的visual?word中，VLAD所采用的是計算出local?descriptor和每個visual?word(c-i)在每個分量上的差距，將每個分量的差距形成一個新的向量來代表圖片。

Resources

Two?bag-of-words?classifiers(Matlab)
Code?for?Vocabulary?tree?based?image?search(C++)
matlab+VC?實現(xiàn)Bag?of?features?
Bag?of?Words/Bag?of?Features的Matlab源碼
一個用BoW|Pyramid?BoW+SVM進行圖像分類的Matlab?Demo
Bag-Of-Words中K-Means聚類的效率優(yōu)化
aMMAI?BLOG
Visual?Wordsを用いた類似畫像検索
bayonを使って畫像からbag-of-keypointsを求める

Paper

1.Bag?of?words?models(.ppt?)??byLi?Fei-Fei(Stanford)

2.??Spatial?Pyramid?Matching:

• Beyond?Bags?of?Features:?Spatial?Pyramid?Matching?for?Recognizing?Natural?Scene?Categories
  S.?Lazebnik,?C.?Schmid,?and?J.?Ponce,?CVPR?2006
  ?Slides,?MATLAB?code,?scene?category?dataset

3.?Improving?bag-of-features?for?large?scale?image?search

• Improving?bag-of-features?for?large?scale?image?search.
  Hervé?Jégou,?Matthijs?Douze,?Cordelia?Schmid.International?Journal?of?Computer?Vision,?Volume?87,?Number?3?-?feb?2010.[pdf]
  Demo:bigimbaz?image?search?engine?

4.?Hamming?embedding?and?weak?geometric?consistency?for?large?scale?image?search.?Hervé?Jégou,?Matthijs?Douze,?Cordelia?Schmid
European?Conference?on?Computer?Vision?-?oct?2008.[pdf][slides]

5.?Bag-of-colors?for?improved?image?search.?Christian?Wengert,?Matthijs?Douze,?Hervé?Jégou,ACM?Multimedia?(2011).[pdf]

6.?Video?Google:?A?Text?Retrieval?Approach?to?Object?Matching?in?Videos??.??J.?Sivic,?A.?Zisserman.??IEEE?International?Conference?on?Computer?Vision,?Volume?2,?page?1470--1477,?2003.[PDF?]

7.Aggregating?local?descriptors?into?a?compact?image?representation.?Hervé?Jégou,?Matthijs?Douze,?Cordelia?Schmid,?Patrick?Pérez.?IEEE?Conference?on?Computer?Vision?&?Pattern?Recognition?-?jun?2010.?[pdf][sildes]

?

轉自：http://hi.baidu.com/hj11yc/item/1c08ac29db90480242634ace

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的Bag of Features (BOF)图像检索算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。