局部圖像特征描述概述 樊彬
中國科學院自動化研究所 模式識別國家重點實驗室 (CASIA NLPR)

? ?? ?局部圖像特征描述是計算機視覺的一個基本研究問題，在尋找圖像中的對應點以及物體特征描述中有著重要的作用。它是許多方法的基礎，因此也是目前視覺研究中的一個熱點，每年在視覺領域的頂級會議 ICCV/CVPR/ECCV 上都有高質量的特征描述論文發表。同時它也有著廣泛的應用，舉例來說，在利用多幅二維圖像進行三維重建、恢復場景三維結構的應用中，其基本出發點是要有一個可靠的圖像對應點集合，而自動地建立圖像之間點與點之間的可靠對應關系通常都依賴于一個優秀的局部圖像特征描述子。又比如，在物體識別中，目前非常流行以及切實可行的方法之一是基于局部特征的，由于特征的局部性，使得物體識別可以處理遮擋、復雜背景等比較復雜的情況。

? ?? ?局部圖像特征描述的核心問題是不變性（魯棒性）和可區分性。由于使用局部圖像特征描述子的時候，通常是為了魯棒地處理各種圖像變換的情況。因此，在構建 / 設計特征描述子的時候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對于視角變化的不變性、對尺度變化的不變性、對旋轉變化的不變性等；在形狀識別和物體檢索中，需要考慮特征描述子對形狀的不變性。

? ?? ?然而，特征描述子的可區分性的強弱往往和其不變性是矛盾的，也就是說，一個具有眾多不變性的特征描述子，它區分局部圖像內容的能力就稍弱；而如果一個非常容易區分不同局部圖像內容的特征描述子，它的魯棒性往往比較低。舉個例子，假定我們需要對一個點周圍固定大小的局部圖像內容進行描述。如果我們直接將圖像內容展開成一個列向量對其進行描述，那么只要局部圖像內容發生了一點變化，就會使得它的特征描述子發生較大的變化，因此這樣的特征描述方式很容易區分不同的局部圖像內容，但是對于相同的局部圖像內容發生旋轉變化等情況，它同樣會產生很大的差異，即不變性弱。

? ?? ?而另一方面，如果我們通過統計局部圖像灰度直方圖來進行特征描述，這種描述方式具有較強的不變性，對于局部圖像內容發生旋轉變化等情況比較魯棒，但是區分能力較弱，例如無法區分兩個灰度直方圖相同但內容不同的局部圖像塊。

? ?? ?綜上所述，一個優秀的特征描述子不僅應該具有很強不變性，還應該具有很強的可區分性。

? ?? ?在諸多的局部圖像特征描述子中， SIFT （ Scale Invariant Feature Transform ）是其中應用最廣的，它在 1999 年首次提出，至 2004 年得到完善。 SIFT 的提出也是局部圖像特征描述子研究領域一項里程碑式的工作。由于 SIFT 對尺度、旋轉以及一定視角和光照變化等圖像變化都具有不變性，并且 SIFT 具有很強的可區分性，自它提出以來，很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應用，局部圖像特征描述子在計算機視覺領域內也得到了更加廣泛的關注，涌現了一大批各具特色的局部圖像特征描述子。

? ?? ? SURF （ Speeded Up Robust Features ）是對 SIFT 的改進版本，它利用 Haar 小波來近似 SIFT 方法中的梯度操作，同時利用積分圖技術進行快速計算， SURF 的速度是 SIFT 的 3-7 倍，大部分情況下它和 SIFT 的性能相當，因此它在很多應用中得到了應用，尤其是對運行時間要求高的場合。

? ?? ? DAISY 是面向稠密特征提取的可快速計算的局部圖像特征描述子，它本質思想和 SIFT 是一樣的：分塊統計梯度方向直方圖，不同的是， DAISY 在分塊策略上進行了改進，利用高斯卷積來進行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計算性就可以快速稠密地進行特征描述子的提取。比較巧合的是， DAISY 這種特征匯聚策略被一些研究者（ Matthen Brown ， Gang Hua ， Simon Winder ）通過機器學習的方法證明相對于其他幾種特征匯聚策略（卡迪爾坐標下分塊、極坐標下分塊）是最優的。

? ?? ? ASIFT （ Affine SIFT ）通過模擬所有成像視角下得到的圖像進行特征匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。

? ?? ? MROGH （ Multi-support Region Order-based Gradient Histogram ）則是特征匯聚策略上尋求創新，之前的局部圖像特征描述子，其特征匯聚策略都是基于鄰域內點的幾何位置的，而 MROGH 基于點的灰度序進行特征匯聚。

? ?? ? BRIEF （ Binary Robust Independent Element Feature ）利用局部圖像鄰域內隨機點對的灰度大小關系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲要求內存低，因此手機應用中具有很好的應用前景。其實，利用鄰域內點對的灰度大小關系進行特征描述這一思想在 SMD （ ECCV’08 ）中就已經有了。

? ?? ?除了 BRIEF ，近兩年還提出了許多二值特征描述子，例如 ORB 、 BRISK 、 FREAK 。上述這些特征描述子都是基于手動設計得到的，也有一些研究試圖利用機器學習的方法，通過數據驅動得到想要的特征描述子。這類特征描述子包括 PCA-SIFT ， Linear Discriminative Embedding ， LDA-Hash 等。當然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。

? ?? ?國際上研究局部圖像特征描述子比較著名的學者有：

? ?? ?英國 Surrey 大學的 Mikolajzyk ，他在 INRIA 做博后的時候，在寬基線應用背景下，對 SIFT 、 Shape Context 、 PCA-SIFT 、不變矩等多種局部圖像描述子的性能進行了評測，相關論文發表在 2005 年 PAMI 上，他提出來的評測方法至今仍是局部圖像描述子研究領域中廣泛采用的性能評測方法。

? ?? ? INRIA 的 C. Schmid ，她九十年代就開始研究局部圖像描述方法了，是這個領域內的元老之一，不過這幾年她的團隊正在將重心轉向大規模圖像檢索和行為識別等應用中。

? ?? ?比利時 Leuven 大學的 Tinne Tuytelaars ，她是著名的 SURF 描述子的提出者， SURF 相關的論文于 2011 年獲得 CVIU 引用最多論文獎，她寫了三篇局部圖像特征描述相關的綜述文章，分別是“ Local Invariant Feature Detectors: A Survey ”，“ Local Image Features ”和“ Wide baseline matching ”。

? ?? ?英國 Oxford 大學的 Andrea Valida ，他是 Vlfeat 的發起者和主要作者。 Vlfeat 是一個開源程序，其中包括了 SIFT 、 MSER ，被許多研究者廣泛采用。 Vlfeat 目前正在逐漸實現其他常用的特征描述子。

? ?? ?瑞士 EPFL 的 Vincent Lepetit 和 Pascal Fua ，他們的團隊主要致力于發展快速、高效的局部圖像特征描述子，用于模板匹配、三維重建、虛擬現實等應用。他們的工作包括用于稠密立體匹配的 DAISY 特征描述子，基于 Random Trees 的模板匹配方法，基于 Random Ferns 的模板匹配方法。此外， LDA-Hash 、 BRIEF 、 D-BRIEF （ ECCV 2012 ）也是他們的杰作。

? ?? ?中國科學院自動化研究所的吳福朝研究員，他在這方面也做了比較深入的研究，并提出了許多不錯的局部圖像特征提取和描述方法。這些名字都是我們在讀論文的時候會經常看到的。

? ?? ?最近幾年局部圖像特征描述子的發展趨勢是：快速、低存儲。這兩個趨勢使得局部圖像特征描述子可以在快速實時、大規模應用中發揮作用，而且有利于將許多應用做到手機上去進行開發，實實在在的將計算機視覺技術應用于我們周圍的世界中。為了滿足快速和低存儲這兩個需求，二值特征描述子得到了研究者的廣泛關注，這兩年CVPR和ICCV中關于局部圖像特征描述子的文章，大部分都是這類的。相信它們在未來幾年還會繼續受到關注，期待出現一些深入大眾生活中的成功應用。

from:?http://www.sigvc.org/bbs/thread-165-1-1.html

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的局部图像特征描述概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。