SIFT算法
1、SIFT綜述
尺度不變特征轉換(Scale-invariant?feature?transform或SIFT)是一種電腦視覺的算法用來偵測與描述影像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量，此算法由?David?Lowe在1999年所發表，2004年完善總結。
其應用范圍包含物體辨識、機器人地圖感知與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。
此算法有其專利，專利擁有者為英屬哥倫比亞大學。
局部影像特征的描述與偵測可以幫助辨識物體，SIFT?特征是基于物體上的一些局部外觀的興趣點而與影像的大小和旋轉無關。對于光線、噪聲、些微視角改變的容忍度也相當高。基于這些特性，它們是高度顯著而且相對容易擷取，在母數龐大的特征數據庫中，很容易辨識物體而且鮮有誤認。使用?SIFT特征描述對于部分物體遮蔽的偵測率也相當高，甚至只需要3個以上的SIFT物體特征就足以計算出位置與方位。在現今的電腦硬件速度下和小型的特征數據庫條件下，辨識速度可接近即時運算。SIFT特征的信息量大，適合在海量數據庫中快速準確匹配。
SIFT算法的特點有：
1.?SIFT特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性；
2.?獨特性（Distinctiveness）好，信息量豐富，適用于在海量特征數據庫中進行快速、準確的匹配；
3.?多量性，即使少數的幾個物體也可以產生大量的SIFT特征向量；
4.?高速性，經優化的SIFT匹配算法甚至可以達到實時的要求；
5.?可擴展性，可以很方便的與其他形式的特征向量進行聯合。
SIFT算法可以解決的問題：
目標的自身狀態、場景所處的環境和成像器材的成像特性等因素影響圖像配準/目標識別跟蹤的性能。而SIFT算法在一定程度上可解決：
1.?目標的旋轉、縮放、平移（RST）
2.?圖像仿射/投影變換（視點viewpoint）
3.?光照影響（illumination）
4.?目標遮擋（occlusion）
5.?雜物場景（clutter）
6.?噪聲
SIFT算法的實質是在不同的尺度空間上查找關鍵點(特征點)，并計算出關鍵點的方向。SIFT所查找到的關鍵點是一些十分突出，不會因光照，仿射變換和噪音等因素而變化的點，如角點、邊緣點、暗區的亮點及亮區的暗點等。?
Lowe將SIFT算法分解為如下四步：
1.?尺度空間極值檢測：搜索所有尺度上的圖像位置。通過高斯微分函數來識別潛在的對于尺度和旋轉不變的興趣點。
2.?關鍵點定位：在每個候選的位置上，通過一個擬合精細的模型來確定位置和尺度。關鍵點的選擇依據于它們的穩定程度。
3.?方向確定：基于圖像局部的梯度方向，分配給每個關鍵點位置一個或多個方向。所有后面的對圖像數據的操作都相對于關鍵點的方向、尺度和位置進行變換，從而提供對于這些變換的不變性。
4.?關鍵點描述：在每個關鍵點周圍的鄰域內，在選定的尺度上測量圖像局部的梯度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。
本文沿著Lowe的步驟，參考Rob?Hess及Andrea?Vedaldi源碼，詳解SIFT算法的實現過程。
2、高斯模糊
SIFT算法是在不同的尺度空間上查找關鍵點，而尺度空間的獲取需要使用高斯模糊來實現，Lindeberg等人已證明高斯卷積核是實現尺度變換的唯一變換核，并且是唯一的線性核。本節先介紹高斯模糊算法。
2.1二維高斯函數
高斯模糊是一種圖像濾波器，它使用正態分布(高斯函數)計算模糊模板，并使用該模板與原圖像做卷積運算，達到模糊圖像的目的。
N維空間正態分布方程為：
（1-1）
其中，是正態分布的標準差，值越大，圖像越模糊(平滑)。r為模糊半徑，模糊半徑是指模板元素到模板中心的距離。如二維模板大小為m*n，則模板上的元素(x,y)對應的高斯計算公式為：
（1-2）
???在二維空間中，這個公式生成的曲面的等高線是從中心開始呈正態分布的同心圓，如圖2.1所示。分布不為零的像素組成的卷積矩陣與原始圖像做變換。每個像素的值都是周圍相鄰像素值的加權平均。原始像素的值有最大的高斯分布值，所以有最大的權重，相鄰像素隨著距離原始像素越來越遠，其權重也越來越小。這樣進行模糊處理比其它的均衡模糊濾波器更高地保留了邊緣效果。
理論上來講，圖像中每點的分布都不為零，這也就是說每個像素的計算都需要包含整幅圖像。在實際應用中，在計算高斯函數的離散近似時，在大概3σ距離之外的像素都可以看作不起作用，這些像素的計算也就可以忽略。通常，圖像處理程序只需要計算的矩陣就可以保證相關像素影響。
2.2?圖像的二維高斯模糊
根據σ的值，計算出高斯模板矩陣的大小()，使用公式(1-2)計算高斯模板矩陣的值，與原圖像做卷積，即可獲得原圖像的平滑(高斯模糊)圖像。為了確保模板矩陣中的元素在[0,1]之間，需將模板矩陣歸一化。5*5的高斯模板如表2.1所示。
下圖是5*5的高斯模板卷積計算示意圖。高斯模板是中心對稱的。
2.3分離高斯模糊
如圖2.3所示，使用二維的高斯模板達到了模糊圖像的目的，但是會因模板矩陣的關系而造成邊緣圖像缺失(2.3?b,c)，越大，缺失像素越多,丟棄模板會造成黑邊(2.3?d)。更重要的是當變大時，高斯模板(高斯核)和卷積運算量將大幅度提高。根據高斯函數的可分離性，可對二維高斯模糊函數進行改進。
高斯函數的可分離性是指使用二維矩陣變換得到的效果也可以通過在水平方向進行一維高斯矩陣變換加上豎直方向的一維高斯矩陣變換得到。從計算的角度來看，這是一項有用的特性，因為這樣只需要次計算，而二維不可分的矩陣則需要次計算，其中，m,n為高斯矩陣的維數，M,N為二維圖像的維數。
另外，兩次一維的高斯卷積將消除二維高斯矩陣所產生的邊緣。(關于消除邊緣的論述如下圖2.4所示， 對用模板矩陣超出邊界的部分——虛線框，將不做卷積計算。如圖2.4中x方向的第一個模板1*5，將退化成1*3的模板，只在圖像之內的部分做卷積。)
附錄1是用opencv2.2實現的二維高斯模糊和分離高斯模糊。表2.2為上述兩種方法和opencv2.3開源庫實現的高斯模糊程序的比較。
3、尺度空間極值檢測
尺度空間使用高斯金字塔表示。Tony?Lindeberg指出尺度規范化的LoG(Laplacion?of?Gaussian)算子具有真正的尺度不變性，Lowe使用高斯差分金字塔近似LoG算子，在尺度空間檢測穩定的關鍵點。
3.1?尺度空間理論
尺度空間(scale?space)思想最早是由Iijima于1962年提出的，后經witkin和Koenderink等人的推廣逐漸得到關注，在計算機視覺鄰域使用廣泛。
尺度空間理論的基本思想是：在圖像信息處理模型中引入一個被視為尺度的參數，通過連續變化尺度參數獲得多尺度下的尺度空間表示序列，對這些序列進行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現邊緣、角點檢測和不同分辨率上的特征提取等。
尺度空間方法將傳統的單尺度圖像信息處理技術納入尺度不斷變化的動態分析框架中，更容易獲取圖像的本質特征。尺度空間中各尺度圖像的模糊程度逐漸變大，能夠模擬人在距離目標由近到遠時目標在視網膜上的形成過程。
尺度空間滿足視覺不變性。該不變性的視覺解釋如下：當我們用眼睛觀察物體時，一方面當物體所處背景的光照條件變化時，視網膜感知圖像的亮度水平和對比度是不同的，因此要求尺度空間算子對圖像的分析不受圖像的灰度水平和對比度變化的影響，即滿足灰度不變性和對比度不變性。另一方面，相對于某一固定坐標系，當觀察者和物體之間的相對位置變化時，視網膜所感知的圖像的位置、大小、角度和形狀是不同的，因此要求尺度空間算子對圖像的分析和圖像的位置、大小、角度以及仿射變換無關，即滿足平移不變性、尺度不變性、歐幾里德不變性以及仿射不變性。
3.2?尺度空間的表示
一個圖像的尺度空間，定義為一個變化尺度（就是高斯函數中sigma值不一樣）的高斯函數與原圖像的卷積。
??(3-1)
其中，*表示卷積運算，
??(3-2)
與公式(1-2)相同，m，n表示高斯模板的維度(由確定)。(x,?y)代表圖像的像素位置。是尺度空間因子，值越小表示圖像被平滑的越少，相應的尺度也就越小。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節特征。
3.3?高斯金字塔的構建
尺度空間在實現時使用高斯金字塔表示，高斯金字塔的構建分為兩部分：
1.?對圖像做不同尺度的高斯模糊；
2.?對圖像做降采樣(隔點采樣)。
圖像的金字塔模型是指，將原始圖像不斷降階采樣，得到一系列大小不一的圖像，由大到小，從下到上構成的塔狀模型。原圖像為金子塔的第一層，每次降采樣所得到的新圖像為金字塔的一層(每層一張圖像)，每個金字塔共n層。金字塔的層數根據圖像的原始大小和塔頂圖像的大小共同決定，其計算公式如下：
(3-3)
其中M，N為原圖像的大小,t為塔頂圖像的最小維數的對數值。如，對于大小為512*512的圖像，金字塔上各層圖像的大小如表3.1所示，當塔頂圖像為4*4時，n=7，當塔頂圖像為2*2時，n=8。
為了讓尺度體現其連續性，高斯金字塔在簡單降采樣的基礎上加上了高斯濾波。如圖3.1所示，將圖像金字塔每層（含多張大小一樣的圖片）的每一張圖像使用不同參數做高斯模糊，使得金字塔的每層含有多張高斯模糊圖像，將金字塔每層多張圖像合稱為一組(Octave)，金字塔每層只有一組圖像，組數和金字塔層數相等（命名時此時金字塔層數就相當于組數，只是不同的叫法），使用公式(3-3)計算，每組（Octave）含有多張(也叫層Interval)圖像。另外，降采樣時，高斯金字塔上一組圖像的初始圖像(底層圖像)是由前一組圖像的倒數第三張圖像隔點采樣得到的。
注：由于組內的多張圖像按層次疊放，因此組內的多張圖像也稱做多層，為避免與金字塔層的概念混淆，本文以下內容中，若不特別說明是金字塔層數，層一般指組內各層圖像,而將金字塔的層數稱為組。
注：如3.4節所示，為了在每組中檢測S個尺度的極值點，則DOG金字塔每組需S+2層圖像，而DOG金字塔由高斯金字塔相鄰兩層相減得到，則高斯金字塔每組需S+3層圖像，實際計算時S在3到5之間。取S=3時，假定高斯金字塔存儲索引如下：
第0組(即第-1組)：? 0?1? 2? 3 ?4 ? 5
第1組： ? ? ? ? ? ?6?7? 8? 9 ?10 11
第2組： ? ? ? ? ? ?？
則第2組第一張圖片根據第一組中索引為9的圖片降采樣得到，其它類似。??
3.4?高斯差分金字塔
2002年Mikolajczyk在詳細的實驗比較中發現尺度歸一化的高斯拉普拉斯函數的極大值和極小值同其它的特征提取函數，例如：梯度，Hessian或Harris角特征比較，能夠產生最穩定的圖像特征。
而Lindeberg早在1994年就發現高斯差分函數（Difference?of?Gaussian?，簡稱DOG算子）與尺度歸一化的高斯拉普拉斯函數非常近似。其中和的關系可以從如下公式推導得到：
利用差分近似代替微分，則有：
???????????????????
因此有
其中k-1是個常數，并不影響極值點位置的求取。
如圖3.2所示，紅色曲線表示的是高斯差分算子，而藍色曲線表示的是高斯拉普拉斯算子。Lowe使用更高效的高斯差分算子代替拉普拉斯算子進行極值檢測，如下：
(3-4)
在實際計算時，使用高斯金字塔每組中相鄰上下兩層圖像相減，得到高斯差分圖像，此時每租的層數減少了1，如圖3.3所示，進行極值檢測。
3.5?空間極值點檢測(關鍵點的初步探查)
關鍵點是由DOG空間的局部極值點組成的，關鍵點的初步探查是通過同一組內各DoG相鄰兩層圖像之間比較完成的。為了尋找DoG函數的極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。如圖3.4所示，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度(就是每組內不同層，因為前面對每組不同層進行了不同的sigma進行了高斯模糊所以就是不同的尺度）對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。?
由于要在相鄰尺度進行比較，如圖3.3右側每組含4層的高斯差分金子塔，只能在中間兩層中進行兩個尺度的極值點檢測，其它尺度則只能在不同組中進行。為了在每組中檢測S個尺度的極值點，則DOG金字塔每組需S+2層圖像，而DOG金字塔由高斯金字塔每組中相鄰兩層相減得到，則高斯金字塔每組需S+3層圖像，實際計算時S在3到5之間。
當然這樣產生的極值點并不全都是穩定的特征點，因為某些極值點響應較弱，而且DOG算子會產生較強的邊緣響應。
3.6?構建尺度空間需確定的參數
??—尺度空間坐標
????O—組(octave)數
????S—?組內層數
在上述尺度空間中，O和S，的關系如下：
?(3-5)
其中是基準層尺度，o為組octave的索引，s為組內層的索引。關鍵點的尺度坐標就是按關鍵點所在的組和組內的層，利用公式(3-5)計算而來。
在最開始建立高斯金字塔時，要預先模糊輸入圖像來作為第0個組的第0層的圖像，這時相當于丟棄了最高的空域的采樣率。因此通常的做法是先將圖像的尺度擴大一倍來生成第-1組。我們假定初始的輸入圖像為了抗擊混淆現象，已經對其進行的高斯模糊，如果輸入圖像的尺寸用雙線性插值擴大一倍，那么相當于。
取式(3-4)中的k為組內總層數的倒數，即
???(3-6)
在構建高斯金字塔時，組內每層的尺度坐標按如下公式計算：
(3-7)
其中初始尺度，lowe取，s為組內的層索引，不同組相同層的組內尺度坐標相同。組內下一層圖像是由前一層圖像按進行高斯模糊所得。式(3-7)用于一次生成組內不同尺度的高斯圖像，而在計算組內某一層圖像的尺度時，直接使用如下公式進行計算：
(3-8)
該組內尺度在方向分配和特征描述時確定采樣窗口的大小。
由上，式(3-4)可記為
(3-9)
圖3.5為構建DOG金字塔的示意圖，原圖采用128*128的jobs圖像，擴大一倍后構建金字塔。
4、關鍵點定位
以上方法檢測到的極值點是離散空間的極值點，以下通過擬合三維二次函數來精確確定關鍵點的位置和尺度，同時去除低對比度的關鍵點和不穩定的邊緣響應點(因為DoG算子會產生較強的邊緣響應)，以增強匹配穩定性、提高抗噪聲能力。
4.1關鍵點的精確定位
離散空間的極值點并不是真正的極值點，圖4.1顯示了二維函數離散空間得到的極值點與連續空間極值點的差別。利用已知的離散空間點插值得到的連續空間極值點的方法叫做子像素插值（Sub-pixel?Interpolation）。
為了提高關鍵點的穩定性，需要對尺度空間DoG函數進行曲線擬合。利用DoG函數在尺度空間的Taylor展開式(擬合函數)為：
(4-1)
其中，。求導并讓方程等于零，可以得到極值點的偏移量為：
(4-2)
對應極值點，方程的值為：
(4-3)
其中,代表相對插值中心的偏移量，當它在任一維度上的偏移量大于0.5時（即x或y或），意味著插值中心已經偏移到它的鄰近點上，所以必須改變當前關鍵點的位置。同時在新的位置上反復插值直到收斂；也有可能超出所設定的迭代次數或者超出圖像邊界的范圍，此時這樣的點應該刪除，在Lowe中進行了5次迭代。另外，過小的點易受噪聲的干擾而變得不穩定，所以將小于某個經驗值(Lowe論文中使用0.03，Rob?Hess等人實現時使用0.04/S)的極值點刪除。同時，在此過程中獲取特征點的精確位置(原位置加上擬合的偏移量)以及尺度()。
4.2消除邊緣響應
一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。
DOG算子會產生較強的邊緣響應，需要剔除不穩定的邊緣響應點。獲取特征點處的Hessian矩陣，主曲率通過一個2x2?的Hessian矩陣H求出：
??(4-4)
H的特征值α和β代表x和y方向的梯度，
?(4-5)
表示矩陣H對角線元素之和，表示矩陣H的行列式。假設是α較大的特征值，而是β較小的特征值，令，則
(4-6)????????????????
導數由采樣點相鄰差估計得到,在下一節中說明。
D的主曲率和H的特征值成正比，令為α最大特征值，β為最小的特征值，則公式的值在兩個特征值相等時最小，隨著的增大而增大。值越大，說明兩個特征值的比值越大，即在某一個方向的梯度值越大，而在另一個方向的梯度值越小，而邊緣恰恰就是這種情況。所以為了剔除邊緣響應點，需要讓該比值小于一定的閾值，因此，為了檢測主曲率是否在某域值r下，只需檢測
(4-7)
式(4-7)成立時將關鍵點保留，反之剔除。
在Lowe的文章中，取r＝10。圖4.2右側為消除邊緣響應后的關鍵點分布圖。
??
4.3有限差分法求導
有限差分法以變量離散取值后對應的函數值來近似微分方程中獨立變量的連續取值。在有限差分方法中，我們放棄了微分方程中獨立變量可以取連續值的特征，而關注獨立變量離散取值后對應的函數值。但是從原則上說，這種方法仍然可以達到任意滿意的計算精度。因為方程的連續數值解可以通過減小獨立變量離散取值的間格，或者通過離散點上的函數值插值計算來近似得到。這種方法是隨著計算機的誕生和應用而發展起來的。其計算格式和程序的設計都比較直觀和簡單，因而，它在計算數學中使用廣泛。
有限差分法的具體操作分為兩個部分：
1.?用差分代替微分方程中的微分，將連續變化的變量離散化，從而得到差分方程組的數學形式；
2.?求解差分方程組。
一個函數在x點上的一階和二階微商，可以近似地用它所臨近的兩點上的函數值的差分來表示。如對一個單變量函數f(x)，x為定義在區間[a,b]上的連續變量，以步長將區間[a,b]離散化，我們會得到一系列節點，
然后求出f(x)在這些點上的近似值。顯然步長h越小，近似解的精度就越好。與節點相鄰的節點有和，所以在節點處可構造如下形式的差值：
?節點的一階向前差分
節點的一階向后差分
節點的一階中心差分
本文使用中心差分法利用泰勒展開式求解第四節所使用的導數，現做如下推導。
函數f(x)在處的泰勒展開式為：
(4-8)
則，
(4-9)
(4-10)
忽略h平方之后的項，聯立式(4-9)，(4-10)解方程組得：
(4-11)
?(4-12)
二元函數的泰勒展開式如下：
將展開后忽略次要項聯立解方程得二維混合偏導如下：
(4-13)
綜上，推導了4.1,4.2遇到的所有導數計算。同理，利用多元泰勒展開式，可得任意偏導的近似差分表示。
在圖像處理中，取h=1，在圖4.2所示的圖像中，將像素0的基本中點導數公式整理如下：
4.4?三階矩陣求逆公式
高階矩陣的求逆算法主要有歸一法和消元法兩種，現將三階矩陣求逆公式總結如下：
若矩陣
可逆，即時，
(4-14)
5、關鍵點方向分配
為了使描述符具有旋轉不變性，需要利用圖像的局部特征為給每一個關鍵點分配一個基準方向。使用圖像梯度的方法求取局部結構的穩定方向。對于在DOG金字塔中檢測出的關鍵點點，采集其所在高斯金字塔圖像3σ鄰域窗口內像素的梯度和方向分布特征。梯度的模值和方向如下：
(5-1)
L為關鍵點所在的尺度空間值，按Lowe的建議，梯度的模值m(x,y)按的高斯分布加成，按尺度采樣的3σ原則，鄰域窗口半徑為。
在完成關鍵點的梯度計算后，使用直方圖統計鄰域內像素的梯度和方向。梯度直方圖將0~360度的方向范圍分為36個柱(bins)，其中每柱10度。如圖5.1所示，直方圖的峰值方向代表了關鍵點的主方向，(為簡化，圖中只畫了八個方向的直方圖)。
方向直方圖的峰值則代表了該特征點處鄰域梯度的方向，以直方圖中最大值作為該關鍵點的主方向。為了增強匹配的魯棒性，只保留峰值大于主方向峰值80％的方向作為該關鍵點的輔方向。因此，對于同一梯度值的多個峰值的關鍵點位置，在相同位置和尺度將會有多個關鍵點被創建但方向不同。僅有15％的關鍵點被賦予多個方向，但可以明顯的提高關鍵點匹配的穩定性。實際編程實現中，就是把該關鍵點復制成多份關鍵點，并將方向值分別賦給這些復制后的關鍵點，并且，離散的梯度方向直方圖要進行插值擬合處理，來求得更精確的方向角度值，檢測結果如圖5.2所示。
至此，將檢測出的含有位置、尺度和方向的關鍵點即是該圖像的SIFT特征點。
6、關鍵點特征描述
通過以上步驟，對于每一個關鍵點，擁有三個信息：位置、尺度以及方向。接下來就是為每個關鍵點建立一個描述符，用一組向量將這個關鍵點描述出來，使其不隨各種變化而改變，比如光照變化、視角變化等等。這個描述子不但包括關鍵點，也包含關鍵點周圍對其有貢獻的像素點，并且描述符應該有較高的獨特性，以便于提高特征點正確匹配的概率。?
SIFT描述子是關鍵點鄰域高斯圖像梯度統計結果的一種表示。通過對關鍵點周圍圖像區域分塊，計算塊內梯度直方圖，生成具有獨特性的向量，這個向量是該區域圖像信息的一種抽象，具有唯一性。
Lowe建議描述子使用在關鍵點尺度空間內4*4的窗口中計算的8個方向的梯度信息，共4*4*8=128維向量表征。表示步驟如下：
1.?確定計算描述子所需的圖像區域
特征描述子與特征點所在的尺度有關，因此，對梯度的求取應在特征點對應的高斯圖像上進行。將關鍵點附近的鄰域劃分為d*d(Lowe建議d=4)個子區域，每個子區域做為一個種子點，每個種子點有8個方向。每個子區域的大小與關鍵點方向分配時相同，即每個區域有個子像素，為每個子區域分配邊長為的矩形區域進行采樣(個子像素實際用邊長為的矩形區域即可包含，但由式(3-8)，不大，為了簡化計算取其邊長為，并且采樣點宜多不宜少)。考慮到實際計算時，需要采用雙線性插值，所需圖像窗口邊長為。在考慮到旋轉因素(方便下一步將坐標軸旋轉到關鍵點的方向)，如下圖6.1所示，實際計算所需的圖像區域半徑為：
???(6-1)
計算結果四舍五入取整。
2.?將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性，如6.2所示。?
旋轉后鄰域內采樣點的新坐標為：
??(6-2)
3.?將鄰域內的采樣點分配到對應的子區域內，將子區域內的梯度值分配到8個方向上，計算其權值。
旋轉后的采樣點坐標在半徑為radius的圓內被分配到的子區域，計算影響子區域的采樣點的梯度和方向，分配到8個方向上。
旋轉后的采樣點落在子區域的下標為
????(6-3)
Lowe建議子區域的像素的梯度大小按的高斯加權計算，即
(6-4)
其中a，b為關鍵點在高斯金字塔圖像中的位置坐標。
4.?插值計算每個種子點八個方向的梯度。
如圖6.3所示，將由式(6-3)所得采樣點在子區域中的下標(圖中藍色窗口內紅色點)線性插值，計算其對每個種子點的貢獻。如圖中的紅色點，落在第0行和第1行之間，對這兩行都有貢獻。對第0行第3列種子點的貢獻因子為dr，對第1行第3列的貢獻因子為1-dr，同理，對鄰近兩列的貢獻因子為dc和1-dc，對鄰近兩個方向的貢獻因子為do和1-do。則最終累加在每個方向上的梯度大小為：
(6-5)
其中k，m，n為0或為1。
5.?如上統計的4*4*8=128個梯度信息即為該關鍵點的特征向量。特征向量形成后，為了去除光照變化的影響，需要對它們進行歸一化處理，對于圖像灰度值整體漂移，圖像各點的梯度是鄰域像素相減得到，所以也能去除。得到的描述子向量為，歸一化后的特征向量為則
?(6-7)
6.?描述子向量門限。非線性光照，相機飽和度變化對造成某些方向的梯度值過大，而對方向的影響微弱。因此設置門限值(向量歸一化后，一般取0.2)截斷較大的梯度值。然后，再進行一次歸一化處理，提高特征的鑒別性。
7.?按特征點的尺度對特征描述向量進行排序。
?8.關鍵點匹配
關鍵點的匹配問題，已經轉為KPD的匹配問題，兩KPD的相似程度，使用歐式距離進行計算。設有兩個KPD分別為R = (r1, r2, ..., r128)和S = (s1, s2, ..., s128)，R與S的歐式距離計算公式為：
d = sqrt((r1?- s1)^2?+ (r2?- s2)^2?+ ... + (r128?- s128)^2)所以，要找出兩張不同尺度圖像間的對應點（具有對應關系的關鍵點），分下面幾步：
分別檢測兩張圖像的關鍵點，并計算出每個關鍵點的KPD，分別得到兩個KPD集合SET1和SET2
為SET1中每個KPD，從SET2找最佳匹配（即歐式距離最小的為最佳匹配），然后反過來，為SET2每個KPD，從SET1中找最佳匹配，只有彼此認為是最佳匹配的那些KPD對才是對應點
為提高匹配準確率，可以設定一個閾值，歐式距離大于此閾值的那些匹配對，將不考慮。
為提高算法效率，可以使用kd樹和RANSAC（ Random Sample Consensus， 隨機抽樣一致）方法。
描述向量這塊不好理解，我畫了個草圖，供參考：
7、SIFT的缺點
SIFT在圖像的不變特征提取方面擁有無與倫比的優勢，但并不完美，仍然存在：
1.?實時性不高。
2.?有時特征點較少。
3.?對邊緣光滑的目標無法準確提取特征點。
等缺點，如下圖7.1所示，對模糊的圖像和邊緣平滑的圖像，檢測出的特征點過少，對圓更是無能為力。近來不斷有人改進，其中最著名的有SURF和CSIFT。
9.算法改進SURF
為了實現尺度不變性的特征點檢測與匹配，SURF算法則先利用Hessian矩陣確定候選點，然后進行非極大抑制，計算復雜度降低多了。整個算法由以下幾個部分組成。
1.Hessian黑森矩陣構建
我們知道：SIFT算法建立一幅圖像的金字塔，在每一層進行高斯濾波并求取圖像差(DOG)進行特征點的提取，而SURF則用的是Hessian Matrix進行特征點的提取，所以黑森矩陣是SURF算法的核心。假設函數f(x,y)，Hessian矩陣H是由函數偏導數組成。首先來看看圖像中某個像素點的Hessian Matrix的定義為：
從而每一個像素點都可以求出一個Hessian Matrix. Hessian矩陣判別式為：
判別式的值是H矩陣的特征值，可以利用判定結果的符號將所有點分類，根據判別式取值正負，從來判別該點是或不是極點的值。在SURF算法中，通常用圖像像素I(x,y)取代函數值f(x,y)。然后選用二階標準高斯函數作為濾波器。通過特定核間的卷積計算二階偏導數，這樣便能計算出H矩陣的三個矩陣元素Lxx, Lxy, Lyy，從而計算出H矩陣公式如下：
但是由于我們的特征點需要尺度無關性，所以在進行Hessian矩陣構造前，需要對其進行高斯濾波。這樣，經過濾波后在進行Hessian的計算，其公式如下：
L(x,t)是一幅圖像在不同解析度下的表示，可以利用高斯核G(t)與圖像函數I(x)在點x的卷積來實現，其中高斯核G(t)為：
其中g(t)為高斯函數，t 為高斯方差。通過這種方法可以為圖像中每個像素計算出其H矩陣的決定值，并用這個值來判別特征點。為此Herbert Bay提出用近似值現代替L(x,t)。為平衡準確值與近似值間的誤差引入權值。權值隨尺度變化，則H矩陣判別式可表示為：
其中為何式中0.9呢.請詳見[1]。因求Hessian時要先高斯平滑，然后求其二階導數，這在離散的像素是用模板卷積形
成的。這比如說y方向上的模板Fig1(a)和Fig1(c).Fig1(a)即用高斯平滑后在y方向上求二階導數的模板。為了加快運算用了近似處理，其處理結果如Fig1(b)所 示，這樣就簡化了很多。并且可以采用積分圖來運算，大大的加快了速度。同理，x和y方向的二階混合偏導模板Fig1(b)與Fig1(d)。
2. 尺度空間生成
圖像的尺度空間是這幅圖像在不同解析度下的表示。上面講的這么多只是得到了一張近似Hessian行列式圖，這類似SIFT中的DOG圖，但是在金字塔圖像中分為很多層，每一層叫做一個octave，每一個octave中又有幾張尺度不同的
圖片。在SIFT算法中，同一個octave層中的圖片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave層中的圖片尺寸大小也不相同，因為它是由上一層圖片降采樣得到的。在進行高斯模糊時，SIFT的高斯模板大小是始終不變的，只是在不同的octave之間改變圖片的大小。而在SURF中，圖片的大小是一直不變的，不同的octave層得到的待檢測圖片是改變高斯模糊尺寸大小得到的，當然了，同一個octave中個的圖片用到的高斯模板尺度也不同。算法允許尺度空間多層圖像同時被處理，不需對圖像進行二次抽樣，從而提高算法性能。上圖左邊是傳統方式建立一個如圖所示的金字塔結構，圖像的寸是變化的，并且運 算會反復使用高斯函數對子層進行平滑處理，上圖右邊說明SURF算法使原始圖像保持不變而只改變濾波器大小。SURF采用這種方法節省了降采樣過程，其處理速度自然也就提上去了(注：上圖片來自于網絡)。
3. 利用非極大值抑制初步確定特征點和精確定位特征點
將經過hessian矩陣處理過的每個像素點與其3維領域的26個點進行大小比較，如果它是這26個點中的最大值或者最小值，則保留下來，當做初步的特征點。檢測過程中使用與該尺度層圖像解析度相對應大小的濾波器進行檢測，以3×3的濾波器為例，該尺度層圖像中9個像素點之一.如下圖中檢測特征點與自身尺度層中其余8個點和在其之上及之下的兩個尺度層9個點進行比較，共26個點，圖中標記‘x’的像素點的特征值若大于周圍像素則可確定該點為該區域的特征點。
然后，采用3維線性插值法得到亞像素級的特征點，同時也去掉那些值小于一定閾值的點，增加極值使檢測到的特征點數量減少，最終只有幾個特征最強點會被檢測出來。
4. 選取特征點主方向確定
為了保證旋轉不變性，在SURF中，不統計其梯度直方圖，而是統計特征點領域內的Harr小波特征。即以特征點為中心，計算半徑為6s(S為特征點所在的尺度值)的鄰域內，統計60度扇形內所有點在x(水平)和y(垂直)方向的Haar小波響應總和(Haar小波邊長取4s)，并給這些響應值賦高斯權重系數，使得靠近特征點的響應貢獻大，而遠離特征點的響應貢獻小，然后60度范圍內的響應相加以形成新的矢量，遍歷整個圓形區域，選擇最長矢量的方向為該特征點的主方向。這樣，通過特征點逐個進行計算，得到每一個特征點的主方向。該過程的示意圖如下：
5. 構造SURF特征點描述算子
在SURF中，也是在特征點周圍取一個正方形框，框的邊長為20s(s是所檢測到該特征點所在的尺度)。該框帶方向，方向當然就是第4步檢測出來的主方向了。然后把該框分為16個子區域，每個子區域統計25個像素的水平方向和垂直方向的haar小波特征，這里的x(水平)和y(垂直)方向都是相對主方向而言的。該haar小波特征為x(水平)方向值之和，水平方向絕對值之和，垂直方向之和，垂直方向絕對值之和。該過程的示意圖如下所示：
綜上所述，目前，對SURF算法有了一定了解。所以，可知SURF采用Henssian矩陣獲取圖像局部最值還是十分穩定的，但是在求主方向階段太過于依賴局部區域像素的梯度方向，有可能使得找到的主方向不準確，后面的特征向量提取以及匹配都嚴重依賴于主方向，即使不大偏差角度也可以造成后面特征匹配的放大誤差，從而匹配不成功；另外圖像金字塔的層取得不足夠緊密也會使得尺度有誤差，后面的特征向量提取同樣依賴相應的尺度，在這個問題上我們只能采用折中解決方法：取適量的層然后進行插值。
10.思考問題
1.采樣之前為什么使用高斯模糊？
尺度空間方法將傳統的單尺度圖像信息處理技術納入尺度不斷變化的動態分析框架中，更容易獲取圖像的本質特征。尺度空間中各尺度圖像的模糊程度逐漸變大，高斯模糊能夠模擬人在距離目標由近到遠時目標在視網膜上的形成過程。
2. 為什么選用高斯金字塔來作特征提取？
首先，采用DOG的金字塔原因是：因為它接近LOG，而LOG的極值點提供了最穩定的特征，而且DOG方便計算(只要做減法).而LOG的極值點提供的特征最穩定。其次，我們從直觀理解：特征明顯的點經過不同尺度的高斯濾波器進行濾波后，差別較大，所以用到的是DOG。但是直觀上怎么理解呢. 如果相鄰Octave的sigma不是兩倍關系還好理解：如果兩幅圖像只是縮放的關系，那么假設第一個Octave找到了小一倍圖像的極值點，那么大一倍圖像的極值點會在下一個Octave找到相似的。但是現在，如果把大一倍圖像進行一次下采樣(這樣和小的圖像就完全一樣了)，進行Gauss濾波時，兩個圖像濾波系數(sigma)是不一樣的，不就找不到一樣的極值點了么.
3.Hessian矩陣為什么能用來篩選極值點？
SIFT先利用非極大抑制，再用到Hessian矩陣進行濾除。SURF先用Hessian矩陣，再進行非極大抑制。SURF的順序可以加快篩選速度么(Hessian矩陣濾除的點更多?)至于SURF先用Hessian矩陣，再進行非極大抑制的原因，是不管先極大值抑制還是判斷Hessian矩陣的行列式，金字塔上的點的行列式都是要計算出來的。先判斷是否大于0只要進行1次判斷，而判斷是否是極大值點或者極小值點要與周圍26個點比較，只比較1次肯定快。而在SIFT中，構建的高斯金字塔只有一座(不想SURF是有3座)，要進行非極大抑制可以直接用金字塔的結果進行比較。而如果計算Hessian矩陣的行列式，還要再計算Dxx、Dxy、Dyy。因此先進行非極大抑制。這兩個步驟的先后與SIFT/SURF的實際計算情況有關的，都是當前算法下的最佳順序，而不是說哪種先計算一定更好。
4、為什么采用梯度特征作為局部不變特征？
這與人的視覺神經相關。采用梯度作為描述子的原因是，人的視覺皮層上的神經元對特定方向和空間頻率的梯度相應很敏感，經過SIFT作者的一些實驗驗證，用梯度的方法進行匹配效果很好。
5、為什么可以采用某些特征點的局部不變特征進行整幅圖像的匹配？
從直觀的人類視覺印象來看，人類視覺對物體的描述也是局部化的，基于局部不變特征的圖像識別方法十分接近于人類視覺機理，通過局部化的特征組合，形成對目標物體的整體印象，這就為局部不變特征提取方法提供了生物學上的解釋，因此局部不變特征也得到了廣泛應用。圖像中的每個局部區域的重要性和影響范圍并非同等重要，即特征不是同等顯著的，其主要理論來源是Marr的計算機視覺理論和Treisman的特征整合理論，一般也稱為“原子論”。該理論認為視覺的過程開始于對物體的特征性質和簡單組成部分的分析，是從局部性質到大范圍性質。SIFT/SURF都是對特征點的局部區域的描述，這些特征點應該是影響重要的點，對這些點的分析更加重要。所以在局部不變特征的提取和描述時也遵循與人眼視覺注意選擇原理相類似的機制，所以SIFT/SURF用于匹配有效果。
6. 為什么Hessian矩陣可以用來判斷極大值/極小值?
在x0點上，hessian矩陣是正定的，且各分量的一階偏導數為0，則x0為極小值點。在x0點上，hessian矩陣是負定的，且各分量的一階偏導數為0，則x0為極大值點。
對于某個局部區域，若hessian矩陣是半正定的，則這個區域是凸的（反之依然成立）；若負定，則這個區域是凹的(反之依然成立)。而對于正定和負定來說，Hessian矩陣的行列式總是大于等于0的。反過來就是說：某個點若是極大值/極小值，hessian矩陣的行列式必然要大于等于0，而大于等于0如果是滿足的，這個點不一定是極大值/極小值(還要判斷一階導數)。所以后面還要進行極大值抑制.
from :https://blog.csdn.net/zddblog/article/details/7521424
? ? ? ? ? ? ?https://blog.csdn.net/songzitea/article/details/16986423
? ? ? ? ? ? ?https://segmentfault.com/a/1190000004149225
? ? ? ? ? ? ?
? ? ? ??
總結
- 上一篇： python常用中文分词方法_中文分词原
- 下一篇： 求1到n ，这n个整数的二进制表示比特1