[SIFT算法原文(Distinctive Image Features from Scale-Invariant Keypoints)

SIFT算法（Scale-invariant feature transform），即尺度不變特征變換，由David Lowe提出，是一種基于局部興趣點的算法，因此不僅對圖片大小和旋轉不敏感，而且對光照、噪聲等的抗干擾能力也很好。

主要步驟

尺度空間極值探測（Scale-space extrema detection）

利用高斯差分函數對整個圖像進行搜索，識別潛在的對縮放和旋轉具有不變性的興趣點。
使用級聯濾波方法來識別候選位置，然后進一步探測關鍵點。在所有尺度中，用尺度空間連續函數探測圖像中具有尺度變換不變性的位置。一副圖像的尺度空間函數$L(x,y,\sigma )$由可變尺度的高斯函數$G(x,y,\sigma )$和輸入圖像$I(x,y)$的卷積生成，即：
$L(x,y,\sigma )=G(x,y,\sigma )?I(x,y)$，其中，$?$指卷積操作，$G(x,y,\sigma )=\frac{1}{2\pi {\sigma }^2}?e^{?\frac{x^2+y^2}{2{\sigma }^2}}$。用**高斯差分函數(DOG)**的尺度空間極值同圖像做卷積，來有效探測尺度空間中穩定點的位置，即$D(x,y,\sigma )=(G(x,y,k\sigma )?G(x,y,\sigma ))?I(x,y)=L(x,y,k\sigma )?L(x,y,\sigma )$，其中$k$為常系數乘子。
高斯函數有較好的性質方便運算：$\sigma ?{▽}^{2}G=\frac{?G}{?\sigma }\approx \frac{G(x,y,k\sigma )?G(x,y,\sigma )}{k\sigma ?\sigma }$，

而$G(x,y,k\sigma )?G(x,y,\sigma )\approx (k?1)?{\sigma }^2?{▽}^{2}G$。

完全探測出高斯差分函數的所有極值的代價是很昂貴的，但可以使用粗糙的大尺度采樣獲得最穩定和有效的子集。

名詞解釋：

尺度空間

即試圖子圖像領域中模擬人眼觀察物體的概念與方法。SIFT利用高斯函數進行濾波的主要原因：
（1）高斯核函數是唯一的尺度不變核函數；
（2）高斯差分函數可近似為兩個$L$之差，使得特征提取更簡單（具體描述如上所示）。
而圖像的尺度空間生成$L$是當前圖像與不同尺度的核參數$\sigma$卷積后產生的圖像。
尺度空間的實現可以利用高斯金字塔表示，其構建分兩步：（1）對圖像做高斯平滑；（2）對圖像做降采樣。

將圖像金字塔每層的一張圖像使用不同參數$\sigma$做高斯模糊，使得金字塔的每層含有多張高斯模糊圖像。金字塔的每層多張圖像合稱為一組（Octave），每層只有一組圖像，組數與金字塔層數相等。每組含有多張（稱為層（Interval））圖像。降采樣時，金字塔上一組圖像的初始圖像是有前一組圖像的倒數第三張圖像隔點采樣得到的。

若高斯金字塔共有o組，s層，則有$\sigma (s)={\sigma }_0?2^{\frac{s}{S}}$，其中$\sigma$為尺度空間坐標，s為sub-level層坐標；${\sigma }_0$為初始尺度，S為每組的層數。

DOG局部極值檢測

特征點是由DOG空間的局部極值點組成。每一個像素點要和它的圖像域和尺度域的所有相鄰點進行比較。如圖所示，中間的檢測點要和它通尺度的8個相鄰點和上下相鄰尺度對應的2$\times$ 9個點比較，以確保在尺度空間和圖像空間都檢測到極值點。

關鍵點定位（Keypoint localization）

通過擬合精細的模型在每個候選位置上確定位置和尺度，而關鍵點的選擇依賴于它們的穩定程度。
通過比較一個像素和它的相鄰點可以發現候選關鍵點，接下來是對附近數據執行位置、尺度和主曲率的詳細擬合，這些信息使得低對比度的點、對噪聲敏感的點以及邊緣處的差點被淘汰。使用空間尺度函數$D(x,y,\sigma )$的泰勒展開（以樣本點為原點，展開到二階）：
$D(\mathbf{x})=D+\frac{?D^T}{?\mathbf{x}}\mathbf{x}+\frac{1}{2}{\mathbf{x}}^T\frac{{?}^{2}D}{?{\mathbf{x}}^2}\mathbf{x}$。

使$D(\mathbf{x})$的導數為0，可得極值點$\hat{\mathbf{x}}=?{\frac{{?}^{2}D}{?{\mathbf{x}}^2}}^{?1}?\frac{?D}{?\mathbf{x}}$，極值$D(\hat{\mathbf{x}})=D+\frac{1}{2}\frac{?D^T}{?\mathbf{x}}\hat{\mathbf{x}}$。

邊緣消除：高斯差分函數對于邊緣是很敏感的，但有些差的邊緣是不需要的，需要消除。主曲率可利用2$\times$ 2的Hessian 矩陣$\mathbf{H}$計算，$\mathbf{H}$中的導數$D_{xx},D_{xy},D_{yx},D_{yy}$可利用采樣點及其相鄰點的差分得到，且$\mathbf{H}$的特征值和$D$的主曲率是成正比的。

簡化運算：記$\mathbf{H}$的奇異值為$\alpha ,\beta ,且\alpha >\beta ,\alpha =r\beta$，則有$Tr(\mathbf{H})=D_{xx}+D_{yy}=\alpha +\beta ,Det(\mathbf{H})=D_{xx}{D}_{yy}?(D_{xy}{)}^2=\alpha \beta$，

則$\frac{{Tr(\mathbf{H})}^2}{Det(\mathbf{H})}=\frac{(\alpha +\beta {)}^2}{\alpha \beta }=\frac{(r+1{)}^2}{r}$。

因此，檢測主曲率是否小于設定的閾值$r$，只需檢測$\frac{{Tr(\mathbf{H})}^2}{Det(\mathbf{H})}<\frac{(r+1{)}^2}{r}=T$即可，然后便可進行消除。（建議閾值T設置為1.2，小于時保留關鍵點，大于時剔除）

圖中，（a）為原圖，（b）為經過高斯差分函數后提取到的邊緣關鍵點及方向，（c），（d）為將閾值$r$設置為10后進邊緣消除后的結果。

方向匹配（Orientation assignment）

基于局部圖像的梯度方向，為每個關鍵點設置一個或多個方向，后續對圖像的所有操作都與方向、尺度和位置的相關變換有關，這些提供了變換的不變性。
關鍵點尺度是用來選擇尺度最接近的高斯平滑圖像$L$，所有的計算都是在同一尺度不變條件下進行的。對于每個采樣圖像$L(x,y)$,利用像素差分法計算其梯度量級$m(x,y)$和方向$\theta (x,y)$，即:

$m(x,y)=\sqrt{(L(x+1,y)?L(x?1,y){)}^2+(L(x,y+1)?L(x,y?1){)}^2}$

$\theta (x,y)={tan}^{?1}[\frac{L(x,y+1)?L(x,y?1)}{L(x+1,y)?L(x?1,y)}]$。

利用關鍵點周圍區域采樣點的梯度方向生成方向直方圖，方向直方圖有36個覆蓋360度的柱子，其峰值與局部梯度的主方向相對應。首先探測到最高峰，然后對最高峰80%以上的峰也創建關鍵點及方向；因此，對于有多重相似量級的位置，可以在該相同位置和尺度創建具有多個方向的關鍵點。但只有15%的點會被設置多重方向，但他們對匹配的穩定性是很重要的，最后，得到一個擬合3個直方圖且每個峰值最接近的更準確峰位的插值拋物線。

關鍵點描述子（Keypoint descriptor）

在每個關鍵點周圍的選定區域計算局部圖像梯度，這些梯度被轉換為一種允許有較大的局部變形和光照變化的表示。計算局部圖像區域的描述子，使得他們對光照或者三維視角的變換局域不變性。利用合適的尺度在關鍵點周圍進行局部圖像強度采樣，使用歸一化的相關方法進行匹配。

通過計算關鍵點位置周圍區域的每個采樣點的梯度量級和方向，來生成關鍵點描述子。利用一個高斯窗設置權重（即上圖中的圓），然后這些樣本被累加到覆蓋4$\times$ 4個子域的方向直方圖，箭頭的長度是附近區域該方向的梯度量級之和。上圖展現的是一個從8$\times$ 8的樣本集中計算出的2$\times$ 2的描述子。

總結

以上是生活随笔為你收集整理的图像处理——SIFT算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。