作 者 信 息

馬國寶1，俞　友2,3

(1. 青海省基礎(chǔ)測繪院，青海　西寧　810000；2. 湖南省地質(zhì)礦產(chǎn)勘查開發(fā)局402隊(duì)，湖南　長沙　410004；3. 湖南省勘測設(shè)計(jì)院，湖南　長沙　410004)

“

【摘要】針對無人機(jī)傾斜影像存在匹配困難問題，提出融合多種特征優(yōu)勢的無人機(jī)影像匹配算法。首先，提取MSER(Maximally Stable Extremal Regions)局部特征穩(wěn)定區(qū)域，并用SIFT(Scale Invariant Feature Transform)描述子對特征進(jìn)行描述；其次，利用K-D樹的搜索策略進(jìn)行特征點(diǎn)的快速檢索，采用NND算法獲取初始的粗匹配點(diǎn)對，根據(jù)結(jié)果計(jì)算影像間的仿射變換關(guān)系；最后，對SIFT特征點(diǎn)進(jìn)行約束NCC匹配，利用RANSAC算法剔除外點(diǎn)，完成最終的影像匹配。實(shí)驗(yàn)結(jié)果表明，該算法對存在較大傾斜角度的無人機(jī)影像效果較好，在匹配正確率和仿射不變性兩方面都優(yōu)于SIFT算法。

【關(guān)鍵詞】MSER；SIFT；傾斜攝影；影像匹配

【中圖分類號】P235.2 【文獻(xiàn)標(biāo)識碼】A 【文章編號】1672-1586(2019)02-0116-04

”

引文格式：馬國寶，俞　友. 多特征結(jié)合的傾斜無人機(jī)影像匹配方法[J].地理信息世界,2019,26(2):116-119.

正文

0　引　言

無人機(jī)影像匹配技術(shù)是采用一定的算法在具有相同區(qū)域的兩幅影像上尋找同名點(diǎn)的過程，進(jìn)而能夠正確地計(jì)算兩張影像空間位置關(guān)系。無人機(jī)影像匹配是后期影像拼接、高精度的立體測圖、三維城市模型重建、影像檢索等領(lǐng)域作業(yè)流程的必要步驟，同時也是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵技術(shù)。常用的基于影像特征的匹配算法，研究熱點(diǎn)主要集中在平移、旋轉(zhuǎn)、尺度與光照不變性，如MSER算法、SURF算法、SIFT算法。這些算法對變形較小的影像效果較好，由于無人機(jī)平臺的不穩(wěn)定性，當(dāng)拍攝的影像間存在尺度變化較大或者旋轉(zhuǎn)角度較大時，現(xiàn)有的算法就會遇到難以匹配或者匹配精度較低的情況。文獻(xiàn)提出混合特征在大仿射影像上的匹配應(yīng)用，通過大量的試驗(yàn)對比得出多特征融合的影像匹配算法可以得到優(yōu)于單一特征的實(shí)驗(yàn)結(jié)果，但文中利用兩種同一類型的局部穩(wěn)定特征，算法的應(yīng)用場景單一、魯棒性不強(qiáng)。文獻(xiàn)首次提出采用尺度旋轉(zhuǎn)不變的SIFT特征進(jìn)行圖像匹配的方法；經(jīng)過多年的研究，文獻(xiàn)通過試驗(yàn)對比分析得出SIFT描述子不僅具有很強(qiáng)的尺度旋轉(zhuǎn)不變性，還具有很強(qiáng)的可區(qū)分性。但針對旋轉(zhuǎn)角度較大的無人機(jī)影像僅采用MSER特征或者SIFT特征進(jìn)行匹配時，匹配結(jié)果不理想，誤匹配點(diǎn)對較多。

1　多特征結(jié)合的影像匹配方法

1.1 概述

針對以上問題，本文采用一種MSER特征與SIFT描述子相結(jié)合的無人機(jī)影像匹配方法。首先，根據(jù)MSER算子提取的仿射不變區(qū)域特征，進(jìn)行局部擬合生成特征點(diǎn)集，利用SIFT特征描述子對生成的特征點(diǎn)集進(jìn)行表達(dá)；其次，利用K-D樹快速搜索方法，以最鄰近與次鄰近比值算法提取初始特征匹配點(diǎn)集，并估算影像間的映射關(guān)系；最后，對初始匹配點(diǎn)鄰域內(nèi)SIFT特征點(diǎn)進(jìn)行約束NCC匹配，利用隨機(jī)抽樣一致性方法剔除初始匹配點(diǎn)對中的外點(diǎn)，獲得最終精匹配點(diǎn)對。通過無人機(jī)影像進(jìn)行試驗(yàn)，與常用的匹配方法相比，該算法提高了影像在存在旋轉(zhuǎn)角度較大情況下的匹配正確率。

1.2 MSER 特征提取

J.Matas最早在論文中提出最大穩(wěn)定極值區(qū)域MSER算子，經(jīng)過相關(guān)學(xué)者的驗(yàn)證被業(yè)界認(rèn)為是性能較好的仿射不變區(qū)域，對于存在仿射變化的影像灰度具有不變性，且該區(qū)域的支持具有相對灰度變化穩(wěn)定，可以用于檢測不同精細(xì)程度的區(qū)域。當(dāng)使用不同的灰度閾值對影像進(jìn)行二值化時得到的最穩(wěn)定的區(qū)域，前后相鄰閾值影像間的連通區(qū)域，最終得到MSER。因此，MSER分為MSERs+與MSERs-。對于從同一場景得到的兩幅具有仿射變換的影像來說，提取的放射不變區(qū)域在扭曲變形、尺度大小與旋轉(zhuǎn)方向上存在差異。雖然MSER得到用橢圓型擬合的仿射不變區(qū)域，為了方便進(jìn)行后續(xù)處理，需要將橢圓型擬合并歸一化為圓形，同時放大MSER區(qū)域。

對于具有相同區(qū)域的兩幅影像來說，提取的仿射不變MSER特征區(qū)域擬合成橢圓區(qū)域，如果直接采用SIFT特征描述子進(jìn)行描述，由于MSER特征區(qū)域存在一定存在的仿射變形，那么仿射不變區(qū)域存在的扭曲變形將會影響提取特征區(qū)域旋轉(zhuǎn)角度和尺度大小。因此，考慮進(jìn)一步的利用SIFT特征描述子對MSER特征區(qū)域進(jìn)行描述，需要對提取的MSER特征區(qū)域進(jìn)行歸一化處理以減弱這種差異對后期匹配結(jié)果的影響。對于MSER區(qū)域歸一化，首先以初步提取的MSER特征不變區(qū)域?yàn)榛鶞?zhǔn)將其擬合區(qū)域外擴(kuò)3倍形成新的特征橢圓計(jì)算區(qū)域，以此為基礎(chǔ)提取特征，并對其進(jìn)行處理生成指定大小的區(qū)域；然后對歸一化后的區(qū)域影像進(jìn)行特征描述子的提取。經(jīng)過這些處理后，就會獲得許多具有放射不變性而且魯棒性較好的特征區(qū)域。MSER特征歸一化擬合橢圓的方程如下：

通過公式(1)可以看出，局部穩(wěn)定的MSER特征包含兩部分信息，分別表示為特征區(qū)域的中心坐標(biāo)(u ,v )以及橢圓參數(shù)(a ,b ,c )。

1.3 SIFT 特征提取與描述

SIFT特征提取首先使用高斯濾波函數(shù)來構(gòu)造影像尺度空間，并在此基礎(chǔ)之上對影像進(jìn)行不同的重采樣，生成金字塔分層結(jié)構(gòu)，其次采用不同的高斯函數(shù)的濾波因子對金字塔分層結(jié)構(gòu)進(jìn)行濾波，最后對于相鄰的高斯濾波影像進(jìn)行相減生成高斯差分金字塔分層結(jié)構(gòu)，以達(dá)到特征點(diǎn)尺度不變的目的，并提供更為穩(wěn)定的影像特征極值點(diǎn)。其獲得的影像可表達(dá)為：

式中，G (x ，y )表示高斯函數(shù)，L (x ，y )為尺度空間影像，I (x，y?)為原始影像，*表示影像與尺度空間的卷積操作。

對于構(gòu)建完成的高斯差分金字塔分層結(jié)構(gòu)，為了提取高斯差分尺度空間上的極值點(diǎn)，將待求尺度空間下的像素點(diǎn)與相鄰尺度空間下的18個點(diǎn)以及相同尺度空間下局部相鄰的8個點(diǎn)的像素值進(jìn)行分析比較，如果該點(diǎn)為極值點(diǎn)，則標(biāo)記為候選特征點(diǎn)。為保證候選點(diǎn)的穩(wěn)定性，采用一定的方法，剔除后選點(diǎn)中位于影像邊緣的點(diǎn)與對比度比較低點(diǎn)；然后采用多項(xiàng)式擬合的方法精確確定特征點(diǎn)的位置，并將特征點(diǎn)局部域內(nèi)影像點(diǎn)的梯度方向直方圖上最大值所對應(yīng)的方向作為特征點(diǎn)的主方向。并記錄特征點(diǎn)對應(yīng)的坐標(biāo)、主方向以及尺度。像素梯度大小和方向計(jì)算如式(3)、式(4)：

為使SIFT特征具有旋轉(zhuǎn)不變性，要將坐標(biāo)軸進(jìn)行旋轉(zhuǎn)，使其與關(guān)鍵點(diǎn)在同一個方向。對于描述區(qū)域的大小，通常取16×16大小的鄰域窗口，并劃分為16個4×4的子塊。然后以該特征點(diǎn)為中心取8×8像素的窗口，計(jì)算各個像素的模值大小與梯度方向，再用高斯加權(quán)為其賦予權(quán)值，像素距離特征點(diǎn)越近其梯度方向信息貢獻(xiàn)就越大。最后在每個4×4的小塊上計(jì)算8個方向的梯度方向直方圖，計(jì)算每個梯度方向的累加值，即可形成一個特征向量，每個特征向量均包含8個方向向量信息，再依據(jù)位置依次排序，就形成一個128維的特征向量。其中，第1維對應(yīng)于第一個子區(qū)域的第一個梯度方向，第2維對應(yīng)于第一個子區(qū)域的第2個梯度方向，第9維對應(yīng)于第二個子區(qū)域的第一個梯度方向，依次類推。

1.4 集成MSER與SIFT不變特征的匹配

匹配基本步驟如下：

1)分別獲取參考影像與待配準(zhǔn)影像的MSER特征區(qū)域并進(jìn)行橢圓擬合，求得特征鄰域的協(xié)方差矩陣U ，根據(jù)對全部MSER特征鄰域歸一化并用SIFT描述子進(jìn)行描述。

2)采用K-D樹快速搜索方法，搜索最近點(diǎn)和次近點(diǎn)，并計(jì)算最近距離與次近距離的比值，將小于閾值的標(biāo)記為粗匹配點(diǎn)對；利用粗匹配點(diǎn)對中部分特征點(diǎn)估算影像透視變換模型參數(shù)用影像的初步校正。

由于，采用128維的高維向量描述SIFT不變特征，存在一定差異的特征點(diǎn)的描述子表現(xiàn)形式差別較大；因此，可以采用最近距離和次近距離的比值作為待匹配點(diǎn)的相似程度。其數(shù)學(xué)表達(dá)式為Df?/Ds<τ.其中，Df?表示與樣本特征點(diǎn)具有最短歐式距離的特征點(diǎn)，Ds?表示具有比最近鄰距離稍長的歐式距離的特征點(diǎn)，τ?是指定的閾值。假設(shè)基準(zhǔn)影像和待匹配影像的特征點(diǎn)滿足上述的關(guān)系，則標(biāo)定為正確的匹配點(diǎn)對。采用這種方法檢測到的次近距離比最近距離遠(yuǎn)的多，能夠檢測到穩(wěn)定、可靠的初始匹配點(diǎn)集。

3)分別對兩幅影像提取SIFT特征點(diǎn)，然后根據(jù)粗匹配區(qū)域間的仿射變換關(guān)系：

對粗匹配點(diǎn)鄰域內(nèi)SIFT特征點(diǎn)進(jìn)行約束NCC匹配，若粗匹配點(diǎn)鄰域內(nèi)有50%以上SIFT點(diǎn)能夠正確匹配時，認(rèn)為該MSER粗匹配點(diǎn)為同名像點(diǎn)，反之剔除。

4)利用隨機(jī)一致性算法剔除外點(diǎn)，獲得最終匹配點(diǎn)集并解算單應(yīng)矩陣H ，即基準(zhǔn)影像與待配準(zhǔn)影像間的幾何變換關(guān)系。

2　影像匹配實(shí)驗(yàn)

為保證文中提出多特征融合的無人機(jī)影像匹配方法的有效性，限于篇幅限制，文中采用一對立體影像對進(jìn)行試驗(yàn)。實(shí)驗(yàn)采用的影像是上午九點(diǎn)左右和下午三點(diǎn)左右采用國產(chǎn)大疆無人機(jī)采集的實(shí)驗(yàn)數(shù)據(jù)，影像的空間分辨力分別約為0.4 m、0.7 m。基準(zhǔn)影像與待匹配影像間存在約為25°的視角差，影像大小為5 000×5 000?pixels(將其縮小4倍為1 250×1 250)。

匹配流程如下：

(1)初始匹配。采用MSER算子檢測局部穩(wěn)定區(qū)域，如圖1a所示；對檢測出來的穩(wěn)定區(qū)域進(jìn)行擬合生成特征點(diǎn)集，然后利用SIFT特征描述子對特征點(diǎn)集進(jìn)行表達(dá)，并應(yīng)用最近鄰與次近鄰距離比值小于0.7篩選匹配點(diǎn)集 ，得到較多的初始匹配點(diǎn)集數(shù)目，這樣避免正確的匹配點(diǎn)被過濾掉，匹配點(diǎn)數(shù)目為571，如圖1b所示，從初始匹配點(diǎn)對中隨機(jī)選取5對同名點(diǎn)，利用最小二乘方法計(jì)算影像間的仿射變換模型參數(shù)，對影像進(jìn)行粗略的矯正。

2)精匹配。采用SIFT算法分別對兩幅影像提取SIFT特征點(diǎn)，然后根據(jù)粗匹配區(qū)域間的仿射變換關(guān)系，對初始匹配點(diǎn)對鄰域內(nèi)SIFT特征點(diǎn)進(jìn)行約束NCC匹配；最后利用隨機(jī)抽樣一致性剔除匹配點(diǎn)對中的外點(diǎn)，獲得精匹配點(diǎn)集，效果如圖1c所示。

a MSER特征

a MSER features

b SIFT特征

b SIFT features

c 匹配結(jié)果

c Matching result

圖1　匹配過程

Fig.1 Matching process

由表1可知，由于MSER算法提取的特征區(qū)域數(shù)目較多，出現(xiàn)區(qū)域?qū)盈B覆蓋現(xiàn)象，特征區(qū)域重復(fù)表達(dá)現(xiàn)象明顯造成最終的精匹配數(shù)目、匹配正確率都是最低的。在最終的精匹配結(jié)果中，本文提取的匹配點(diǎn)對數(shù)目比SIFT算法提取的特征點(diǎn)對少30個。因?yàn)樵诰ヅ潆A段本文方法采用約束NCC匹配中少量的正確點(diǎn)也被剔除造成的，但本文最終的正確匹配率超過92%，SIFT算法僅78%，高出十四個百分點(diǎn)。這也進(jìn)一步說明，與MSER算法和SIFT算法相比，該算法對存在旋轉(zhuǎn)角度較大的無人機(jī)影像的匹配能力強(qiáng)。通過運(yùn)用最小二乘法計(jì)算影像間的仿射變換參數(shù)，估計(jì)該方法的仿射誤差，仿射誤差的大小間接表示提取匹配點(diǎn)集的精度。從表1也可以看出本文方法的運(yùn)行時間比MSER算法、SIFT算法長，這是由于本文方法在設(shè)計(jì)時多了精匹配過程。

表1　匹配各項(xiàng)數(shù)據(jù)及不同方法比較

Tab.1 Matching data and comparing different methods

3　結(jié)束語

針對傾斜的無人機(jī)影像存在較大的旋轉(zhuǎn)角度問題，提出的多特征融合的匹配方法，通過試驗(yàn)驗(yàn)證該方法在無人機(jī)影像上匹配正確率、仿射不變性兩個方面都優(yōu)于MSER算法和SIFT算法。本文方法僅在同源的無人機(jī)影像上分析試驗(yàn)，對于能否在異源的無人機(jī)影像和衛(wèi)星影像進(jìn)行匹配還有待于確定，這也是下一步主要的研究方向之一。

本期回顧

理論研究

?·基于地理空間信息的文化遺產(chǎn)可持續(xù)發(fā)展指標(biāo)建設(shè)·基于Landsat 8的成都市城市熱島時空格局變化研究·基于視頻場景多因素的人群運(yùn)動狀態(tài)分析·巖體邊坡影像的控制測量方法研究·基于套件技術(shù)的一站式GIS系統(tǒng)框架結(jié)構(gòu)研究·JPEG 2000編碼參數(shù)對遙感影像壓縮質(zhì)量的影響·基于Mann-Kendall法的長三角城市集聚效應(yīng)空間結(jié)構(gòu)研究·3S技術(shù)在我國生態(tài)環(huán)境動態(tài)演變研究中的應(yīng)用進(jìn)展·基于異常誤差補(bǔ)償?shù)亩嗥谒疁?zhǔn)網(wǎng)動態(tài)平差·基于立體網(wǎng)格的放射性污染物擴(kuò)散過程模擬與表達(dá)創(chuàng)新應(yīng)用·基于感興趣點(diǎn)和滴滴數(shù)據(jù)的打車需求分析·新世紀(jì)版《國家普通地圖集》的內(nèi)容策劃與結(jié)構(gòu)設(shè)計(jì)·基于支持向量機(jī)的新聞事件類型識別·國土資源執(zhí)法監(jiān)察動態(tài)巡查系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)·基于AutoCAD的網(wǎng)絡(luò)地圖服務(wù)系統(tǒng)技術(shù)探討·一種基于地理格網(wǎng)的三維模型數(shù)據(jù)統(tǒng)一表達(dá)方法·基于用戶歷史瓦片瀏覽記錄的興趣點(diǎn)智能搜索方法優(yōu)化研究·稀無控制點(diǎn)無人機(jī)遙感影像幾何定位方法研究·貴州省市州域經(jīng)濟(jì)差異的時空演變·基于拓?fù)潢P(guān)系的BIM室內(nèi)封閉空間邊界建筑要素搜索方法研究·基于升降軌SBAS-InSAR技術(shù)的城市地區(qū)地表沉降監(jiān)測

郵箱變更聲明

·《地理信息世界》郵箱變更聲明

網(wǎng)站開通公告

·關(guān)于開通《地理信息世界》網(wǎng)站的公告

誠聘特約審稿專家

·誠聘|《地理信息世界》誠聘特約審稿專家

專題組稿

·約稿函|《地理信息世界》關(guān)于開辟“博士綜述論壇”專欄的約稿函

總結(jié)

以上是生活随笔為你收集整理的过程声明与同名事件或过程的描述不匹配_多特征结合的倾斜无人机影像匹配方法...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。