原理 快速邻近匹配_论文推荐 | 陈晓勇：低空摄影测量立体影像匹配的现状与展望...
《測(cè)繪學(xué)報(bào)》
構(gòu)建與學(xué)術(shù)的橋梁 拉近與權(quán)威的距離
低空攝影測(cè)量立體影像匹配的現(xiàn)狀與展望
陳曉勇1, 何海清1, 周俊超1, 安譜陽(yáng)1, 陳婷2
1.東華理工大學(xué)測(cè)繪工程學(xué)院, 江西 南昌 330013;2.東華理工大學(xué)水資源與環(huán)境工程學(xué)院, 江西 南昌 330013
收稿日期：2019-10-27；修回日期：2019-12-05
基金項(xiàng)目：國(guó)家自然科學(xué)基金(41861062；41401526)；江西省自然科學(xué)基金(20171BAB213025；20181BAB203022)；江西省高等學(xué)校科技落地計(jì)劃(KJLD14049)
第一作者簡(jiǎn)介：陳曉勇(1961-), 男, 教授, 研究方向?yàn)榈乩硇畔⒖茖W(xué)的理論和應(yīng)用。E-mail:chenxy@ecit.cn
通信作者：何海清, E-mail：hyhqing@163.com
摘要：影像匹配是在兩幅或多幅具有重疊度的影像中通過特定的算法提取影像間同名點(diǎn)的過程，是低空攝影測(cè)量數(shù)據(jù)處理中最為關(guān)鍵的步驟，匹配質(zhì)量與效率直接影響到后續(xù)數(shù)據(jù)處理的成功與否，關(guān)系到測(cè)繪產(chǎn)品生成質(zhì)量。本文系統(tǒng)闡述了低空攝影測(cè)量影像匹配的研究現(xiàn)狀與展望。對(duì)影像匹配的分類進(jìn)行總結(jié)和歸納，大體上，影像匹配可劃分為兩大類，即基于灰度和基于特征的匹配。重點(diǎn)針對(duì)基于特征的影像匹配，從點(diǎn)、線、面等特征提取算法及特征描述符和相似性測(cè)度與策略等方面進(jìn)行了詳細(xì)闡述。此外，列舉最新的基于深度學(xué)習(xí)的影像匹配算法，對(duì)低空平臺(tái)搭載的多樣化傳感器數(shù)據(jù)融合可能涉及的影像匹配方法進(jìn)行了展望。
關(guān)鍵詞：影像匹配 低空攝影測(cè)量 特征提取 深度學(xué)習(xí)
Progress and future of image matching in low-altitude photogrammetry
CHEN Xiaoyong1,HE Haiqing1, ZHOU Junchao1, AN Puyang1, CHEN Ting21.School of Geomatics, East China University of Technology, Nanchang 330013, China;
2.School of Water Resources & Environmental Engineering, East China University of Technology, Nanchang 330013, China
Foundation support: The National Natural Science Foundation of China (Nos. 41861062; 41401526); The Jiangxi Natural Science Foundation of China (Nos. 20171BAB213025; 20181BAB203022); The Higher School Science and Technology Landing Project of Jiangxi Province (No. KJLD14049)
First author: CHEN Xiaoyong(1961—), male, professor, majors in theory and application of geographic information science.E-mail: chenxy@ecit.cn.
Corresponding author: HE Haiqing, E-mail: hyhqing@163.com.
Abstract: Image matching is the process of obtaining corresponding points between two or more overlapping images by a specific algorithm. It is the critical step in the low-altitude photogrammetric data processing. The quality and efficiency of matching directly affect the subsequent data processing and the quality of mapping product generation. Therefore, image matching is one of the hot topics in the field of low-altitude photogrammetry and many relevant algorithms have been proposed. In this paper, the research status and prospect of image matching in low-altitude photogrammetry are described systematically. Firstly, the categories of image matching are summarized and can be generally divided into gray- and feature-based matching. We focus on feature-based image matching, e.g., point, line, and region-based features extraction and the relevant descriptors and similarity measures are described in detail. Besides, the latest image matching algorithms based on deep learning are listed, and the image matching methods involved in data fusion of various sensors on low-altitude platforms are mentioned.
Key words: image matching low-altitude photogrammetry feature extraction deep learning
低空攝影測(cè)量由于攝影高度較低，云霧產(chǎn)生的遮擋影響更小，低空飛行平臺(tái)具有機(jī)動(dòng)靈活、便捷、快速高效等優(yōu)勢(shì)，在某種程度上可對(duì)航空和衛(wèi)星攝影測(cè)量方式進(jìn)行補(bǔ)充，在資源調(diào)查、環(huán)境監(jiān)測(cè)、城市建模、地形測(cè)繪等領(lǐng)域應(yīng)用廣泛[1-2]。
在低空攝影測(cè)量數(shù)據(jù)處理中，影像匹配是最為關(guān)鍵的步驟。影像匹配旨在兩幅或多幅具有重疊度的影像中通過特定的算法提取影像間同名點(diǎn)的過程，匹配質(zhì)量與效率直接影響到后續(xù)數(shù)據(jù)處理成功與否，以及關(guān)系到測(cè)繪產(chǎn)品生成質(zhì)量。因而，影像匹配是低空攝影測(cè)量數(shù)據(jù)處理領(lǐng)域的研究熱點(diǎn)之一，迄今為止，國(guó)內(nèi)外研究人員提出了許多卓有成效的方法。
1 基于灰度的匹配方法
基于灰度的影像匹配算法起步較早，是圖像匹配中常用的方法。該算法根據(jù)兩幅影像之間的重疊區(qū)域的灰度相似性程度來(lái)確定匹配點(diǎn)，目前發(fā)展較為成熟。具體而言，該算法是比較參考影像待匹配點(diǎn)鄰近區(qū)域灰度與目標(biāo)影像搜索區(qū)像素鄰近灰度的相似性來(lái)確定兩幅影像的同名點(diǎn)。基于灰度的影像匹配方法包括協(xié)方差函數(shù)法、有差平方和法、相關(guān)系數(shù)法、差絕對(duì)值和法、相關(guān)函數(shù)法，以及最小二乘法、去均值歸一化相關(guān)算法、序列相似性檢測(cè)算法、歸一化灰度組合算法、不變矩匹配法、網(wǎng)格匹配法、塊匹配法和比值匹配法等。然而，基于灰度的匹配算法過于依賴點(diǎn)像素的信息，對(duì)于噪聲、灰度與尺度變化等變化較為敏感，且匹配效率不高，僅適合于匹配簡(jiǎn)單的剛體或仿射變換的場(chǎng)景。為提高基于灰度的匹配方法效率，文獻(xiàn)[3]于1972年利用核線相關(guān)將影像相關(guān)的二維搜索空間縮小為一維搜索，從而大幅度提高了匹配效率。此外，為提高影像匹配在幾何畸變、噪聲和輻射等存在的情況下的穩(wěn)健性，文獻(xiàn)[4]提出了最小二乘影像匹配算法，利用最小二乘平差來(lái)消除匹配窗口中影像畸變與噪聲帶來(lái)的影響，匹配精度可達(dá)1/10~1/100像素，從而實(shí)現(xiàn)影像高精度相關(guān)。文獻(xiàn)[5]提出了基于物方的影像匹配(VLL法)，通過迭代逐步趨近的方法在待匹配點(diǎn)平面坐標(biāo)已知的情況下，確定待匹配點(diǎn)高程。
基于灰度的影像匹配方法雖然算法簡(jiǎn)單，但對(duì)光照變化敏感，對(duì)于影像旋轉(zhuǎn)和尺度變化適應(yīng)性差，且存在運(yùn)算量較大等缺陷，難以滿足低空影像匹配的需要。相比而言，基于特征的匹配方法是通過比較重疊影像上特征的相似程度來(lái)確定同名點(diǎn)。特征基元包括點(diǎn)、線、面等顯著特征，相比像素點(diǎn)數(shù)量大為減少，提取的特征具有較強(qiáng)的抗噪性，且對(duì)影像間灰度變化、局部形變和遮擋也有較強(qiáng)的穩(wěn)健性，因而，低空攝影測(cè)量影像匹配廣泛采用基于特征的匹配方法，該方法主要包括3個(gè)過程，即特征提取、特征描述、特征匹配。
2 基于特征的匹配方法
根據(jù)提取特征的種類，影像特征提取大致可分為點(diǎn)特征提取、線特征提取及面特征提取3大類。
2.1 點(diǎn)特征提取
點(diǎn)特征是指影像中灰度信號(hào)在二維方向上有著明顯變化的點(diǎn)，是影像中最基本的特征。點(diǎn)特征的概念由文獻(xiàn)[6]在1980年提出，Moravec角點(diǎn)提取算子利用差平方和函數(shù)計(jì)算局部窗口內(nèi)8個(gè)方向的相似性，根據(jù)局部最大值來(lái)確定角點(diǎn)，然而，Moravec算子易受噪聲的影響。文獻(xiàn)[7]提出了SUSAN(smallest univalve segment assimilating nucleus)算子，該算子與Moravec算子的基本思想一致，都是通過局部自相似性來(lái)檢測(cè)角點(diǎn)，不同的是，SUSAN算子在計(jì)算相似性時(shí)使用矩形函數(shù)，這一改變可避免噪聲造成的干擾。在Moravec算法的基礎(chǔ)上，文獻(xiàn)[8]提出了Harris角點(diǎn)提取算法，從數(shù)學(xué)的角度上定義點(diǎn)特征，該方法以Hessain矩陣及其特征值作為依據(jù)來(lái)判斷特征點(diǎn)，具有計(jì)算簡(jiǎn)便，檢測(cè)到的角點(diǎn)具有旋轉(zhuǎn)不變等特點(diǎn)。與Harris角點(diǎn)算子類似的還包括Kanade-Tomasi算子[9]。文獻(xiàn)[10]在Harris算子上加以改進(jìn)，使其擴(kuò)展到在仿射變換時(shí)角點(diǎn)特征也較為穩(wěn)健。為進(jìn)一步提升點(diǎn)特征的旋轉(zhuǎn)不變、尺度不變性，文獻(xiàn)[11]提出了DoG(Difference of Gaussian)特征；在此基礎(chǔ)上，文獻(xiàn)[12]結(jié)合尺度空間理論提出了DoG特征提取算法，使得提取的特征點(diǎn)具有旋轉(zhuǎn)和尺度不變性。此外，文獻(xiàn)[13]提出了FAST角點(diǎn)特征來(lái)進(jìn)一步提升點(diǎn)特征檢測(cè)效率。在FAST算子基礎(chǔ)上，文獻(xiàn)[14]提出了一種自適應(yīng)通用加速分割檢測(cè)算法。
2.2 線特征提取
文獻(xiàn)[15]分別于1983年和1984年定義線特征為影像中脊和谷。在線特征檢測(cè)中，較為經(jīng)典的算子是Sobel算子[16]和Canny算子[17]。Sobel算子是基于Hessain矩陣在尺度空間中通過該矩陣的兩個(gè)特征值來(lái)判別邊緣，檢測(cè)效率較低。為此，Canny算子提出利用基于搜索(影像的一階導(dǎo)數(shù))和基于零交叉(影像二階導(dǎo)數(shù))的特征檢測(cè)算法來(lái)提高線特征檢測(cè)效率。除了這兩種經(jīng)典的線提取算法之外，文獻(xiàn)[18]提出了一種利用傅里葉變換，將影像由空間域變換到頻率域，通過相位一致性來(lái)檢測(cè)線特征；此外，也有利用特征點(diǎn)算子來(lái)檢測(cè)特征線，如利用SUSAN算子來(lái)檢測(cè)邊緣點(diǎn)[7]。
2.3 面特征提取
面特征與點(diǎn)、線特征有所不同，面特征的范圍較大，特征較為穩(wěn)定并具有抗噪能力強(qiáng)等特點(diǎn)，在影像中主要表現(xiàn)為灰度大致相同或變化較為平緩的區(qū)域。基于面特征的提取算法較為典型的算法包括MSER算法[19]、PCBR檢測(cè)算子[20]。其中，MSER算法移植了分水嶺的思想，該算法提取的極值區(qū)域即面特征為某個(gè)閾值圖像的連通分量，并通過該極值區(qū)域的旋轉(zhuǎn)與尺寸歸一化來(lái)實(shí)現(xiàn)仿射不變性。PCBR檢測(cè)算子是一種基于線條和曲率的算法，在尺度空間中構(gòu)建最大主曲率圖像，并利用分水嶺分割方法來(lái)尋找在尺度變化情況下，位置和面積不變或變化較小的區(qū)域。此外，研究人員還提出了旨在檢測(cè)兼具尺度不變性與仿射不變性的區(qū)域的其他算法，如基于圖割的影像分割算法等[21]。
2.4 特征描述符
在影像中提取特征后，為評(píng)判不同影像特征間的相似性，需要利用數(shù)值向量對(duì)特征區(qū)域的局部特征進(jìn)行編碼，該數(shù)值向量通常稱為特征描述符。其中，較為常用的是基于分布的描述符，通過不同的統(tǒng)計(jì)直方圖形式來(lái)表示局部區(qū)域的特征[22]，與基于導(dǎo)數(shù)和過濾器的描述符[23]等其他類型描述符相比在性能上具有一定的優(yōu)勢(shì)。基于分布的描述符通常可分為基于漸變、像素強(qiáng)度順序、相位一致、自相似、整合及二進(jìn)制描述符。
作為當(dāng)下較為流行的基于分布的描述符的SIFT算法[24]，在計(jì)算機(jī)視覺和遙感等領(lǐng)域已得到廣泛應(yīng)用，其基本思想是依據(jù)圖像梯度函數(shù)來(lái)構(gòu)造3D空間方向直方圖。許多研究人員在SIFT描述符的基礎(chǔ)上進(jìn)行了擴(kuò)展，如SURF描述符[25]在笛卡爾網(wǎng)格上應(yīng)用Haar小波響應(yīng)以提高其計(jì)算速度；文獻(xiàn)[26]提出了描述符DAISY，它利用不同的各向同性高斯函數(shù)來(lái)高效、密集地計(jì)算梯度方向直方圖，并使用圓形柵格代替矩形柵格，以提高描述符的穩(wěn)健性和獨(dú)特性。PIIFD(partial intensity invariant feature descriptor)即部分強(qiáng)度不變特征描述符[27]利用對(duì)稱梯度方向直方圖來(lái)進(jìn)行多模態(tài)圖像配準(zhǔn)。文獻(xiàn)[28]利用邊緣的位置和方向在SIFT的空間結(jié)構(gòu)中生成可擴(kuò)展的二進(jìn)制邊緣圖。文獻(xiàn)[29]利用仿射尺度空間和鏡面反射極化直方圖來(lái)改進(jìn)SIFT特征描述符。文獻(xiàn)[30]提出AB-SIFT算法，將自適應(yīng)量化應(yīng)用于描述符結(jié)構(gòu)，以提高其可區(qū)分性與穩(wěn)健性。
為使基于分布的描述符獲得旋轉(zhuǎn)不變性，文獻(xiàn)[31]提出了基于像素強(qiáng)度階次的描述符LIOP和基于多支持區(qū)域階次的梯度直方圖描述符MROGH[32]；文獻(xiàn)[33]提出了整體強(qiáng)度階次描述符OIOP和混合強(qiáng)度階次描述符MIOP；文獻(xiàn)[34]提出了多鄰域強(qiáng)度相對(duì)階次描述符MIROP。盡管這些描述符具有旋轉(zhuǎn)不變性，但對(duì)明顯的非線性光照變化較為敏感。
此外，二進(jìn)制描述符也被提出在計(jì)算效率及存儲(chǔ)空間方面提升特征描述符的性能，如BRIEF(binary robust independent elementary features)[35]、FREAK(fast retina key point)[36]、LDB(local difference binary)[37]和RFD(receptive fields descriptor)[38]等，這些算法通常基于濾波或圖像點(diǎn)對(duì)之間的強(qiáng)度關(guān)系進(jìn)行線性組合，比傳統(tǒng)的非二進(jìn)制描述符所占內(nèi)存更少，并提高了效率。文獻(xiàn)[39]提出了CSLBP(center sym-metric local binary pattern)描述符，該描述符以SIFT空間形式和通過編碼灰度強(qiáng)度的局部分布來(lái)描述特征。文獻(xiàn)[40]提出了對(duì)光照穩(wěn)健的LPCD(local patch clustering distribution)描述符，該描述符采用雙碼本聚類方法進(jìn)行區(qū)域劃分，并采用穩(wěn)健的檢測(cè)響應(yīng)來(lái)進(jìn)行區(qū)域加權(quán)。文獻(xiàn)[41]提出了LOC(local contrast and ordering)描述符，該描述符將符號(hào)和強(qiáng)度差的排序應(yīng)用于特征描述。文獻(xiàn)[42]提出了DaLI(deformation and light invariant)描述符，該描述利用熱核特征并結(jié)合傅里葉變換和PCA方法的對(duì)數(shù)采樣來(lái)進(jìn)行特征描述。然而，基于梯度或強(qiáng)度順序的描述符對(duì)非線性輻射差異的較為敏感易導(dǎo)致對(duì)多傳感器遙感圖像匹配失敗。此外，一些對(duì)光照不變性的描述符也被提出，如文獻(xiàn)[43]提出了用于多傳感器圖像配準(zhǔn)的HOPC(histogram of orientated phase congruency)描述符，基于圖像結(jié)構(gòu)特性來(lái)構(gòu)建描述符對(duì)圖像強(qiáng)度分布變化較為穩(wěn)健。隨后，文獻(xiàn)[43—44]提出了DLSS描述符，以及基于擴(kuò)展的PC模型和DAISY算法，提出了LHOPC(local histogram of orientated phase congruency)描述符。另外，DOBSS(distinctive order based self-similarity)[45-46]也被利用來(lái)增強(qiáng)描述符的可識(shí)別性。文獻(xiàn)[47]結(jié)合局部三元模式算子和LSS(local self-similarity)(局部自相似描述符)來(lái)描述特征以達(dá)到對(duì)光照的魯棒。
2.5 相似性測(cè)度
在檢測(cè)影像特征和描述特征后，特征的相似性通過歐氏距離、曼哈頓距離、切氏距離、明氏距離、馬氏距離、漢明距離等來(lái)測(cè)度，相應(yīng)的匹配策略主要包括以下3種：
(1) 由粗到精的降維匹配，在金字塔頂層進(jìn)行影像匹配解算粗略的外方位元素，根據(jù)核線關(guān)系在原始影像上將特征匹配空間由二維降為一維。
(2) 匹配準(zhǔn)則，通常使用如歐氏距離等來(lái)度量特征的相似性，并利用相關(guān)系數(shù)法和設(shè)定閾值來(lái)剔除誤匹配點(diǎn)，匹配點(diǎn)相關(guān)系數(shù)一般能達(dá)到0.9以上[5]。
(3) 誤匹配點(diǎn)及粗差剔除，影像匹配不可避免存在誤匹配點(diǎn)及粗差，通常利用幾何約束如核線約束、相容性約束、唯一性約束、視差連續(xù)性約束等，以及RANSAC(random sample consensus)隨機(jī)抽樣一致性算法等來(lái)去除誤匹配點(diǎn)和剔除粗差。
當(dāng)前，盡管低空垂直攝影測(cè)量立體影像匹配的相關(guān)技術(shù)相對(duì)成熟，但測(cè)繪產(chǎn)品的多樣化需求使得低空攝影測(cè)量影像匹配面臨新的挑戰(zhàn)，比如傾斜攝影測(cè)量影像匹配、多傳感器影像匹配等，現(xiàn)有的影像匹配方法能否適應(yīng)新形式的低空攝影測(cè)量影像匹配仍需進(jìn)一步研究。
3 傾斜攝影測(cè)量影像匹配
低空攝影測(cè)量中的影像大多通過對(duì)地垂直攝影的方式獲得，主要對(duì)地物頂部進(jìn)行觀測(cè)，存在基線短、基高比小、交會(huì)角小等缺陷，對(duì)于獲取起伏較大的地形地物側(cè)面的紋理與三維幾何結(jié)構(gòu)等信息十分有限[48]，限制了低空攝影測(cè)量精度的提高。
為彌補(bǔ)垂直攝影的不足，測(cè)繪領(lǐng)域近些年發(fā)展了低空傾斜攝影技術(shù)，它可通過在同一飛行平臺(tái)上搭載多臺(tái)不同角度的對(duì)地觀測(cè)傳感器，能同時(shí)從垂直、傾斜等不同的角度采集影像。低空傾斜攝影相比垂直攝影，可采集更為豐富的對(duì)地觀測(cè)數(shù)據(jù)，且可增大前方交會(huì)角，能實(shí)現(xiàn)寬基線大傾角的攝影測(cè)量。文獻(xiàn)[49]從基于共線方程嚴(yán)密解的前方交會(huì)法推導(dǎo)與試驗(yàn)驗(yàn)證了交會(huì)角與旋轉(zhuǎn)角對(duì)近景攝影測(cè)量精度的影響，可以推知具有寬基線的低空傾斜攝影測(cè)量方式有利于提高當(dāng)前基高比小的低空攝影測(cè)量精度，因此，研究寬基線低空傾斜攝影測(cè)量具有重要的實(shí)用價(jià)值。在傾斜攝影測(cè)量數(shù)據(jù)處理中，立體影像間存在幾何變形與遮擋關(guān)系[50]，影像自動(dòng)匹配是關(guān)鍵技術(shù)和難點(diǎn)之一，也是影響傾斜攝影測(cè)量精度和效率的重要一環(huán)，通常利用已知傾斜角度預(yù)先對(duì)立體像對(duì)進(jìn)行幾何校正后再匹配[51]。然而，以無(wú)人機(jī)、飛艇、系留氣球等作為平臺(tái)的低空傾斜攝影得到的立體像對(duì)存在一些難以克服的問題：①因平臺(tái)較輕、低空氣流不穩(wěn)定，造成攝影姿態(tài)不穩(wěn)定；②平臺(tái)飛行高度低，復(fù)雜地形下對(duì)地觀測(cè)影像幾何變形尤為突出，并且地物尺度變化大。常用的匹配方法沒有較好的環(huán)境適應(yīng)性，致使低空傾斜影像匹配可靠性不高，難以獲得分布均勻、定位精度高的同名點(diǎn)。同時(shí)，在低空傾斜攝影中，獲取的影像傾角變化較大，傳統(tǒng)的影像匹配方法因不具有仿射不變性，難以滿足大傾角低空影像自動(dòng)匹配需要。
迄今為止，為解決寬基線大傾角影像匹配問題，國(guó)內(nèi)外開展了大量而深入的相關(guān)研究。針對(duì)不同視點(diǎn)影像中同名特征點(diǎn)領(lǐng)域窗口之間的幾何透視變形，目前大多特征匹配算法采用仿射變換模型來(lái)近似表述這種變形，采用仿射不變性的特征來(lái)進(jìn)行影像匹配[52]。國(guó)際上，文獻(xiàn)[53]提出了基于局部仿射不變性特征的寬基線立體匹配方法，不依賴邊緣或特征點(diǎn)，而是完全根據(jù)局部灰度強(qiáng)度信息進(jìn)行影像匹配；文獻(xiàn)[54]提出了針對(duì)平面的仿射不變性的特征點(diǎn)檢測(cè)算法；文獻(xiàn)[55]提出了基于最大穩(wěn)定極值區(qū)域(maximally stable extremal regions，MSER)的寬基線立體匹配方法，試驗(yàn)結(jié)果表明對(duì)于尺度、光照條件變化、視點(diǎn)變化等立體像對(duì)匹配，能取得較高的極幾何估計(jì)精度；文獻(xiàn)[56]通過試驗(yàn)對(duì)比了Harris-Affine、Hessian-Affine、MSER、EBR(edge-based region detector)、IBR(intensity extremal-based region detector)、salient regions等常見的仿射不變性特征提取算法，表明MSER算子具有最佳的仿射不變性；以MSER算法為代表的面匹配在解決局部仿射不變性方面應(yīng)用較多，常選用其MSER邊界點(diǎn)進(jìn)行精確匹配[51]，或擬合MSER區(qū)域橢圓范圍建立描述子進(jìn)行匹配[55, 57]；文獻(xiàn)[58]提出了仿射不變的SIFT算法(affine-SIFT, ASIFT)，根據(jù)攝影中心軸模擬影像在各個(gè)視角的變化，對(duì)各個(gè)視角中影像進(jìn)行SIFT運(yùn)算來(lái)實(shí)現(xiàn)仿射不變性的影像匹配，試驗(yàn)結(jié)果表明對(duì)于寬基線、大傾角影像立體匹配具有較好的效果，但采用了SIFT算法提取的特征點(diǎn)定位精度，相對(duì)于基于F?rstner或最小二乘等匹配方法在精度上更低[49]。在國(guó)內(nèi)，文獻(xiàn)[59]提出了面向?qū)捇€立體影像匹配的高質(zhì)量仿射不變特征提取方法，集成特征篩選方法、MSER、SIFT的特征提取算法，試驗(yàn)表明該方法具有更高的重復(fù)率和匹配成功率，有利于寬基線立體匹配；文獻(xiàn)[60]提出了針對(duì)高分辨率遙感影像的多基線影像匹配方法，可適用于地勢(shì)起伏較大的山地區(qū)域影像匹配；文獻(xiàn)[61]提出了基于SIFT的寬基線立體影像密集匹配方法；為適應(yīng)地形起伏較大的低空影像匹配，提出了ASIFT輔助的匹配方法[2]，試驗(yàn)結(jié)果表明可一定程度上滿足寬基線大傾角的近景影像和山區(qū)低空影像匹配的需要，但運(yùn)算復(fù)雜度較高；文獻(xiàn)[62]提出了融合互補(bǔ)仿射不變特征的傾斜立體影像高精度自動(dòng)配準(zhǔn)方法。然而，目前大都仿射不變性的影像匹配研究常把地面視為平坦地形來(lái)表述其幾何變形，等效于影像的整體仿射變換。在低空傾斜攝影測(cè)量中，平臺(tái)飛行高度低地形起伏相對(duì)較大，其引起的影像幾何變形會(huì)嚴(yán)重影響匹配性能[63]，采用單一的仿射變化關(guān)系可能難以表述立體像對(duì)間各個(gè)局部的扭曲變化，已不適用于地表建筑物高低錯(cuò)落、山區(qū)等復(fù)雜地形下低空傾斜攝影測(cè)量影像匹配。
對(duì)于諸如低空傾斜立體像對(duì)匹配所涉及的影像，因視點(diǎn)變化較大，利用仿射變換而非透視變換來(lái)表述特征進(jìn)行匹配易失敗，相關(guān)研究主要集中在計(jì)算機(jī)視覺處理方面。考慮透視變換關(guān)系特征提取算法具有代表性主要有：文獻(xiàn)[64]提出了透視不變性的特征匹配，通過構(gòu)建立體像對(duì)三維表面建立透視不變特征描述子進(jìn)行影像匹配，在對(duì)象較為簡(jiǎn)單的計(jì)算機(jī)視覺影像匹配可以得到較好的效果；文獻(xiàn)[65]提出了三維特征的格網(wǎng)匹配算法；文獻(xiàn)[66]提出了透視不變性特征點(diǎn)檢測(cè)算法，但主要用在平面目標(biāo)對(duì)象的處理；文獻(xiàn)[67]提出了基于透視投影的完全仿射不變性的影像匹配方法，通過模擬攝影機(jī)在三維空間姿態(tài)變換構(gòu)建透視變換的視圖來(lái)匹配影像，這種算法類似ASIFT，把ASIFT算法中仿射變換替換為透視變換，在平面攝影對(duì)象效果較好，但仍未解決地形起伏較大時(shí)影像幾何變形給匹配帶來(lái)的影響。
4 基于深度學(xué)習(xí)的影像匹配
當(dāng)前，以卷積神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural networks)為代表的深度學(xué)習(xí)已廣泛應(yīng)用于圖像處理[68-69]，基于CNN的方法不僅可以提高圖像識(shí)別和分類的準(zhǔn)確度，且能夠提高在線操作的效率，更重要的是，深層語(yǔ)義特征可通過深度學(xué)習(xí)來(lái)提取。2015年以來(lái)，研究人員開始將深度學(xué)習(xí)應(yīng)用到密集立體匹配中，并且在計(jì)算機(jī)視覺圖像上獲得的匹配結(jié)果在準(zhǔn)確性上已逐漸超過傳統(tǒng)方法。
基于CNN的密集匹配方法通常使用兩種策略：①?gòu)膱D像到視差圖像的端到端預(yù)測(cè)；②應(yīng)用CNN來(lái)學(xué)習(xí)立體匹配過程，如MC-CNN網(wǎng)絡(luò)[68, 70]將匹配自動(dòng)化；SGM-Net[71]在基于半全局SGM的密集匹配的標(biāo)準(zhǔn)流程中引入CNN學(xué)習(xí)懲罰約束。利用端到端的學(xué)習(xí)策略直接根據(jù)立體像對(duì)預(yù)測(cè)視差圖像，如DispNet[72]這一典型的全卷積網(wǎng)絡(luò)(FCN)在編碼階段逐層提取立體圖像的高級(jí)特征，在解碼階段網(wǎng)絡(luò)將特征圖從粗糙圖像分辨率恢復(fù)到原始圖像分辨率以生成視差圖。GC-Net[73]充分利用像素之間的幾何信息和語(yǔ)義信息，考慮上下文信息的3D體積由2D CNN提取的視差交叉的2D特征圖組成，由一系列3D內(nèi)核進(jìn)行卷積將這些特征圖轉(zhuǎn)化為2D視差圖像。PSM-Net(pyramid stereo matching network)[74]是由空間金字塔池和3D卷積層組成的金字塔立體匹配網(wǎng)絡(luò)，它將全局背景信息與立體匹配結(jié)合，實(shí)現(xiàn)了對(duì)遮擋區(qū)域，無(wú)紋理區(qū)域或圖案重復(fù)區(qū)域的穩(wěn)健匹配。級(jí)聯(lián)殘差學(xué)習(xí)[75]方法連接兩個(gè)改進(jìn)的DispNet網(wǎng)絡(luò)，第1個(gè)網(wǎng)絡(luò)獲得立體像對(duì)之間的初始視差值，第2個(gè)網(wǎng)絡(luò)使用前一階段的殘差來(lái)訓(xùn)練更精細(xì)的視差圖。上述基于深度的學(xué)習(xí)方法是以監(jiān)督樣本進(jìn)行訓(xùn)練，需要高精度視差圖作為訓(xùn)練的標(biāo)簽。
盡管基于深度學(xué)習(xí)的立體方法已被應(yīng)用到計(jì)算機(jī)視覺圖像的匹配中，且與傳統(tǒng)方法相比取得了更好的效果，但受限于卷積運(yùn)算量大等制約因素并未廣泛應(yīng)用到低空攝影測(cè)量影像匹配中，隨著硬件并行運(yùn)算進(jìn)一步發(fā)展與算法的改進(jìn)，基于深度學(xué)習(xí)等人工智能算法也將應(yīng)用在攝影測(cè)量數(shù)據(jù)處理中。
5 結(jié)束語(yǔ)
近年來(lái)，以無(wú)人機(jī)為代表的低空攝影測(cè)量迅速發(fā)展，立體影像匹配技術(shù)也取得了長(zhǎng)足的進(jìn)步，傳統(tǒng)的基于灰度與特征的影像匹配方法已較為成熟，并廣泛應(yīng)用于低空攝影測(cè)量影像匹配，然而，面對(duì)深度學(xué)習(xí)等人工智能新方法及新型的低空攝影測(cè)量方式的出現(xiàn)，影像匹配的發(fā)展還遠(yuǎn)未成熟，低空攝影測(cè)量影像匹配仍然是國(guó)內(nèi)外的研究熱點(diǎn)之一。
多平臺(tái)多角度自由飛行的低空攝影測(cè)量給后期數(shù)據(jù)處理帶來(lái)了新的挑戰(zhàn)，現(xiàn)有算法側(cè)重于旋轉(zhuǎn)、平移、尺度、仿射變換等影像變換的處理，而對(duì)復(fù)雜地形條件下寬基線大視角攝影測(cè)量，尤其是對(duì)丘陵、山地等復(fù)雜地形造成的影像局部幾何變形、灰度壓縮或夸張等復(fù)雜變化的影像匹配處理還有待提升。
異源多傳感器低空攝影數(shù)據(jù)融合對(duì)影像匹配提出了新的要求，影像特征差異較大，傳統(tǒng)基于人工設(shè)計(jì)的特征可能無(wú)法提取深層次和具有語(yǔ)義的共軛特征，如何顧及多傳感器數(shù)據(jù)的空間代表性差異，挖掘它們之間的相關(guān)性與非線性映射關(guān)系，并實(shí)現(xiàn)影像匹配，是一個(gè)重要的發(fā)展趨勢(shì)。盡管當(dāng)前以深度學(xué)習(xí)為代表的人工智能算法在計(jì)算機(jī)視覺圖像匹配中取得了較好的效果，但低空攝影測(cè)量影像匹配數(shù)據(jù)量大、精度要求高，基于深度學(xué)習(xí)的人工智能算法在低空攝影測(cè)量影像匹配中仍需進(jìn)一步探討和發(fā)展。
【引文格式】陳曉勇, 何海清, 周俊超, 等. 低空攝影測(cè)量立體影像匹配的現(xiàn)狀與展望. 測(cè)繪學(xué)報(bào)，2019，48(12)：1595-1603. DOI: 10.11947/j.AGCS.2019.20190466
總結(jié)
以上是生活随笔為你收集整理的原理 快速邻近匹配_论文推荐 | 陈晓勇：低空摄影测量立体影像匹配的现状与展望...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： linux下c语言按q退出_Linux
- 下一篇： spring手动控制事务开启_“上帝视角