《測繪學報》

構建與學術的橋梁 拉近與權威的距離

低空攝影測量立體影像匹配的現狀與展望

陳曉勇¹, 何海清¹, 周俊超¹, 安譜陽¹, 陳婷²

1.東華理工大學測繪工程學院, 江西 南昌 330013;2.東華理工大學水資源與環境工程學院, 江西 南昌 330013

收稿日期：2019-10-27；修回日期：2019-12-05

基金項目：國家自然科學基金(41861062；41401526)；江西省自然科學基金(20171BAB213025；20181BAB203022)；江西省高等學?？萍悸涞赜媱?KJLD14049)

第一作者簡介：陳曉勇(1961-), 男, 教授, 研究方向為地理信息科學的理論和應用。E-mail:chenxy@ecit.cn

通信作者：何海清, E-mail：hyhqing@163.com

摘要：影像匹配是在兩幅或多幅具有重疊度的影像中通過特定的算法提取影像間同名點的過程，是低空攝影測量數據處理中最為關鍵的步驟，匹配質量與效率直接影響到后續數據處理的成功與否，關系到測繪產品生成質量。本文系統闡述了低空攝影測量影像匹配的研究現狀與展望。對影像匹配的分類進行總結和歸納，大體上，影像匹配可劃分為兩大類，即基于灰度和基于特征的匹配。重點針對基于特征的影像匹配，從點、線、面等特征提取算法及特征描述符和相似性測度與策略等方面進行了詳細闡述。此外，列舉最新的基于深度學習的影像匹配算法，對低空平臺搭載的多樣化傳感器數據融合可能涉及的影像匹配方法進行了展望。

關鍵詞：影像匹配 低空攝影測量 特征提取 深度學習

Progress and future of image matching in low-altitude photogrammetry

CHEN Xiaoyong¹,HE Haiqing¹, ZHOU Junchao¹, AN Puyang¹, CHEN Ting²1.School of Geomatics, East China University of Technology, Nanchang 330013, China;

2.School of Water Resources & Environmental Engineering, East China University of Technology, Nanchang 330013, China

Foundation support: The National Natural Science Foundation of China (Nos. 41861062; 41401526); The Jiangxi Natural Science Foundation of China (Nos. 20171BAB213025; 20181BAB203022); The Higher School Science and Technology Landing Project of Jiangxi Province (No. KJLD14049)

First author: CHEN Xiaoyong(1961—), male, professor, majors in theory and application of geographic information science.E-mail: chenxy@ecit.cn.

Corresponding author: HE Haiqing, E-mail: hyhqing@163.com.

Abstract: Image matching is the process of obtaining corresponding points between two or more overlapping images by a specific algorithm. It is the critical step in the low-altitude photogrammetric data processing. The quality and efficiency of matching directly affect the subsequent data processing and the quality of mapping product generation. Therefore, image matching is one of the hot topics in the field of low-altitude photogrammetry and many relevant algorithms have been proposed. In this paper, the research status and prospect of image matching in low-altitude photogrammetry are described systematically. Firstly, the categories of image matching are summarized and can be generally divided into gray- and feature-based matching. We focus on feature-based image matching, e.g., point, line, and region-based features extraction and the relevant descriptors and similarity measures are described in detail. Besides, the latest image matching algorithms based on deep learning are listed, and the image matching methods involved in data fusion of various sensors on low-altitude platforms are mentioned.

Key words: image matching low-altitude photogrammetry feature extraction deep learning

低空攝影測量由于攝影高度較低，云霧產生的遮擋影響更小，低空飛行平臺具有機動靈活、便捷、快速高效等優勢，在某種程度上可對航空和衛星攝影測量方式進行補充，在資源調查、環境監測、城市建模、地形測繪等領域應用廣泛^[1-2]。

在低空攝影測量數據處理中，影像匹配是最為關鍵的步驟。影像匹配旨在兩幅或多幅具有重疊度的影像中通過特定的算法提取影像間同名點的過程，匹配質量與效率直接影響到后續數據處理成功與否，以及關系到測繪產品生成質量。因而，影像匹配是低空攝影測量數據處理領域的研究熱點之一，迄今為止，國內外研究人員提出了許多卓有成效的方法。

1 基于灰度的匹配方法

基于灰度的影像匹配算法起步較早，是圖像匹配中常用的方法。該算法根據兩幅影像之間的重疊區域的灰度相似性程度來確定匹配點，目前發展較為成熟。具體而言，該算法是比較參考影像待匹配點鄰近區域灰度與目標影像搜索區像素鄰近灰度的相似性來確定兩幅影像的同名點。基于灰度的影像匹配方法包括協方差函數法、有差平方和法、相關系數法、差絕對值和法、相關函數法，以及最小二乘法、去均值歸一化相關算法、序列相似性檢測算法、歸一化灰度組合算法、不變矩匹配法、網格匹配法、塊匹配法和比值匹配法等。然而，基于灰度的匹配算法過于依賴點像素的信息，對于噪聲、灰度與尺度變化等變化較為敏感，且匹配效率不高，僅適合于匹配簡單的剛體或仿射變換的場景。為提高基于灰度的匹配方法效率，文獻[3]于1972年利用核線相關將影像相關的二維搜索空間縮小為一維搜索，從而大幅度提高了匹配效率。此外，為提高影像匹配在幾何畸變、噪聲和輻射等存在的情況下的穩健性，文獻[4]提出了最小二乘影像匹配算法，利用最小二乘平差來消除匹配窗口中影像畸變與噪聲帶來的影響，匹配精度可達1/10~1/100像素，從而實現影像高精度相關。文獻[5]提出了基于物方的影像匹配(VLL法)，通過迭代逐步趨近的方法在待匹配點平面坐標已知的情況下，確定待匹配點高程。

基于灰度的影像匹配方法雖然算法簡單，但對光照變化敏感，對于影像旋轉和尺度變化適應性差，且存在運算量較大等缺陷，難以滿足低空影像匹配的需要。相比而言，基于特征的匹配方法是通過比較重疊影像上特征的相似程度來確定同名點。特征基元包括點、線、面等顯著特征，相比像素點數量大為減少，提取的特征具有較強的抗噪性，且對影像間灰度變化、局部形變和遮擋也有較強的穩健性，因而，低空攝影測量影像匹配廣泛采用基于特征的匹配方法，該方法主要包括3個過程，即特征提取、特征描述、特征匹配。

2 基于特征的匹配方法

根據提取特征的種類，影像特征提取大致可分為點特征提取、線特征提取及面特征提取3大類。

2.1 點特征提取

點特征是指影像中灰度信號在二維方向上有著明顯變化的點，是影像中最基本的特征。點特征的概念由文獻[6]在1980年提出，Moravec角點提取算子利用差平方和函數計算局部窗口內8個方向的相似性，根據局部最大值來確定角點，然而，Moravec算子易受噪聲的影響。文獻[7]提出了SUSAN(smallest univalve segment assimilating nucleus)算子，該算子與Moravec算子的基本思想一致，都是通過局部自相似性來檢測角點，不同的是，SUSAN算子在計算相似性時使用矩形函數，這一改變可避免噪聲造成的干擾。在Moravec算法的基礎上，文獻[8]提出了Harris角點提取算法，從數學的角度上定義點特征，該方法以Hessain矩陣及其特征值作為依據來判斷特征點，具有計算簡便，檢測到的角點具有旋轉不變等特點。與Harris角點算子類似的還包括Kanade-Tomasi算子^[9]。文獻[10]在Harris算子上加以改進，使其擴展到在仿射變換時角點特征也較為穩健。為進一步提升點特征的旋轉不變、尺度不變性，文獻[11]提出了DoG(Difference of Gaussian)特征；在此基礎上，文獻[12]結合尺度空間理論提出了DoG特征提取算法，使得提取的特征點具有旋轉和尺度不變性。此外，文獻[13]提出了FAST角點特征來進一步提升點特征檢測效率。在FAST算子基礎上，文獻[14]提出了一種自適應通用加速分割檢測算法。

2.2 線特征提取

文獻[15]分別于1983年和1984年定義線特征為影像中脊和谷。在線特征檢測中，較為經典的算子是Sobel算子^[16]和Canny算子^[17]。Sobel算子是基于Hessain矩陣在尺度空間中通過該矩陣的兩個特征值來判別邊緣，檢測效率較低。為此，Canny算子提出利用基于搜索(影像的一階導數)和基于零交叉(影像二階導數)的特征檢測算法來提高線特征檢測效率。除了這兩種經典的線提取算法之外，文獻[18]提出了一種利用傅里葉變換，將影像由空間域變換到頻率域，通過相位一致性來檢測線特征；此外，也有利用特征點算子來檢測特征線，如利用SUSAN算子來檢測邊緣點^[7]。

2.3 面特征提取

面特征與點、線特征有所不同，面特征的范圍較大，特征較為穩定并具有抗噪能力強等特點，在影像中主要表現為灰度大致相同或變化較為平緩的區域?；诿嫣卣鞯奶崛∷惴ㄝ^為典型的算法包括MSER算法^[19]、PCBR檢測算子^[20]。其中，MSER算法移植了分水嶺的思想，該算法提取的極值區域即面特征為某個閾值圖像的連通分量，并通過該極值區域的旋轉與尺寸歸一化來實現仿射不變性。PCBR檢測算子是一種基于線條和曲率的算法，在尺度空間中構建最大主曲率圖像，并利用分水嶺分割方法來尋找在尺度變化情況下，位置和面積不變或變化較小的區域。此外，研究人員還提出了旨在檢測兼具尺度不變性與仿射不變性的區域的其他算法，如基于圖割的影像分割算法等^[21]。

2.4 特征描述符

在影像中提取特征后，為評判不同影像特征間的相似性，需要利用數值向量對特征區域的局部特征進行編碼，該數值向量通常稱為特征描述符。其中，較為常用的是基于分布的描述符，通過不同的統計直方圖形式來表示局部區域的特征^[22]，與基于導數和過濾器的描述符^[23]等其他類型描述符相比在性能上具有一定的優勢?；诜植嫉拿枋龇ǔ？煞譃榛跐u變、像素強度順序、相位一致、自相似、整合及二進制描述符。

作為當下較為流行的基于分布的描述符的SIFT算法^[24]，在計算機視覺和遙感等領域已得到廣泛應用，其基本思想是依據圖像梯度函數來構造3D空間方向直方圖。許多研究人員在SIFT描述符的基礎上進行了擴展，如SURF描述符^[25]在笛卡爾網格上應用Haar小波響應以提高其計算速度；文獻[26]提出了描述符DAISY，它利用不同的各向同性高斯函數來高效、密集地計算梯度方向直方圖，并使用圓形柵格代替矩形柵格，以提高描述符的穩健性和獨特性。PIIFD(partial intensity invariant feature descriptor)即部分強度不變特征描述符^[27]利用對稱梯度方向直方圖來進行多模態圖像配準。文獻[28]利用邊緣的位置和方向在SIFT的空間結構中生成可擴展的二進制邊緣圖。文獻[29]利用仿射尺度空間和鏡面反射極化直方圖來改進SIFT特征描述符。文獻[30]提出AB-SIFT算法，將自適應量化應用于描述符結構，以提高其可區分性與穩健性。

為使基于分布的描述符獲得旋轉不變性，文獻[31]提出了基于像素強度階次的描述符LIOP和基于多支持區域階次的梯度直方圖描述符MROGH^[32]；文獻[33]提出了整體強度階次描述符OIOP和混合強度階次描述符MIOP；文獻[34]提出了多鄰域強度相對階次描述符MIROP。盡管這些描述符具有旋轉不變性，但對明顯的非線性光照變化較為敏感。

此外，二進制描述符也被提出在計算效率及存儲空間方面提升特征描述符的性能，如BRIEF(binary robust independent elementary features)^[35]、FREAK(fast retina key point)^[36]、LDB(local difference binary)^[37]和RFD(receptive fields descriptor)^[38]等，這些算法通?；跒V波或圖像點對之間的強度關系進行線性組合，比傳統的非二進制描述符所占內存更少，并提高了效率。文獻[39]提出了CSLBP(center sym-metric local binary pattern)描述符，該描述符以SIFT空間形式和通過編碼灰度強度的局部分布來描述特征。文獻[40]提出了對光照穩健的LPCD(local patch clustering distribution)描述符，該描述符采用雙碼本聚類方法進行區域劃分，并采用穩健的檢測響應來進行區域加權。文獻[41]提出了LOC(local contrast and ordering)描述符，該描述符將符號和強度差的排序應用于特征描述。文獻[42]提出了DaLI(deformation and light invariant)描述符，該描述利用熱核特征并結合傅里葉變換和PCA方法的對數采樣來進行特征描述。然而，基于梯度或強度順序的描述符對非線性輻射差異的較為敏感易導致對多傳感器遙感圖像匹配失敗。此外，一些對光照不變性的描述符也被提出，如文獻[43]提出了用于多傳感器圖像配準的HOPC(histogram of orientated phase congruency)描述符，基于圖像結構特性來構建描述符對圖像強度分布變化較為穩健。隨后，文獻[43—44]提出了DLSS描述符，以及基于擴展的PC模型和DAISY算法，提出了LHOPC(local histogram of orientated phase congruency)描述符。另外，DOBSS(distinctive order based self-similarity)^[45-46]也被利用來增強描述符的可識別性。文獻[47]結合局部三元模式算子和LSS(local self-similarity)(局部自相似描述符)來描述特征以達到對光照的魯棒。

2.5 相似性測度

在檢測影像特征和描述特征后，特征的相似性通過歐氏距離、曼哈頓距離、切氏距離、明氏距離、馬氏距離、漢明距離等來測度，相應的匹配策略主要包括以下3種：

(1) 由粗到精的降維匹配，在金字塔頂層進行影像匹配解算粗略的外方位元素，根據核線關系在原始影像上將特征匹配空間由二維降為一維。

(2) 匹配準則，通常使用如歐氏距離等來度量特征的相似性，并利用相關系數法和設定閾值來剔除誤匹配點，匹配點相關系數一般能達到0.9以上^[5]。

(3) 誤匹配點及粗差剔除，影像匹配不可避免存在誤匹配點及粗差，通常利用幾何約束如核線約束、相容性約束、唯一性約束、視差連續性約束等，以及RANSAC(random sample consensus)隨機抽樣一致性算法等來去除誤匹配點和剔除粗差。

當前，盡管低空垂直攝影測量立體影像匹配的相關技術相對成熟，但測繪產品的多樣化需求使得低空攝影測量影像匹配面臨新的挑戰，比如傾斜攝影測量影像匹配、多傳感器影像匹配等，現有的影像匹配方法能否適應新形式的低空攝影測量影像匹配仍需進一步研究。

3 傾斜攝影測量影像匹配

低空攝影測量中的影像大多通過對地垂直攝影的方式獲得，主要對地物頂部進行觀測，存在基線短、基高比小、交會角小等缺陷，對于獲取起伏較大的地形地物側面的紋理與三維幾何結構等信息十分有限^[48]，限制了低空攝影測量精度的提高。

為彌補垂直攝影的不足，測繪領域近些年發展了低空傾斜攝影技術，它可通過在同一飛行平臺上搭載多臺不同角度的對地觀測傳感器，能同時從垂直、傾斜等不同的角度采集影像。低空傾斜攝影相比垂直攝影，可采集更為豐富的對地觀測數據，且可增大前方交會角，能實現寬基線大傾角的攝影測量。文獻[49]從基于共線方程嚴密解的前方交會法推導與試驗驗證了交會角與旋轉角對近景攝影測量精度的影響，可以推知具有寬基線的低空傾斜攝影測量方式有利于提高當前基高比小的低空攝影測量精度，因此，研究寬基線低空傾斜攝影測量具有重要的實用價值。在傾斜攝影測量數據處理中，立體影像間存在幾何變形與遮擋關系^[50]，影像自動匹配是關鍵技術和難點之一，也是影響傾斜攝影測量精度和效率的重要一環，通常利用已知傾斜角度預先對立體像對進行幾何校正后再匹配^[51]。然而，以無人機、飛艇、系留氣球等作為平臺的低空傾斜攝影得到的立體像對存在一些難以克服的問題：①因平臺較輕、低空氣流不穩定，造成攝影姿態不穩定；②平臺飛行高度低，復雜地形下對地觀測影像幾何變形尤為突出，并且地物尺度變化大。常用的匹配方法沒有較好的環境適應性，致使低空傾斜影像匹配可靠性不高，難以獲得分布均勻、定位精度高的同名點。同時，在低空傾斜攝影中，獲取的影像傾角變化較大，傳統的影像匹配方法因不具有仿射不變性，難以滿足大傾角低空影像自動匹配需要。

迄今為止，為解決寬基線大傾角影像匹配問題，國內外開展了大量而深入的相關研究。針對不同視點影像中同名特征點領域窗口之間的幾何透視變形，目前大多特征匹配算法采用仿射變換模型來近似表述這種變形，采用仿射不變性的特征來進行影像匹配^[52]。國際上，文獻[53]提出了基于局部仿射不變性特征的寬基線立體匹配方法，不依賴邊緣或特征點，而是完全根據局部灰度強度信息進行影像匹配；文獻[54]提出了針對平面的仿射不變性的特征點檢測算法；文獻[55]提出了基于最大穩定極值區域(maximally stable extremal regions，MSER)的寬基線立體匹配方法，試驗結果表明對于尺度、光照條件變化、視點變化等立體像對匹配，能取得較高的極幾何估計精度；文獻[56]通過試驗對比了Harris-Affine、Hessian-Affine、MSER、EBR(edge-based region detector)、IBR(intensity extremal-based region detector)、salient regions等常見的仿射不變性特征提取算法，表明MSER算子具有最佳的仿射不變性；以MSER算法為代表的面匹配在解決局部仿射不變性方面應用較多，常選用其MSER邊界點進行精確匹配^[51]，或擬合MSER區域橢圓范圍建立描述子進行匹配^{[55, 57]}；文獻[58]提出了仿射不變的SIFT算法(affine-SIFT, ASIFT)，根據攝影中心軸模擬影像在各個視角的變化，對各個視角中影像進行SIFT運算來實現仿射不變性的影像匹配，試驗結果表明對于寬基線、大傾角影像立體匹配具有較好的效果，但采用了SIFT算法提取的特征點定位精度，相對于基于F?rstner或最小二乘等匹配方法在精度上更低^[49]。在國內，文獻[59]提出了面向寬基線立體影像匹配的高質量仿射不變特征提取方法，集成特征篩選方法、MSER、SIFT的特征提取算法，試驗表明該方法具有更高的重復率和匹配成功率，有利于寬基線立體匹配；文獻[60]提出了針對高分辨率遙感影像的多基線影像匹配方法，可適用于地勢起伏較大的山地區域影像匹配；文獻[61]提出了基于SIFT的寬基線立體影像密集匹配方法；為適應地形起伏較大的低空影像匹配，提出了ASIFT輔助的匹配方法^[2]，試驗結果表明可一定程度上滿足寬基線大傾角的近景影像和山區低空影像匹配的需要，但運算復雜度較高；文獻[62]提出了融合互補仿射不變特征的傾斜立體影像高精度自動配準方法。然而，目前大都仿射不變性的影像匹配研究常把地面視為平坦地形來表述其幾何變形，等效于影像的整體仿射變換。在低空傾斜攝影測量中，平臺飛行高度低地形起伏相對較大，其引起的影像幾何變形會嚴重影響匹配性能^[63]，采用單一的仿射變化關系可能難以表述立體像對間各個局部的扭曲變化，已不適用于地表建筑物高低錯落、山區等復雜地形下低空傾斜攝影測量影像匹配。

對于諸如低空傾斜立體像對匹配所涉及的影像，因視點變化較大，利用仿射變換而非透視變換來表述特征進行匹配易失敗，相關研究主要集中在計算機視覺處理方面?？紤]透視變換關系特征提取算法具有代表性主要有：文獻[64]提出了透視不變性的特征匹配，通過構建立體像對三維表面建立透視不變特征描述子進行影像匹配，在對象較為簡單的計算機視覺影像匹配可以得到較好的效果；文獻[65]提出了三維特征的格網匹配算法；文獻[66]提出了透視不變性特征點檢測算法，但主要用在平面目標對象的處理；文獻[67]提出了基于透視投影的完全仿射不變性的影像匹配方法，通過模擬攝影機在三維空間姿態變換構建透視變換的視圖來匹配影像，這種算法類似ASIFT，把ASIFT算法中仿射變換替換為透視變換，在平面攝影對象效果較好，但仍未解決地形起伏較大時影像幾何變形給匹配帶來的影響。

4 基于深度學習的影像匹配

當前，以卷積神經網絡CNN(convolutional neural networks)為代表的深度學習已廣泛應用于圖像處理^[68-69]，基于CNN的方法不僅可以提高圖像識別和分類的準確度，且能夠提高在線操作的效率，更重要的是，深層語義特征可通過深度學習來提取。2015年以來，研究人員開始將深度學習應用到密集立體匹配中，并且在計算機視覺圖像上獲得的匹配結果在準確性上已逐漸超過傳統方法。

基于CNN的密集匹配方法通常使用兩種策略：①從圖像到視差圖像的端到端預測；②應用CNN來學習立體匹配過程，如MC-CNN網絡^{[68, 70]}將匹配自動化；SGM-Net^[71]在基于半全局SGM的密集匹配的標準流程中引入CNN學習懲罰約束。利用端到端的學習策略直接根據立體像對預測視差圖像，如DispNet^[72]這一典型的全卷積網絡(FCN)在編碼階段逐層提取立體圖像的高級特征，在解碼階段網絡將特征圖從粗糙圖像分辨率恢復到原始圖像分辨率以生成視差圖。GC-Net^[73]充分利用像素之間的幾何信息和語義信息，考慮上下文信息的3D體積由2D CNN提取的視差交叉的2D特征圖組成，由一系列3D內核進行卷積將這些特征圖轉化為2D視差圖像。PSM-Net(pyramid stereo matching network)^[74]是由空間金字塔池和3D卷積層組成的金字塔立體匹配網絡，它將全局背景信息與立體匹配結合，實現了對遮擋區域，無紋理區域或圖案重復區域的穩健匹配。級聯殘差學習^[75]方法連接兩個改進的DispNet網絡，第1個網絡獲得立體像對之間的初始視差值，第2個網絡使用前一階段的殘差來訓練更精細的視差圖。上述基于深度的學習方法是以監督樣本進行訓練，需要高精度視差圖作為訓練的標簽。

盡管基于深度學習的立體方法已被應用到計算機視覺圖像的匹配中，且與傳統方法相比取得了更好的效果，但受限于卷積運算量大等制約因素并未廣泛應用到低空攝影測量影像匹配中，隨著硬件并行運算進一步發展與算法的改進，基于深度學習等人工智能算法也將應用在攝影測量數據處理中。

5 結束語

近年來，以無人機為代表的低空攝影測量迅速發展，立體影像匹配技術也取得了長足的進步，傳統的基于灰度與特征的影像匹配方法已較為成熟，并廣泛應用于低空攝影測量影像匹配，然而，面對深度學習等人工智能新方法及新型的低空攝影測量方式的出現，影像匹配的發展還遠未成熟，低空攝影測量影像匹配仍然是國內外的研究熱點之一。

多平臺多角度自由飛行的低空攝影測量給后期數據處理帶來了新的挑戰，現有算法側重于旋轉、平移、尺度、仿射變換等影像變換的處理，而對復雜地形條件下寬基線大視角攝影測量，尤其是對丘陵、山地等復雜地形造成的影像局部幾何變形、灰度壓縮或夸張等復雜變化的影像匹配處理還有待提升。

異源多傳感器低空攝影數據融合對影像匹配提出了新的要求，影像特征差異較大，傳統基于人工設計的特征可能無法提取深層次和具有語義的共軛特征，如何顧及多傳感器數據的空間代表性差異，挖掘它們之間的相關性與非線性映射關系，并實現影像匹配，是一個重要的發展趨勢。盡管當前以深度學習為代表的人工智能算法在計算機視覺圖像匹配中取得了較好的效果，但低空攝影測量影像匹配數據量大、精度要求高，基于深度學習的人工智能算法在低空攝影測量影像匹配中仍需進一步探討和發展。

【引文格式】陳曉勇, 何海清, 周俊超, 等. 低空攝影測量立體影像匹配的現狀與展望. 測繪學報，2019，48(12)：1595-1603. DOI: 10.11947/j.AGCS.2019.20190466

總結

以上是生活随笔為你收集整理的原理 快速邻近匹配_论文推荐 | 陈晓勇：低空摄影测量立体影像匹配的现状与展望...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。