當(dāng)前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

深度学习：图像识别(匹配)方法|室内定位|论文与方法整理

發(fā)布時間：2023/12/9 pytorch 42 豆豆

生活随笔收集整理的這篇文章主要介紹了深度学习：图像识别(匹配)方法|室内定位|论文与方法整理小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

若該文為原創(chuàng)文章，未經(jīng)允許不得轉(zhuǎn)載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導(dǎo)航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/105787442
各位讀者，知識無窮而人力有窮，要么改需求，要么找專業(yè)人士，要么自己研究

轉(zhuǎn)載出處：https://zhuanlan.zhihu.com/p/108858079

前言

整理

圖像匹配

Part1：局部不變特征點匹配-2D

1. 什么是圖像特征點？- 關(guān)鍵點+描述子

2. 如何進(jìn)行特征點匹配？- 人工設(shè)計檢測器

3. 如何進(jìn)行特征點匹配？

3.1 深度學(xué)習(xí)特征檢測器 - 局部特征點的重復(fù)檢測

3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)

3.3 深度學(xué)習(xí)各階段統(tǒng)一

3.4 不同對象或場景的匹配方法研究( 圖像語義匹配)：

3.5 圖像匹配應(yīng)用于臨床的精確診療

3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率

3.7 剔除誤差匹配

Part2：局部不變特征點匹配-3D

1.特征檢測

2. 誤差剔除

Part3：直線匹配

Part4：區(qū)域匹配

1.區(qū)域特征提取與匹配方法

2. 模板匹配

3. 深度學(xué)習(xí)方法-塊匹配

比較

其他

2維點匹配

3維點匹配

語義匹配

線匹配

模板匹配

塊匹配

文獻(xiàn)：

紅胖子(紅模仿)的博文大全：開發(fā)技術(shù)集合（包含Qt實用技術(shù)、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機(jī)、軟硬結(jié)合等等）持續(xù)更新中...（點擊傳送門）.

OpenCV開發(fā)專欄（點擊傳送門）

? ? 圖像識別(匹配)方法|室內(nèi)定位|論文與方法整理

前言

研究圖像處理和算法有點上癮，看到一篇好文章，經(jīng)過原文作者同意，進(jìn)行轉(zhuǎn)載。

整理

https://mp.weixin.qq.com/s/8ilO_X_uEfMMQDNwzLSaUQ

圖像匹配

應(yīng)用：目標(biāo)識別、目標(biāo)跟蹤、超分辨率影像重建、視覺導(dǎo)航、圖像拼接、三維重建、視覺定位、場景深度計算
方法：基于深度學(xué)習(xí)的特征點匹配算法、實時匹配算法、3維點云匹配算法、共面線點不變量匹配算法，以及基于深度學(xué)習(xí)的圖像區(qū)域匹配等。
分類：局部不變特征點匹配、直線匹配、區(qū)域匹配

Part1：局部不變特征點匹配-2D

1. 什么是圖像特征點？- 關(guān)鍵點+描述子

關(guān)鍵點：指特征點在圖像中的位置，具有方向、尺度等信息;
描述子：描述子通常是一個向量，描述關(guān)鍵點鄰域的像素信息。

2. 如何進(jìn)行特征點匹配？- 人工設(shè)計檢測器

在向量空間對兩個描述子進(jìn)行比較，距離相近則判定為同一個特征點
角點、邊緣點等都可以作為潛在特征點
- 角點檢測算法?- 最常用：基于圖像灰度的方法
  - Harris【1】：通過兩個正交方向上強(qiáng)度的變化率對角點進(jìn)行定義，其本身存在尺度固定、像素定位精度低、偽角點較多和計算量大等問題。
  - Harris改進(jìn)算法【6】：將多分辨率思想引入 Harris 角點，解決了 Harris 算法不具有尺度變化的問題。
  - Harris改進(jìn)算法【7】：在 Harris 算法中兩次篩選候選點集，利用最小二乘加權(quán)距離法實現(xiàn)角點亞像素定位，大幅度提高角點檢測效率和精度。
  - Harris改進(jìn)算法【8】：將灰度差分及模板與 Harris 算法相結(jié)合，解決了 Harris 算法中存在較多偽角點和計算量大等問題。
- 鄰域像素檢測
  - Fast【2】：通過鄰域像素對比進(jìn)行特征點檢測并引入機(jī)器學(xué)習(xí)加速這一過程，可應(yīng)用在對實時性要求較高的場合，如視頻監(jiān)控中的目標(biāo)識別。由于FAST 僅處理單一尺度圖像，且檢測的不僅僅是“角點”這一特征，還可以檢測到其他符合要求的特征點，如孤立的噪點等。當(dāng)圖像中噪點較多時會產(chǎn)生較多外點，導(dǎo)致魯棒性下降。
- SIFT【3】：不再局限于對角點檢測
  - SIFT總結(jié)【5】：許允喜等，對局部圖像描述符進(jìn)行分析描述，對這類方法的計算復(fù)雜度、評價方法和應(yīng)用領(lǐng)域予以總結(jié)。
  - SIFT總結(jié)【4】：劉立等，對 SIFT 算法的演變以及在不同領(lǐng)域的典型應(yīng)用進(jìn)行了較為全面的論述，并比較了各類算法的優(yōu)缺點。
  - SIFT算法改進(jìn)【9】【10】【11】：針對算法時間復(fù)雜度高，PCA-SIFT, SURF, SSIF
  - SIFT算法改進(jìn)【12】：對彩色圖像進(jìn)行處理的 CSIFT( colored SIFT)
  - SIFT算法改進(jìn)【13】：使用對數(shù)極坐標(biāo)分級結(jié)構(gòu)的 GLOH( gradient location and orientation histogram)
  - SIFT算法改進(jìn)【14】：具有仿射不變性的ASFIT( affine SIFT)

3. 如何進(jìn)行特征點匹配？

3.1 深度學(xué)習(xí)特征檢測器 - 局部特征點的重復(fù)檢測

FAST-ER算法【15】：把特征點檢測器定義為一種檢測高重復(fù)點的三元決策樹，并采用模擬退火算法對決策樹進(jìn)行優(yōu)化，從而提高檢測重復(fù)率。由于在每次迭代過程中，都需要對重新應(yīng)用的新決策樹進(jìn)行檢測，且其性能受到初始關(guān)鍵點檢測器的限制，降低了該算法的魯棒性。
時間不變特征檢測器( TILDE) 【16】：Verdie 等人提出，能夠較好地對由天氣、季節(jié)、時間等因素引起的劇烈光照變化情況下的可重復(fù)關(guān)鍵點進(jìn)行檢測。參與訓(xùn)練的候選特征點是由多幅訓(xùn)練圖像中采用 SIFT 算法提取的可重復(fù)關(guān)鍵點組成，如圖a ; 正樣本是以這些點為中心的區(qū)域，負(fù)樣本是遠(yuǎn)離這些點的區(qū)域。在進(jìn)行回歸訓(xùn)練時，正樣本在特征點位置返回最大值，遠(yuǎn)離特征點位置返回較小值，如圖 b ; 回歸測試時，將測試圖像分成固定大小的圖像塊，其回歸響應(yīng)如圖c ，然后根據(jù)非極大值抑制提取特征點，如圖d 。該方法適用于處理訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)為同一場景的圖像。（TILDE 采用手動標(biāo)記的數(shù)據(jù)作為區(qū)分性特征訓(xùn)練，使用DOG-difference of Gaussian收集訓(xùn)練集，對于跨模態(tài)任務(wù)如RGB/深度模態(tài)對不再適用）

基于學(xué)習(xí)的協(xié)變特征檢測器【17】：綜合考慮兩個局部特征檢測器特性（檢測可區(qū)分的特征；協(xié)變約束-在不同的變換下重復(fù)檢測一致特征），Zhang 等人提出。該方法將 TILDE 的輸出作為候選標(biāo)準(zhǔn)圖像塊，通過變換預(yù)測器的訓(xùn)練建立學(xué)習(xí)框架，將局部特征檢測器的協(xié)變約束轉(zhuǎn)化為變換預(yù)測器的協(xié)變約束，以便利用回歸 ( 如深度神經(jīng)網(wǎng)絡(luò)) 進(jìn)行變換預(yù)測。預(yù)測的變換有兩個重要性質(zhì): 1) 變換的逆矩陣能將觀察到的圖像塊映射到“標(biāo)準(zhǔn)塊”，“標(biāo)準(zhǔn)塊”定義了具有可區(qū)分性的圖像塊以及塊內(nèi)“典型特征”( 如單位圓) 的位置和形狀; 2) 將變換應(yīng)用到“典型特征”可以預(yù)測圖像塊內(nèi)變換特征的位置和形狀。
Quadnetworks【18】：采用無監(jiān)督學(xué)習(xí)方式進(jìn)行特征點檢測。Savinov 等人提出，該方法將關(guān)鍵點檢測問題轉(zhuǎn)化為圖像變換上的關(guān)鍵點一致性排序問題，優(yōu)化后的排序在不同的變換下具有重復(fù)性，其中關(guān)鍵點來自響應(yīng)函數(shù)的頂/底部分位數(shù)。Quad-networks 的訓(xùn)練過程如圖所示，在兩幅圖像中提取隨機(jī)旋轉(zhuǎn)像塊對( 1，3) 和( 2，4) ; 每個塊經(jīng)過神經(jīng)網(wǎng)絡(luò)輸出一個實值響應(yīng) H( p w) ，其中 p 表示點，w 表示參數(shù)向量; 通過四元組的排序一致函數(shù)計算鉸鏈損失，并通過梯度下降法優(yōu)化。Quadnetworks 在 RGB/RGB模式和RGB/深度模式的重復(fù)檢測性能均優(yōu)于 DOG，可以和基于學(xué)習(xí)的描述符相結(jié)合進(jìn)行圖像匹配，還可用于視頻中的興趣幀檢測。

3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)

用于特征點描述符判別學(xué)習(xí)的 DeepDesc【19】：Simo-Serra 等人提出，該方法采用 Siamese 網(wǎng)絡(luò)側(cè)重訓(xùn)練難以區(qū)分類別的樣本，輸入圖像塊對，將 CNN 輸出的非線性映射作為描述符，采用歐氏距離計算相似性并最小化其鉸鏈損失。該方法適用于不同的數(shù)據(jù)集和應(yīng) 用，包括寬基線圖像匹配、非剛性變形和極端光照變化的情況，但該方法需要大量的訓(xùn)練數(shù)據(jù)來保證其魯棒性。

3.3 深度學(xué)習(xí)各階段統(tǒng)一

Yi 等人提出【20】：基于學(xué)習(xí)的不變特征變換( LIFT)?結(jié)合空間變換網(wǎng)絡(luò)【21】和 Softargmax 函數(shù)，將基于深度學(xué)習(xí)的特征點檢測【16】、基于深度學(xué)習(xí)的方向估計【22】和基于深度學(xué)習(xí)的描述符【19】連接成一個統(tǒng)一網(wǎng)絡(luò)，從而實現(xiàn)完整特征點匹配處理流水線。其中圖像塊的裁剪和旋轉(zhuǎn)通過空間變換網(wǎng)絡(luò)實現(xiàn)，訓(xùn)練階段采用四分支 Siamese 網(wǎng)絡(luò)，輸入特征點所在圖像塊，其位置和方向均來自 SFM 算法的輸出，其中 P1 和 P2 為同一3D 點在不同視角下的圖像，P3 為不同3D 點的投影的圖像塊，P4 為不包含任何特征點的圖像快，S 為得分圖，x 代表特征點位置。采用從后至前的訓(xùn)練策略，即先訓(xùn)練描述子，再訓(xùn)練方向估計，最后訓(xùn)練特征點檢測。測試階段，將特征點檢測與方向估計及描述子分開，使優(yōu)化問題易于處理。LIFT 方法的輸入為多尺度圖像，以滑窗形式進(jìn)行特征點檢測，提取局部塊逐個分配方向，再計算描述子。與 SIFT 相比，LIFT 能夠提取出更為稠密的特征點，且對光照和季節(jié)變化具有很高的魯棒性。

3.4 不同對象或場景的匹配方法研究( 圖像語義匹配)：

與考慮在時間( 光流) 或空間( 立體) 相鄰的圖像特征對應(yīng)不同，語義對應(yīng)的特征是圖像具有相似的高層結(jié)構(gòu)，而其精確的外觀和幾何形狀可能不同。

3.4.1 相同對象類的像對匹配

經(jīng) 典 SIFT 流方法【23】：提出不同場景的稠密對應(yīng)概念，通過平滑約束和小位移先驗計算不同場景間的稠密對應(yīng)關(guān)系。
Bristow 等人【24】：將語義對應(yīng)問題轉(zhuǎn)化為約束檢測問題，并提出 Examplar-LDA( Examplar linear discriminant analysis) 分類器。首先對匹配圖像中的每個像素學(xué)習(xí)一個 Examplar-LDA 分類器，然后以滑動窗口形式將其應(yīng)用到目標(biāo)圖像，并將所有分類器上的匹配響應(yīng)與附加的平滑先驗結(jié)合，從而獲得稠密的對應(yīng)估計。該方法改善了語義流的性能，在背景雜亂的場景下具有較強(qiáng)魯棒性。

3.4.2 不同對象類的像對匹配

Novotny 等人【25】：提出基于幾何敏感特征的弱監(jiān)督學(xué)習(xí)方法 AnchorNet。在只有圖像級標(biāo)簽的監(jiān)督下，AnchorNet 依賴一組從殘差超列 HC( hypercolumns) 中提取具有正交響應(yīng)的多樣過濾器，該過濾器在同一類別的不同實例或兩個相似類別之間具有幾何一致性。 AnchorNet 通過在 ILSVＲC12 ( imagenet large scale visual recognition competition 2012) 上預(yù)先訓(xùn)練的深度殘差網(wǎng)絡(luò)( ＲesNet50) 模型初始化網(wǎng)絡(luò)參數(shù)，并采用兩階段優(yōu)化與加速訓(xùn)練完成匹配。

3.4.3 多圖像語義匹配

可以找到多個圖像間的一致對應(yīng)關(guān)系，從而在應(yīng)用中發(fā)揮更為重要的作用

對象類模型重建【26】
自動地標(biāo)注釋【27】
Wang 等人【28】：將多圖像間的語義匹配問題轉(zhuǎn)化為特征選擇與標(biāo)注問題，即從每幅圖像的初始候選集中選擇一組稀疏特征點，通過分配標(biāo) 簽建立它們在圖像間的對應(yīng)關(guān)系。該方法可以為滿足循環(huán)一致性和幾何一致性的圖像集合建立可靠的特征對應(yīng)關(guān)系，其中循環(huán)一致性可以對圖像集合中的可重復(fù)特征進(jìn)行選擇和匹配。低秩約束用于確保特征對應(yīng)的幾何一致性，并可同時對循環(huán)一致性和幾何一致性進(jìn)行優(yōu)化。該方法具有高度可擴(kuò)展性，可以對數(shù)千幅圖像進(jìn)行匹配，適用于在不使用任何注釋的情況下重構(gòu)對象類模型。

3.5 圖像匹配應(yīng)用于臨床的精確診療

通過精確比對器官的幾何形狀，來判斷臟器是否存在病變; 通過分析腫瘤的幾何特征，來判斷腫瘤是否為惡性。

Yu 等人［29］提出 A-NSIFT( accelerated multi-dimensional scale invariant feature transform) 與 PO-GMMＲEG( parallel optimization based on gaussian mixture model registration) 相結(jié)合的方法，改進(jìn)了特征提取和匹配過程。ANSIFT 為加速版 NSIFT，采用 CUDA 編程加速 NSIFT 的前兩個步驟，用于提取匹配圖像和待匹配圖像中的特征點( 僅保留位置信息) 。PO-GMMＲEG 是基于并行優(yōu)化的高斯混合模型( GMM) 匹配算法，并行優(yōu)化使得匹配圖像和待匹配圖像可以任意旋轉(zhuǎn)角度對齊。該方法可以減少時間消耗，提高大姿態(tài)差異下的匹配精度。
TV-L1 ( total variation-L1 ) 光流模型［30］能有效地保持圖像邊緣等特征信息，但對于保持具有弱導(dǎo)數(shù)性質(zhì)的紋理細(xì)節(jié)信息仍不夠理想。
張桂梅等人［31］將 G-L ( Grünwald-Letnikov ) 分數(shù) 階微分理論引入 TV-L1 光流模型，代替其中的一階微分，提出分?jǐn)?shù)階 TV-L1 光流場模型 FTV-L1 ( fractional TV-L1 ) 。同時給出匹配精度和 G-L 分?jǐn)?shù)階模板參數(shù)之間關(guān)系，為最佳模板選取提供依據(jù)。FTV-L1 模型通過全變分能量方程的對偶形式進(jìn)行極小化以獲得位移場，可以解決圖像灰度均勻，弱紋理區(qū)域匹配結(jié)果中的信息模糊問題。該方法能有效提高圖像匹配精度，適合于包含較多弱紋理和弱邊緣信息的醫(yī)學(xué)圖像匹配。
為了解決待匹配圖像對中目標(biāo)的大形變和灰度分布呈各向異性問題，陸雪松等人［32］將兩幅圖像的聯(lián)合Ｒenyi α -entropy 引入多維特征度量并結(jié)合全局和局部特征，從而實現(xiàn)非剛性匹配。首先，采用最小距離樹構(gòu)造聯(lián)合Ｒenyi α -entropy 度量準(zhǔn)則; 其次，根據(jù)該度量相對形變模型 FFD( free-form deformation) 的梯度解析表達(dá)式，采用隨機(jī)梯度下降法進(jìn) 行優(yōu)化; 最后，將圖像的 Canny 特征和梯度方向特征融入度量中，實現(xiàn)全局和局部特征的結(jié)合。該方法的匹配精度與傳統(tǒng)互信息法和互相關(guān)系數(shù)法相比有明顯提高，且新度量方法能克服因圖像局部灰度分布不一致造成的影響，能夠在一定程度上減少誤匹配。
Yang 等人［33］提出的 FMLND( feature matching with learned nonlinear descriptors) 采用基于學(xué)習(xí)的局部非線性描述符 LND 進(jìn)行特征匹配，對來自 T1w 和 T2w 兩種不同成像參數(shù)的磁共振成像( MＲI) 數(shù)據(jù)的 CT( computed tomography) 圖像進(jìn)行預(yù)測。該過程分為兩個階段: 學(xué)習(xí)非線性描述符和預(yù)測 pCT( pseudo CT) 圖像。第 1 階段，首先采用稠密 SIFT 提取 MＲ圖像的特征; 其次通過顯式特征映射將其投影到高維空間并與原始塊強(qiáng)度結(jié)合，作為初始非線性描述符; 最后在基于改進(jìn)的描述符學(xué)習(xí)( SDL) 框架中學(xué) 習(xí)包含監(jiān)督的 CT 信息的局部描述符。第 2 階段，在訓(xùn)練 MＲ圖像的約束空間內(nèi)搜索輸入 MＲ圖像的局部描述符的 K 最近鄰域，和對應(yīng)原始 CT 塊進(jìn) 行映射，對重疊的 CT 塊進(jìn)行加權(quán)平均處理得到最終的 pCT 塊。與僅使用成像參數(shù) T1w 或 T2w 的 MＲ圖像方法相比，FMLND 方法提高了預(yù)測的準(zhǔn) 確率。
對骨盆CT和MRI匹配可以促進(jìn)前列腺癌放射治療兩種方式的有效融合。由于骨盆器官的模態(tài)外觀間隙較大，形狀/外觀變化程度高，導(dǎo)致匹配困難。基于此，Cao 等人【34】提出基于雙向圖像合成的區(qū)域自適應(yīng)變形匹配方法，用于多模態(tài)骨盆圖像的匹配，雙向圖像合成，即從MRI合成CT并從CT合成MRI。多目標(biāo)回歸森林 MT-ＲF 采用CT模式和MRI模式對方向圖像合成進(jìn)行聯(lián)合監(jiān)督學(xué)習(xí)，消除模態(tài) 之間的外觀差異，同時保留豐富的解剖細(xì)節(jié)，其匹配流程為: 首先，通過 MT-ＲF 合成雙向圖像，獲得實際CT和合成CT( S-CT) 的CT像對以及實際MRI和合成 MＲI( S-MRI) 的 MＲI 像對; 其次，對CT像對的骨骼區(qū)域和 MRI像對的軟組織區(qū)域進(jìn)行檢測，以結(jié)合兩種模式中的解剖細(xì)節(jié); 最后，利用從兩種模式中選擇的特征點進(jìn)行對稱匹配。在匹配過程中，特征點數(shù)量逐漸增加，對形變場的對稱估計起到較好的分級指導(dǎo)作用。該方法能夠較好地解決骨盆圖像匹配問題，具有較高的準(zhǔn)確性和魯棒性。

3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率

何夢夢等人【35】對細(xì)節(jié)紋理信息豐富的高分辨率光學(xué)及 SAR( synthetic aperture radar) 遙感圖像進(jìn)行分析，提出一種特征級高分辨率遙感圖像快速自動匹配方法。該方法首先對匹配圖像和待匹配圖像進(jìn)行 Harr 小波變換，將其變換到低頻近似圖像再進(jìn)行后續(xù)處理，以提高圖像匹配速度; 接著對光學(xué)圖像和 SAＲ圖像分別采用 Canny 算子和ＲOA( ratio of averages) 算子進(jìn)行邊緣特征提取，并將邊緣線特征轉(zhuǎn)換成點特征; 而后通過匹配圖像和待匹配圖像中每對特征點之間的最小和次小角度之比確定初始匹配點對，并通過對隨機(jī)抽樣一致性算法( ＲANSAC) 添加約束條件來濾除錯誤匹配點對; 最后采用分塊均勻提取匹配點對的方法，進(jìn)一步提高匹配精度。該方法能快速實現(xiàn)并具有較高的配準(zhǔn)精度和較好的魯棒性。

3.7 剔除誤差匹配

3.7.1 幾何約束為參數(shù)的情況，如要求相應(yīng)點位于極線上

Fischler 等人［36］提出 RANSAC 方法，采用迭代方式從包含離群數(shù)據(jù)的數(shù)據(jù)集中估算出數(shù)學(xué)模型。進(jìn)行匹配點對的提純步驟為: 1) 從已匹配的特征點對數(shù)據(jù)集中隨機(jī) 抽取四對不共線的點，計算單應(yīng)性矩陣 H，記作模型 M; 2) 設(shè)定一個閾值 t，若數(shù)據(jù)集中特征點與 M 之間的投影誤差小于 t，就把該點加入內(nèi)點集，重復(fù)以上步驟，迭代結(jié)束后對應(yīng)內(nèi)點數(shù)量最多的情況即為最優(yōu)匹配。ＲANSAC 對誤匹配點的剔除依賴單應(yīng)性矩陣的計算，存在計算量大、效率低等問題。
文獻(xiàn)［37］通過引入針對內(nèi)點和外點的混合概率模型實現(xiàn) 了參數(shù) 模型的最大似然估計。
文獻(xiàn)［38］使用支持向量回歸學(xué)習(xí)的對應(yīng)函數(shù)，該函數(shù)將一幅圖像中的點映射到另一幅圖像中的對應(yīng)點，再通過檢驗它們是否與對應(yīng)函數(shù)一致來剔除異常值。
將點對應(yīng)關(guān)系通過圖匹配進(jìn)行描述［39-40］
為了在不依賴ＲANSAC 情況下恢復(fù)大量內(nèi)點，Lin 等人【41】提出 BF( bilateral functions) 方法，從含有噪聲的匹配中計算全局匹配的一致函數(shù)，進(jìn)而分離內(nèi)點與外點。BF 從一組初始匹配結(jié)果開始，利用每個匹配定義的局部仿射變換矩陣計算兩幅圖像之間的仿射運(yùn)動場。在給定運(yùn)動場的情況下，BF 為每個特征在描述符空間尋找最近鄰匹配以恢復(fù)更多對應(yīng)關(guān)系。與ＲANSAC 相比，雙邊運(yùn)動模型具備更高的查全率和查準(zhǔn)率。
受 BF 啟發(fā)，Bian 等人【42】將運(yùn)動平滑度作為統(tǒng)計量，提出基于網(wǎng)格的運(yùn)動統(tǒng)計( GMS)?方法，根據(jù) 最近鄰匹配數(shù)量區(qū)分正確匹配和錯誤匹配點對。 GMS 算法的核心為運(yùn)動統(tǒng)計模型，如圖 4 所示。其中，si 和 sj 分別表示正確匹配 xi 和錯誤匹配 xj 的運(yùn) 動統(tǒng)計，為了加速這一過程，可將整幅圖像劃分成 G = 20 × 20 的網(wǎng)格，并在網(wǎng)格中進(jìn)行操作。由于 GMS 算法在進(jìn)行網(wǎng)格劃分時，并未考慮圖像大小，對于長寬比例不一致的圖像，會生成矩形狀的網(wǎng)格，導(dǎo)致網(wǎng)格中特征分布不均。基于此，文獻(xiàn)［43］通過計算五宮格特征分?jǐn)?shù)剔除外點，并將圖像大小作為約束對圖像進(jìn)行方形網(wǎng)格劃分，能夠在提高運(yùn)算速度的同時獲得與 GMS 算法相同的匹配精度。

3.7.2 幾何約束為非參數(shù)

Ma 等人［44］提出 VFC( vector field consensus) 方法，利用向量場的光滑先驗，從帶有外點的樣本中尋找向量場的魯棒估計。向量場的光滑性由再生核希爾伯特空間( RKHS) 【45】范數(shù)表征，VFC 算法基于這一先驗理論，使用貝葉斯模型的最大后驗( MAP) 計算匹配是否正確，最后使用 EM 算法將后驗概率最大化。VFC 算法的適用范圍: 1) 誤匹配比例高的時候( 遙感圖像、紅外圖像和異質(zhì)圖像) ; 2) 無法提供變換模型的時候( 如非剛性變形、相機(jī)參數(shù)未知) ; 3) 需要一個快速匹配算法且不需要求解變換參數(shù)的時候。

Part2：局部不變特征點匹配-3D

3維圖像常用的表現(xiàn)形式包括: 深度圖( 以灰度表達(dá)物體與相機(jī)的距離) 、幾何模型( 由 CAD 軟件建立) 、點云模型( 所有逆向工程設(shè)備都將物體采樣成點云) ，3 維點匹配算法中常見的是基于點云模型的和基于深度模型的。點云模型中的每個點對應(yīng) 一個測量點，包含了最大的信息量。

1.特征檢測

PointNet【46】可以直接將 3D 點云作為輸入，其改進(jìn)版 PointNet++【47】能更好地提取局部信息。3 維局部描述符在 3 維視覺中發(fā)揮重要作用，是解決對應(yīng)估計、匹配、目標(biāo)檢測和形狀檢索等的前提，廣泛應(yīng)用在機(jī)器人技術(shù)、導(dǎo) 航( SVM) 和場景重建中。點云匹配中的 3 維幾何描述符一直是該領(lǐng)域的研究熱點，這種描述符主要依賴 3 維局部幾何信息。
Deng 等人［48］提出具有全局感知的局部特征提取網(wǎng)絡(luò) PPFNet?( point pair feature network) 。PPFNet 結(jié)構(gòu)如圖 5 所示。塊描述 Fr 由點對特征( PPF) 集合、局部鄰域內(nèi)的點及法線構(gòu)成，首先采用 PointNet 處理每個區(qū)域塊，得到局部特征; 其次通過最大池化層將各個塊的局部特征聚合為全局特征，將截然不同的局部信息匯總到整個片段的全局背景中; 最后將該全局特征連接到每個局部特征，使用一組多層感知機(jī)( MLP) 進(jìn)一步將全局和局部特征融合到最終全局背景感知的局部描述符中。PPFNet 在幾何空間上學(xué)習(xí)局部描述符，具有排列不變性，且能充分利用原始點云的稀疏性，提高了召回率，對點云的密度變化有更好的魯棒性。但其內(nèi)存使用空間與塊數(shù)的 2 次方成正比，限制了塊的數(shù)量，目前只能設(shè)置為 2 K。

在基于深度模型的匹配算法中，Zhou 等人【49】基于多視圖融合技術(shù) Fuseption-ＲesNet(FRN)?，提出多視圖描述符 MVDesc。FＲN 能將多視圖特征映射集成到單視圖上表示，如圖 6 所示。其中，視圖池化 ( view pooling) 用于快捷連接，Fuseption 分支負(fù)責(zé)學(xué) 習(xí)殘差映射，兩個分支在精度和收斂率方面互相加強(qiáng)。采用 3 × 3、1 × 3 和 3 × 1 3 種不同內(nèi)核尺寸的輕量級空間濾波器提取不同類型的特征，并采用上述級聯(lián)特征映射的 1 × 1 卷積負(fù)責(zé)跨通道統(tǒng)計量的合并與降維。將 FＲN 置于多個并行特征網(wǎng)絡(luò)之上，并建立 MVDesc 的學(xué)習(xí)網(wǎng)絡(luò)，其中卷積 6 的通道數(shù) 與特征網(wǎng)絡(luò)輸出的特征映射通道數(shù)相同。

與依賴多視圖圖像或需要提取固有形狀特征的卷積神經(jīng)網(wǎng)絡(luò)不同，Wang 等人［50］提出一種可以根據(jù) 3 維曲面形狀生成局部描述符的網(wǎng)絡(luò)框架。該方法將關(guān)鍵點的鄰域進(jìn)行多尺度量化并參數(shù)化為 2 維網(wǎng)格，并將其稱之為幾何圖像，描述符的訓(xùn)練過程如下: 首先提取曲面上關(guān)鍵點鄰域的多尺度局部塊，根據(jù)這些塊構(gòu)造一組幾何圖像; 其次將這些塊輸入 Triplet 網(wǎng) 絡(luò)，每個網(wǎng)絡(luò)分支采用 ConvNet ( convolutional networks) 訓(xùn)練; 最后輸出 128 維描述符，并采用 MinCV Triplet 損失函數(shù)最小化錨樣本和正樣本距離的變異系數(shù)( CV) 之比。相對于其他局部描述符學(xué)習(xí)方法，該方法具有更好的可區(qū)分性、魯棒性及泛化能力。
Georgakis 等人［51］提出用于特征點檢測和描述符學(xué)習(xí)的端到端框架。該框架基于 Siamese 體系結(jié) 構(gòu)，每個分支都是一個改進(jìn)的 Faster Ｒ-CNN［52］。如圖 7 所示，采用 VGG-16 的卷積層 cov5_3 提取深度圖I的深度卷積特征，一方面經(jīng)過ＲPN( region propose network) 處理，產(chǎn)生特征點的候選區(qū)域( 橙色區(qū)域) 及分?jǐn)?shù) S ; 另一方面輸入到ＲoI( region of interest) 池化層，經(jīng)過全連接層將特征點候選區(qū)域映射到對應(yīng)卷積特征 f 上; 采樣層以候選區(qū)域的質(zhì)心 x、卷積特征 f 、深度圖像值 D、相機(jī)姿態(tài)信息 g 和相機(jī) 內(nèi)在參數(shù)作為輸入，動態(tài)生成局部塊對應(yīng)標(biāo)簽( 正或負(fù)) ，并采用對比損失函數(shù) Lcontr 最小化正樣本對間的特征距離，最大化負(fù)樣本對間的距離，該方法對視角變化具有一定的魯棒性。

2. 誤差剔除

采用基于圖模型的3維誤匹配點剔除方法RMBP( robust matching using belief propagation) 。該模型可以描述匹配對之間的相鄰關(guān)系，并通過置信傳播對每個匹配對進(jìn)行推斷驗證，從而提高 3 維點匹配的準(zhǔn)確性和魯棒性。

Part3：直線匹配

研究直線匹配首先要克服線特征本身存在的一些問題，如端點位置不準(zhǔn)確、圖像邊緣特征不明顯、線段碎片問題等，與點特征相比，線特征包含更多場景和對象的結(jié)構(gòu)信息。線特征匹配方法可以大致分為 3 種: 基于單線段匹配方法、基于線段組方法和基于共面線—點不變量( LP) 方法。

1.基于單線段匹配

Wang 等人［53］提出的 MSLD( mean standard deviation line descriptor) 方法通過統(tǒng)計像素支持區(qū)域內(nèi)每個子區(qū)域 4 個方向的梯度向量構(gòu)建描述子矩陣，進(jìn)而提高描述符的魯棒性。MSLD 對具有適當(dāng)變化的紋理圖像有較好的匹配效果，可以應(yīng)用在 3 維重建和目標(biāo)識別等領(lǐng)域。為了解決 MSLD 對尺度變化敏感問題，文獻(xiàn)［54］將區(qū)域仿射變換和 MSLD 相結(jié)合，利用核線約束確定匹配圖像對應(yīng)的同名支持域，并對該支持域進(jìn)行仿射變換以統(tǒng)一該區(qū)域大小，實現(xiàn)不同尺度圖像上直線的可靠匹配。
與 MSLD 相似，Zhang 等人［55］提出線帶描述符( LBD)?，在線支持區(qū)域( LSＲ) 中計算描述符，同時利用直線的局部外觀和幾何特性，通過成對幾何一致評估提高對低紋理圖像直線匹配的精確度。該方法可在不同尺度空間中檢測線段，能夠克服線段碎片問題，提高抗大尺度變化的魯棒性。

2.基于線段組方法

當(dāng)像對間旋轉(zhuǎn)角度過大時，單線段匹配方法的匹配準(zhǔn)確率不高，可以采用線段組匹配方法通過更多的幾何信息解決這一問題。Wang 等人［56］基于線段局部聚類的方式提出半局部特征 LS( line signature)?，用于寬基線像對匹配，并采用多尺度方案提高尺度變化下的魯棒性。
為了提高在光照不受控制情況下對低紋理圖像的匹配準(zhǔn)確度，López 等人［57］將直線的幾何特性、局部外觀及線鄰域結(jié)構(gòu)上下文相結(jié)合，提出雙視圖( two-view) 直線匹配算法 CA。首先對線特征進(jìn)行檢測: 1) 在高斯尺度空間利用基于相位的邊緣檢測器提取特征; 2) 根據(jù)連續(xù)性準(zhǔn)則將邊緣特征局部區(qū)域近似為線段; 3) 在尺度空間進(jìn) 行線段融合。其次，該方法中的相位一致性對于圖像亮度和對比度具有較高不變性，線段融合可以減少重疊線段以及線段碎片出現(xiàn)。最后，線特征匹配采用迭代方式進(jìn)行，通過不同直線鄰域的局部結(jié)構(gòu) 信息來增強(qiáng)每次迭代的匹配線集，該方法適用于低紋理圖像中線特征的檢測與匹配。

基于線段組匹配方法對線段端點有高度依賴性，圖像變換及部分遮擋可能導(dǎo)致端點位置不準(zhǔn)確，進(jìn)而影響匹配效果。

3.基于共面線—點不變量( LP) 方法

Fan 等人［58-59］利用線及其鄰域點的局部幾何信息構(gòu)造共面線—點不變量( LP) 用于線匹配。LP 包括: “一線 + 兩點”構(gòu)成的仿射不變量和“一線 + 四點”構(gòu)成的投影不變量。該投影不變量和“兩線 + 兩點”構(gòu)成的投影不變量［60］相比，可以直接用于線匹配而無需復(fù)雜的組合優(yōu)化。根據(jù)直線的梯度方向，將線鄰域分為左鄰域和右鄰域( 線梯度方向) ，以獲得左右鄰域內(nèi)與線共面的匹配點，進(jìn)行線相似性度量時，取左右鄰域相似性的最大值。
該方法對誤匹配點和圖像變換具有魯棒性，但高度依賴匹配關(guān)鍵點的準(zhǔn)確性。為此，Jia 等人［61］基于特征數(shù) CN［62］提出一種新的共面線—點投影不變量。CN 對交叉比進(jìn)行擴(kuò)展，采用線上點和線外點描述基礎(chǔ)幾何結(jié)構(gòu)。通過“五點”構(gòu) 造線—點不變量，其中兩點位于直線上，另外三點位于直線同一側(cè)但不共線，如圖 8 所示。點 KP1 l ，KP2 l ， P1 ，P2 ，P3 用于構(gòu)造該不變量，通過兩點連線可以獲得其他特征點。計算直線鄰域相似性時，把線鄰域按照線梯度方向分為左鄰域和右鄰域( 梯度方向) ，根據(jù)線點不變量分別計算左、右鄰域的相似性。這種相似性度量方法受匹配特征點的影響較小。該方法對于低紋理和寬基線圖像的線匹配效果要優(yōu)于其他線匹配算法，對于很多圖像失真也有較好魯棒性。由于該線—點不變量是共面的，對于非平面場景圖像的處理具有局限性。

對航空影像進(jìn)行線匹配時，線特征通常會出現(xiàn)遮擋、變形及斷裂等情況，使得基于形態(tài)的全局描述符不再適用。基于此，歐陽歡等人［63］聯(lián)合點特征匹配優(yōu)勢，通過對線特征進(jìn)行離散化描述并結(jié)合同名點約束實現(xiàn)航空影像線特征匹配。線特征離散化，即將線看做離散點，通過統(tǒng)計線上同名點的分布情況來確定線特征的初匹配結(jié)果，最后利用點線之間距離關(guān)系對匹配結(jié)果進(jìn)行核驗。同名點約束包括單應(yīng)性約束和核線約束，單應(yīng)性約束實現(xiàn)線特征之間的位置約束，核線約束將匹配搜索空間從 2 維降至 1 維。線上離散點的匹配約束如圖 9 所示，IL 為目標(biāo)影像，l1 為目標(biāo)線特征，p 為其上一點; IＲ為待匹配影像，線 E 代表 p 所對應(yīng)核線，p' 為 p 由單應(yīng)性矩陣映射得到的對應(yīng)點，虛線圓為單應(yīng)性矩陣的約束范圍，l'1 、l'2 、l'3 是由約束確定的候選線特征，點 p1、p2 、p3 為 p 的候選同名點。該算法匹配正確率高，匹配速度相對較快，可實現(xiàn)斷裂線特征的多對多匹配，但匹配可靠性仍受到點特征匹配的影響，對于難以獲得初始同名點的區(qū)域，其適用性不高。

Part4：區(qū)域匹配

1.區(qū)域特征提取與匹配方法

區(qū)域特征具有較高的不變性與穩(wěn)定性，在多數(shù)圖像中可以重復(fù)檢測，與其他檢測器具有一定互補(bǔ)性，被廣泛應(yīng)用于圖像識別、圖像檢索、圖像拼接、3 維重建、機(jī)器人導(dǎo)航等領(lǐng)域。

Matas 等人［64］于 2002 年提出最大穩(wěn)定極值區(qū)域( MSEＲ) 采用分水嶺方法，通過對灰度圖像取不同閾值分割得到一組二值圖，再分析相鄰二值圖像的連通區(qū)域獲得穩(wěn)定區(qū)域特征。經(jīng)典 MSEＲ算法具有較高的時間復(fù)雜度。
Nistér 等人［65］基于改進(jìn)的分水嶺技術(shù)提出一種線性計算 MSEＲ的算法，該算法基于像素的不同計算順序，獲得與圖像中存在灰度級數(shù)量相同的像素分量信息，并通過組件樹表示對應(yīng)灰度級。MSEＲ這類方法可用于圖像斑點區(qū)域檢測及文本定位，也可與其他檢測器結(jié)合使用，如文獻(xiàn)［66］將 SUＲF 和 MSEＲ及顏色特征相結(jié)合用于圖像檢索，文獻(xiàn)［67］將 MSEＲ與 SIFT 結(jié)合用于特征檢測。
區(qū)域特征檢測還可利用計算機(jī)技術(shù)中的樹理論進(jìn)行穩(wěn)定特征提取，Xu 等人［68］提出一種基于該理論的拓?fù)浞椒?TBMＲ( tree-based Morse regions)?。該方法以 Morse 理論為基礎(chǔ)定義臨界點: 最大值點、最小值點和鞍點，分別對應(yīng)最大樹葉子節(jié)點、最小樹葉子節(jié)點和分叉節(jié)點。TBMＲ區(qū)域?qū)?yīng)樹中具有唯一子節(jié)點和至少具有一個兄弟節(jié)點的節(jié)點。如圖 10 所示，節(jié)點 A 和 C 代表最小值區(qū)域; 節(jié)點 H 和 E 代表最大值區(qū)域; 節(jié)點 A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍點區(qū)域; 節(jié)點 A ∪ B 、C ∪ D 、E ∪ F 為所求 TBMＲ區(qū)域。該方法僅依賴拓?fù)湫畔?#xff0c;完全繼承形狀空間不變性，對視角變化具有魯棒性，計算速度快，與 MSEＲ具有相同復(fù)雜度，常用于圖像配準(zhǔn) 和 3 維重建。

2. 模板匹配

模板匹配是指給定一個模板( 通常是一塊小圖像區(qū)域) ，在目標(biāo)圖像中尋找與模板對應(yīng)區(qū)域的方法，被廣泛應(yīng)用于目標(biāo)跟蹤、目標(biāo)檢測及圖像拼接等領(lǐng)域。

模板和目標(biāo)圖像子窗口間的相似性度量是模板匹配的主要部分，常采用逐像素比較的計算方式，如上述方法采用的 SAD、CSAD 和 SV-NCC，此外還有差值平方和 SSD 等，這些方法在圖像背景雜亂或發(fā) 生復(fù)雜形變的情況下不再適用。

Korman 等人［69］提出可以處理任意仿射變換的模板匹配算法 FAST-Match?( fast affine template matching) ，該方法首先將彩色圖像灰度化，再構(gòu)建仿射變換集合，并遍歷所有可能的仿射變換，最后計算模板與變換后區(qū)域之間絕對差值的和 SAD，求取最小值作為最佳匹配位置。該方法能夠找到全局最優(yōu)匹配位置，但對彩色圖像匹配時，需預(yù)先轉(zhuǎn)換成灰度圖像，而這一過程損失了彩色空間信息，降低了圖像匹配的準(zhǔn)確率。
Jia 等人［70］將灰度空間的 SAD 拓展到ＲGB 空間形成 CSAD( colour SAD) ，提出適合彩色圖像的模板匹配算法?CFAST-Match?( colour FAST match) 。該方法通過矢量密度聚類算法計算每個像素點所屬類別，并統(tǒng)計同類像素個數(shù)及ＲGB 各通道的累計值，以此求解每個分類的矢量中心，將矢量中心作為 CSAD 的判定條件，同類像素個數(shù)的倒數(shù)作為分值系數(shù)，以此建立新的相似性度量機(jī)制。
上方法對存在明顯色差的區(qū)域具有較高匹配精度，但部分參數(shù)依據(jù)經(jīng)驗設(shè)置，且不適合處理大尺寸圖像。為了解決這一問題，文獻(xiàn)［71］提出一種基于分值圖的模板匹配算法。該方法依據(jù)彩色圖像的多通道特征，采用抽樣矢量歸一化互相關(guān)方法 ( SVNCC) 度量兩幅圖像間的區(qū)域一致性，以降低光照和噪聲影響。
Dekel 等人［72-73］基于模板與目標(biāo)圖像間的最近鄰( NN) 匹配屬性提出一種新的 BBS( best-buddies similarity) 度量方法，采用不同圖像特征( 如顏色、深度) 通過滑動窗口方式統(tǒng)計模板點與目標(biāo)點互為 NN 的匹配數(shù)量，并將匹配數(shù)量最多的窗口視為最終匹配位置。但該算法在發(fā)生劇烈非剛性形變或處于大面積遮擋及非均勻光照等環(huán)境下匹配魯棒性差。文獻(xiàn)［74］利用曼哈頓距離代替 BBS 算法中的歐氏距離，并對生成的置信圖進(jìn)行閾值篩選和濾波，能夠較好地解決光照不均勻、模板中外點較多與旋轉(zhuǎn)變形等多種復(fù)雜條件下的匹配問題。
采用雙向 NN 匹配導(dǎo)致 BBS 的計算時間較長，?Talmi 等人［75］提出基于單向 NN 匹配的 DDIS?( deformable diversity similarity) 方法。首先計算目標(biāo)圖像窗口點在模板中的 NN 匹配點，并統(tǒng)計對應(yīng)同一匹配點的數(shù)量，計算像素點的置信度。其次采用歐氏距離計算目標(biāo)點和對應(yīng) NN 匹配點間距離，最后結(jié)合度量模板和目標(biāo)圖像窗口間的相似性獲得匹配結(jié)果。盡管 DDIS 降低了算法復(fù)雜度并提高了檢測精度，但當(dāng)形變程度較大時依然會影響匹配效果。
由于 DDIS 對每個滑動窗口單獨(dú)計算 NN 匹配且滑動窗口的計算效率較低，導(dǎo)致模板在與較大尺寸的目標(biāo)圖像進(jìn)行匹配時，處理時間較長。為此，Talker 等人［76］基于單向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。與 DDIS 基于目標(biāo)圖像窗口點不同，DIWU 計算整幅目標(biāo)圖像點在模板中的最近鄰匹配點，若多個像素的 NN 匹配點相同，則像素的置信分?jǐn)?shù)就低，匹配的正確性就低。 DIWU 以第 1 個圖像窗口的分?jǐn)?shù)為基礎(chǔ)，逐步計算之后的每個窗口分?jǐn)?shù)，該方法在保證匹配準(zhǔn)確性的同時，提高了運(yùn)算速度，使得基于 NN 的模板匹配適合實際應(yīng)用。
BBS 和 DDIS 均采用計算矩形塊間的相似性度量解決幾何形變和部分遮擋問題，但滑動窗口的使用限制了遮擋程度。Korman 等人［77］基于一致集最大化( CSM) 提出適用于存在高度遮擋情況下的模板匹配算法 OATM?( occlusion aware template matching) 。OATM 通過約簡方法，將單個向量和 N 個目標(biāo)向量間的匹配問題轉(zhuǎn)化為兩組槡N 向量間的匹配問題，并基于隨機(jī)網(wǎng)格哈希算法進(jìn)行匹配搜索。匹配搜索的過程為尋找 CSM 的過程，即使用閾值內(nèi)的殘差映射進(jìn)行變換搜索。OATM 提高了算法的處理速度，較好地解決了遮擋問題。
與基于歐氏距離的像素間的相似性不同，共現(xiàn) 統(tǒng)計( cooccurrence statistics) 是從數(shù)據(jù)中學(xué)習(xí)像素間的相似性。Kat 等人［78］通過統(tǒng)計模板點和目標(biāo)點在目標(biāo)圖像窗口共同出現(xiàn)的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在處理彩色圖時，采用 k-means 聚類算法將圖像量化為 k 個類簇，根據(jù)共現(xiàn)矩陣統(tǒng)計模板和目標(biāo)圖像中的類簇對在目標(biāo)圖像中共同出現(xiàn)的次數(shù)，再基于每個類簇的先驗概率進(jìn)行歸一化，構(gòu)造點互信息( PMI) 矩陣，值越大表明共現(xiàn)概率越高，誤匹配率越低。最后根據(jù) PMI 計算模板類簇中的像素和目標(biāo)圖像窗口中包含的類簇中的像素之間的相關(guān)性，選出最佳匹配位置。 CoTM 也適用于顏色特征之外的其他特征，如深度特征，可將共現(xiàn)統(tǒng)計( 捕獲全局統(tǒng)計) 與深度特征 ( 捕獲局部統(tǒng)計數(shù)據(jù)) 相結(jié)合，在基于標(biāo)準(zhǔn)數(shù)據(jù)集的模板匹配中提升匹配效果。

3. 深度學(xué)習(xí)方法-塊匹配

近年來，基于深度學(xué)習(xí)的圖像區(qū)域匹配成為研究熱點，卷積神經(jīng)網(wǎng)絡(luò)( CNN) 在局部圖像區(qū)域匹配的應(yīng)用中，根據(jù)是否存在度量層可以分為兩類:

第一類為具有度量層的方法，這類網(wǎng)絡(luò)通常把圖像塊對匹配問題視為二分類問題。

Han 等人［79］提出的 MatchNet?通過 CNN 進(jìn)行圖像區(qū)域特征提取和相似性度量，過程如圖 11 所示。對于每個輸入圖像塊，特征網(wǎng)絡(luò)輸出一個固定維度特征，預(yù)處理層的輸入為灰度圖像塊，起到歸一化作用。卷積層激活函數(shù) 為ＲeLU，瓶頸( bottlebeck) 層為全連接層，能夠降低特征維度并防止網(wǎng)絡(luò)過擬合。采用 3 個全連接層組成的度量網(wǎng)絡(luò)計算特征對的匹配分?jǐn)?shù)，雙塔結(jié)構(gòu)在監(jiān)督環(huán)境下聯(lián)合訓(xùn)練特征網(wǎng)絡(luò)和度量網(wǎng)絡(luò)。
Zagoruyko 等人［80］提出 DeepCompare 方法，通過 CNN 比較灰度圖像塊對的相似性。該方法對基礎(chǔ)網(wǎng)絡(luò)框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 進(jìn)行描述，并在此基礎(chǔ)上采用深度網(wǎng)絡(luò)、中心環(huán)繞雙流網(wǎng)絡(luò)( central-surround two-stream，2stream) 和空間金字塔池化( SPP) 網(wǎng)絡(luò)提升基礎(chǔ)框架性能。
為了提高衛(wèi)星影像的配準(zhǔn)率，范大昭等人［81］提出基于空間尺度雙通道深度卷積神經(jīng)網(wǎng)絡(luò)方法 ( BBS-2chDCNN)?。BBS-2chDCNN 是在雙通道深度卷積神經(jīng)網(wǎng)絡(luò)( 2chDCNN) 前端加入空間尺度卷積層，以加強(qiáng)整體網(wǎng)絡(luò)的抗尺度特性。2chDCNN 將待匹配點對局部合成的兩通道影像作為輸入數(shù)據(jù)，依次進(jìn)行 4 次卷積、ＲeLU 操作、最大池化操作，3 次卷積和ＲeLU 操作，最后進(jìn)行扁平化和兩次全連接操作輸出一維標(biāo)量結(jié)果。該方法適用于處理異源、多時相、多分辨率的衛(wèi)星影像，較傳統(tǒng)匹配方法能提取到更為豐富的同名點。

第二類方法不存在度量層，這類網(wǎng)絡(luò)的輸出即為特征描述符，在某些應(yīng)用中可以直接代替?zhèn)鹘y(tǒng)描述符。

Balntas 等人［82］提出的 PN-Net 采用 Triplet 網(wǎng) 絡(luò)訓(xùn)練，訓(xùn)練過程如圖 14 所示。圖像塊三元組 T = { p1，p2，n} ，包括正樣本對 ( p1，p2 ) 和負(fù) 樣本對 ( p1，n) 、( p2，n) ，采用 SoftPN 損失函數(shù)計算網(wǎng)絡(luò)輸出描述子間相似性，以確保最小負(fù)樣本對距離大于正樣本對距離。表 2 給出所采用的 CNN 體系結(jié)構(gòu) 的參數(shù)，采用 32 × 32 像素的圖像塊作為輸入，括號內(nèi)的數(shù)字表示卷積核大小，箭頭后面的數(shù)字表示輸出通道數(shù)，Tanh 為激活函數(shù)。與其他特征描述符相比，PN-Net 具有更高效的描述符提取及匹配性能，能顯著減少訓(xùn)練和執(zhí)行時間。
Yang 等人［83］提出用于圖像塊表示的一對互補(bǔ) 描述符學(xué)習(xí)框架 DeepCD。該方法采用 Triplet 網(wǎng)絡(luò) 進(jìn)行訓(xùn)練，輸出主描述符( 實值描述符) 和輔描述符 ( 二值描述符) ，如圖 15 所示，輸入圖像區(qū)域包括正樣本對 ( a，p) ，負(fù)樣本對 ( a，n) 和 ( p，n) ，L 代表主描述符，C 代表輔描述符，Δ 代表主描述符距離， Δ 珚代表輔描述符距離。數(shù)據(jù)相關(guān)調(diào)制層( DDM) 通過學(xué)習(xí)率的動態(tài)調(diào)整實現(xiàn)輔助描述符對主導(dǎo)描述符的輔助作用。該方法能夠有效地提高圖像塊描述符在各種應(yīng)用和變換中的性能。
以上這些方法都是對圖像塊對或三元組進(jìn)行的處理，Tian 等人［84］提出的 L2-Net?通過 CNN 在歐氏空間將一批圖像塊轉(zhuǎn)換成一批描述符，將批處理中的最近鄰作為正確匹配描述符。如圖 16 所示，每個卷積層左邊數(shù)字代表卷積核大小，右邊數(shù)字表示輸出通道數(shù)，2 表示下采樣層的步長; 3 × 3 Conv 由卷積、批歸一化( BN) 和ＲeLU( rectified linear unit) 組成; 8 × 8 Conv 由卷積和批歸一化( BN) 組成; 局部響應(yīng)歸一化層( LＲN) 作為單元描述符的輸出層，獲得 128 維描述符。CS L2-Net 由兩個獨(dú)立 L2-Net 級聯(lián)成雙塔結(jié)構(gòu)，左側(cè)塔輸入和 L2-Net 相同，右側(cè)塔輸入是中心裁剪后的圖像塊。采用漸進(jìn)式采樣策略，在參與訓(xùn)練的批樣本中，從每對匹配樣本中隨機(jī) 抽取一個組成若干不匹配樣本，增加負(fù)樣本數(shù)量。與成對樣本和三元組樣本相比，能夠利用更多負(fù)樣本信息。

比較

其他

2維點匹配

TILDE
- https://cvlab.epfl.ch/research/tilde
協(xié)變特征檢測[17]
- http://dvmmweb.cs.columbia.edu/files/3129.pdf
- https://github.com/ColumbiaDVMM/Transform_Covariant_Detector
DeepDesc
- http://icwww.epfl.ch/~trulls/pdf/iccv-2015-deepdesc.pdf
- https://github.com/etrulls/deepdesc-release
LIFT
- https://arxiv.org/pdf/1603.09114.pdf
- https://github.com/cvlab-epfl/LIFT
Quad-networks
- https://arxiv.org/pdf/1611.07571.pdfGMShttp://jwbian.net/gmsVFC
- http://www.escience.cn/people/jiayima/cxdm.html

3維點匹配

PPFNet
- http://tbirdal.me/downloads/tolga-birdal-cvpr-2018-ppfnet.pdf
文獻(xiàn)[51]
- http://cn.arxiv.org/pdf/1802.07869
文獻(xiàn)[49]
- http://cn.arxiv.org/pdf/1807.05653
文獻(xiàn)[50]
- http://openaccess.thecvf.com/content_ECCV_2018/papers/Hanyu_Wang_Learning_3D_Keypoint_ECCV_2018_paper.pdf

語義匹配

樣本LDA分類器
- http://ci2cv.net/media/papers/2015_ICCV_Hilton.pdf
- https://github.com/hbristow/epic
AnchorNet
- http://openaccess.thecvf.com/content_cvpr_2017/papers/Novotny_AnchorNet_A_Weakly_CVPR_2017_paper.pdf
文獻(xiàn)[28]
- http://cn.arxiv.org/pdf/1711.07641

線匹配

LBD
- http://www.docin.com/p-1395717977.html
- https://github.com/mtamburrano/LBD_Descriptor
新線點投影不變量[61]
- https://github.com/dlut-dimt/LineMatching

模板匹配

FAST-Match
- http://www.eng.tau.ac.il/~simonk/FastMatch/
CFAST-Match
- https://wenku.baidu.com/view/3d96bf9127fff705cc1755270722192e453658a5.html
DDIS
- https://arxiv.org/abs/1612.02190
- https://github.com/roimehrez/DDIS
DIWU
- http://liortalker.wixsite.com/liortalker/code
CoTM
- http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/2450.pdf
OATM
- http://cn.arxiv.org/pdf/1804.02638

塊匹配

MatchNet
- http://www.cs.unc.edu/~xufeng/cs/papers/cvpr15-matchnet.pdf
- https://github.com/hanxf/matchnet
DeepCompare
- http://imagine.enpc.fr/~zagoruys/publication/deepcompare/
PN-Net
- https://arxiv.org/abs/1601.05030
- https://github.com/vbalnt/pnnet
L2-Net
- http://www.nlpr.ia.ac.cn/fanbin/pub/L2-Net_CVPR17.pdf
- https://github.com/yuruntian/L2-Net
DeepCD
- https://www.csie.ntu.edu.tw/~cyy/publications/papers/Yang2017DLD.pdf
- https://github.com/shamangary/DeepCD

文獻(xiàn)：

［1］ Harris C，Stephens M． A combined corner and edge detector ［C］/ /Proceedings of the 4th Alvey Vision Conference． Manchester: AVC，1988: 147-151．［DOI: 10． 5244 /C． 2． 23］
［2］Ｒosten E，Drummond T． Machine learning for high-speed corner detection［C］/ /Proceedings of the 9th European Conference on Computer Vision． Graz，Austria: Springer，2006: 430-443．［DOI: 10． 1007 /11744023_34］
［3］ Lowe D G． Distinctive image features from scale-invariantkeypoints［J］． International Journal of Computer Vision，2004， 60( 2) : 91-110．［DOI: 10． 1023 /B: VISI． 0000029664． 99615． 94］
［4］ Liu L，Zhan Y Y，Luo Y，et al． Summarization of the scale invariant feature transform［J］． Journal of Image and Graphics， 2013，18( 8) : 885-892．［劉立，詹茵茵，羅揚(yáng)，等．尺度不變特征變換算子綜述［J］．中國圖象圖形學(xué) 報，2013， 18( 8) : 885-892．］［DOI: 10． 11834 /jig． 20130801］
［5］ Xu Y X，Chen F．Ｒecent advances in local image descriptor［J］． Journal of Image and Graphics，2015，20( 9) : 1133-1150．［許允喜，陳方．局部圖像描述符最新研究進(jìn)展［J］．中國圖象圖形學(xué)報，2015，20( 9) : 1133-1150．］［DOI: 10． 11834 /jig． 20150901］
［6］ Zhang X H，Li B，Yang D． A novel Harris multi-scale corner detection algorithm［J］． Journal of Electronics and Information Technology，2007，29 ( 7) : 1735-1738．［張小洪，李博，楊丹．一種新的 Harris 多尺度角點檢測［J］．電子與信息學(xué)報， 2007，29 ( 7 ) : 1735-1738．］［DOI: 10． 3724 / SP． J． 1146． 2005． 01332］
［7］ He H Q，Huang S X． Improved algorithm for Harris rapid subpixel corners detection［J］． Journal of Image and Graphics， 2012，17( 7) : 853-857．［何海清，黃聲享．改進(jìn)的 Harris 亞像素角點快速定位［J］．中國圖象圖形學(xué)報，2012，17( 7) : 853-857．］［DOI: 10． 11834 /jig． 20120715］
［8］ Zhang L T，Huang X L，Lu L L，et al． Fast Harris corner detection based on gray difference and template［J］． Chinese Journal of Scientific Instrument，2018，39( 2) : 218-224．［張立亭，黃曉浪，鹿琳琳，等．基于灰度差分與模板的 Harris 角點檢測快速算法［J］．儀器儀表學(xué)報，2018，39( 2) : 218-224．］
［9］ Ke Y，Sukthankar Ｒ． PCA-SIFT: a more distinctive representation for local image descriptors［C］/ /Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． Washington，DC: IEEE，2004: 506-513．［DOI: 10． 1109 /CVPＲ． 2004． 1315206］
［10］ Bay H，Tuytelaars T，Gool L． SUＲF: speeded up robust features ［C］/ /Proceedings of the 9th European Conference on Computer Vision． Graz，Austria: Springer，2006: 404-417．［DOI: 10． 1007 /11744023_32］
［11］ Liu L，Peng F Y，Zhao K，et al． Simplified SIFT algorithm for fast image matching［J］． Infrared and Laser Engineering，2008， 37( 1) : 181-184．［劉立，彭復(fù)員，趙坤，等．采用簡化 SIFT 算法實現(xiàn) 快速圖像匹配［J］．紅外與激光工程，2008， 37( 1) : 181-184．］［DOI: 10． 3969 /j． issn． 1007-2276． 2008． 01． 042］
［12］ Abdel-Hakim A E，Farag A A． CSIFT: a SIFT descriptor with color invariant characteristics［C］/ /Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． New York，NY: IEEE，2006: 1978-1983．［DOI: 10． 1109 /CVPＲ． 2006． 95］
［13］ Mikolajczyk K，Schmid C． A performance evaluation of local descriptors［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27 ( 10 ) : 1615-1630．［DOI: 10． 1109 /TPAMI． 2005． 188］
［14］ Morel J M，Yu G S． ASIFT: a new framework for fully affine invariant image comparison［J］． SIAM Journal on Imaging Sciences，2009，2( 2) : 438-469．［DOI: 10． 1137 /080732730］
［15］Ｒosten E，Porter Ｒ，Drummond T． Faster and better: a machine learning approach to corner detection［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32( 1) : 105- 119．［DOI: 10． 1109 /TPAMI． 2008． 275］
［16］ Verdie Y，Yi K M，Fua P，et al． TILDE: a temporally invariant learned DEtector［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston，MA: IEEE， 2015: 5279-5288．［DOI: 10． 1109 /CVPＲ． 2015． 7299165］
［17］ Zhang X，Yu F X，Karaman S，et al． Learning discriminative and transformation covariant local feature detectors［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 4923-4931．［DOI: 10． 1109 /CVPＲ． 2017． 523］
［18］ Savinov N，Seki A，Ladicky L，et al． Quad-networks: unsupervised learning to rank for interest point detection［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 3929-3937．［DOI: 10． 1109 /CVPＲ． 2017． 418］
［19］ Simo-Serra E，Trulls E，Ferraz L，et al． Discriminative learning of deep convolutional feature point descriptors［C］/ /Proceedings of 2015 IEEE International Conference on Computer Vision． Santiago，Chile: IEEE，2015: 118-126．［DOI: 10． 1109 / ICCV． 2015． 22］
［20］ Yi K M，Trulls E，Lepetit V，et al． LIFT: learned invariant feature transform［C］/ /Proceedings of the 14th European Conference on Computer Vision． Amsterdam，The Netherlands: Springer，2016: 467-483．［DOI: 10． 1007 /978-3-319-46466-4_28］
［21］ Jaderberg M，Simonyan K，Zisserman A，et al． Spatial transformer networks［C］/ /Proceedings of the 28th International Conference on Neural Information Processing Systems． Montreal， Canada: ACM，2015: 2017-2025．
［22］ Yi K M，Verdie Y，Fua P，et al． Learning to assign orientations to feature points［C］/ /Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Ｒecognition． Las Vegas，NV: IEEE，2016: 107-116．［DOI: 10． 1109 /CVPＲ． 2016． 19］
［23］ Liu C，Yuen J，Torralba A． SIFT flow: dense correspondence across scenes and its applications［J］． IEEE Transactions on Pattern Analysisand Machine Intelligence，2011，33( 5) : 978-994．［DOI: 10． 1109 /TPAMI． 2010． 147］
［24］ Bristow H，Valmadre J，Lucey S． Dense semantic correspondence where every pixel is a classifier［C］/ /Proceedings of 2015 IEEE International Conference on Computer Vision． Santiago， Chile: IEEE，2015: 4024-4031．［DOI: 10． 1109 / ICCV． 2015． 458］
［25］ Novotny D，Larlus D，Vedaldi A． AnchorNet: A weakly supervised network to learn geometry-sensitive features for semantic matching［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE， 2017: 2867-2876．［DOI: 10． 1109 /CVPＲ． 2017． 306］
［26］ Kar A，Tulsiani S，Carreira J，et al． Category-specific object reconstruction from a single image［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston， MA: IEEE，2015: 1966-1974．［DOI: 10． 1109 /CVPＲ． 2015． 7298807］
［27］ Thewlis J，Bilen H，Vedaldi A． Unsupervised learning of object landmarks by factorized spatial embeddings［C］/ /Proceedings of 2017 IEEE International Conference on Computer Vision． Venice，Italy: IEEE，2017: 3229-3238．［DOI: 10． 1109 / ICCV． 2017． 348］
［28］ Wang Q Q，Zhou X W，Daniilidis K． Multi-image semantic matching by mining consistent features［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE，2018: 685-694．［DOI: 10． 1109 /CVPＲ． 2018． 00078］
［29］ Yu D D，Yang F，Yang C Y，et al． Fast rotation-free featurebased image registration using improved N-SIFT and GMM-based parallel optimization［J］． IEEE Transactions on Biomedical Engineering，2016，63 ( 8) : 1653-1664．［DOI: 10． 1109 /TBME． 2015． 2465855］
［30］ Pock T，Urschler M，Zach C，et al． A duality based algorithm for TV － L1 － optical-flow image registration［C］/ /Proceedings of the 10th International Conference on Medical Image Computing and Computer-Assisted Intervention． Brisbane，Australia: Springer， 2007: 511-518．［DOI: 10． 1007 /978-3-540-75759-7_62］
［31］ Zhang G M，Sun X X，Liu J X，et al．Ｒesearch on TV-L1 optical flow model for image registration based on fractional-order differentiation［J］． Acta Automatica Sinica，2017，43 ( 12) : 2213- 2224．［張桂梅，孫曉旭，劉建新，等．基于分?jǐn)?shù)階微分的 TV-L1光流模型的圖像配準(zhǔn) 方法研究［J］．自動化學(xué) 報， 2017，43 ( 12 ) : 2213-2224．］［DOI: 0． 16383 /j． aas． 2017． c160367］
［32］ Lu X S，Tu S X，Zhang S． A metric method using multidimensional features for nonrigid registration of medical images［J］． Acta Automatica Sinica，2016，42( 9) : 1413-1420．［陸雪松，涂圣賢，張素．一種面向醫(yī)學(xué)圖像非剛性配準(zhǔn)的多維特征度量方法［J］．自動化學(xué)報，2016，42( 9) : 1413-1420．］［DOI: 10． 16383 /j． aas． 2016． c150608］
［33］ Yang W，Zhong L M，Chen Y，et al． Predicting CT image from MＲI data through feature matching with learned nonlinear local descriptors［J］． IEEE Transactions on Medical Imaging，2018， 37( 4) : 977-987．［DOI: 10． 1109 /TMI． 2018． 2790962］
［34］ Cao X H，Yang J H，Gao Y Z，et al．Ｒegion-adaptive deformable registration of CT /MＲI pelvic images via learning-based image synthesis［J］． IEEE Transactions on Image Processing， 2018，27 ( 7 ) : 3500-3512．［DOI: 10． 1109 /TIP． 2018． 2820424］
［35］ He M M，Guo Q，Li A，et al． Automatic fast feature-level image registration for high-resolution remote sensing images［J］． Journal of Ｒemote Sensing，2018，22( 2) : 277-292．［何夢夢，郭擎，李安，等．特征級高分辨率遙感圖像快速自動配準(zhǔn)［J］．遙感學(xué) 報，2018，22 ( 2 ) : 277-292．］［DOI: 10． 11834 /jrs． 20186420］
［36］ Fischler M A，Bolles Ｒ C．Ｒandom sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography［J］． Communications of the ACM，1981， 24( 6) : 381-395．［DOI: 10． 1145 /358669． 358692］
［37］ Torr P H S，Zisserman A． MLESAC: a new robust estimator with application to estimating image geometry［J］． Computer Vision and Image Understanding，2000，78( 1) : 138-156．［DOI: 10． 1006 /cviu． 1999． 0832］
［38］ Li X Ｒ，Hu Z Y．Ｒejecting mismatches by correspondence function［J］． International Journal of Computer Vision，2010， 89( 1) : 1-17．［DOI: 10． 1007 / s11263-010-0318-x］
［39］ Liu H Ｒ，Yan S C． Common visual pattern discovery via spatially coherent correspondences［C］/ /Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． San Francisco，CA: IEEE，2010: 1609-1616．［DOI: 10． 1109 /CVPＲ． 2010． 5539780］
［40］ Liu H Ｒ，Yan S C．Ｒobust graph mode seeking by graph shift ［C］/ /Proceedings of the 27th International Conference on International Conference on Machine Learning． Haifa，Israel: ACM， 2010: 671-678．
［41］ Lin W Y D，Cheng M M，Lu J B，et al． Bilateral functions for global motion modeling［C］/ /Proceedings of the 13th European Conference on Computer Vision． Zurich，Switzerland: Springer， 2014: 341-356．［DOI: 10． 1007 /978-3-319-10593-2_23］
［42］ Bian J W，Lin W Y，Matsushita Y，et al． GMS: grid-based motion statistics for fast，ultra-robust feature correspondence［C］/ / Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 2828-2837．［DOI: 10． 1109 /CVPＲ． 2017． 302］
［43］ Chen F J，Han J，Wang Z W，et al． Image registration algorithm based on improved GMS and weighted projection transformation ［J］． Laser ＆ Optoelectronics Progress，2018，55 ( 11 ) : 111006．［陳方杰，韓軍，王祖武，等．基于改進(jìn) GMS 和加權(quán) 投影變換的圖像配準(zhǔn)算法［J］．激光與光電子學(xué)進(jìn)展，2018， 55( 11) : 111006．］
［44］ Ma J Y，Zhao J，Tian J W，et al．Ｒobust point matching via vector field consensus［J］． IEEE Transactions on Image Processing， 2014，23 ( 4 ) : 1706-1721．［DOI: 10． 1109 /TIP． 2014． 2307478］
［45］ Aronszajn N． Theory of reproducing kernels［J］． Transactions of the American Mathematical Society，1950，68 ( 3 ) : 337-404．［DOI: 10． 2307 /1990404］
［46］ Charles Ｒ Q，Su H，Mo K，et al． PointNet: deep learning on point sets for 3D classification and segmentation［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 77-85．［DOI: 10． 1109 /CVPＲ． 2017． 16］
［47］ Qi C Ｒ，Yi L，Su H，et al． PointNet + + : deep hierarchical feature learning on point sets in a metric space［C］/ /Proceedings of the 31st Conference on Neural Information Processing Systems． Long Beach，CA: ACM，2017．
［48］ Deng H W，Birdal T，Ilic S． PPFNet: global context aware local features for robust 3D point matching［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE，2018．［DOI: 10． 1109 / CVPＲ． 2018． 00028］
［49］ Zhou L，Zhu S Y，Luo Z X，et al． Learning and matching multiview descriptors for registration of point clouds［C］/ /Proceedings of the 15th European Conference on Computer Vision． Munich， Germany: Springer，2018．［DOI: 10． 1007 /978-3-030-01267-0 _31］
［50］ Wang H Y，Guo J W，Yan D M，et al． Learning 3D keypoint descriptors for non-rigid shape matching［C］/ /Proceedings of the 15th European Conference on Computer Vision． Munich，Germany: Springer，2018．［doi: 10． 1007 /978-3-030-01237-3_1］
［51］ Georgakis G，Karanam S，Wu Z Y，et al． End-to-end learning of keypoint detector and descriptor for pose invariant 3D matching ［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE， 2018．［DOI: 10． 1109 /CVPＲ． 2018． 00210］
［52］Ｒen S Q，He K M，Girshick Ｒ，et al． Faster Ｒ-CNN: towards real-time object detection with region proposal networks［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39 ( 6 ) : 1137-1149．［DOI: 10． 1109 /TPAMI． 2016． 2577031］
［53］ Wang Z H，Wu F C，Hu Z Y． MSLD: a robust descriptor for line matching［J］． Pattern Ｒecognition，2009，42 ( 5 ) : 941- 953．［DOI: 10． 1016 /j． patcog． 2008． 08． 035］
［54］ Wang J X，Zhang X，Zhu H，et al． MSLD descriptor combined regional affine transformation and straight line matching［J］． Journal of Signal Processing，2018，34 ( 2 ) : 183-191．［王競雪，張雪，朱紅，等．結(jié)合區(qū)域仿射變換的 MSLD 描述子與直線段匹配［J］．信號處理，2018，34( 2) : 183-191．］［DOI: 10． 16798 /j． issn． 1003-0530． 2018． 02． 008］
［55］ Zhang L L，Koch Ｒ． An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency［J］． Journal of Visual Communication and Image Ｒepresentation，2013，24 ( 7 ) : 794-805．［DOI: 10． 1016 /j． jvcir． 2013． 05． 006］
［56］ Wang L，Neumann U，You S Y． Wide-baseline image matching using line signatures［C］/ /Proceedings of the 12th International Conference on Computer Vision． Kyoto，Japan: IEEE，2009: 1311-1318．［DOI: 10． 1109 / ICCV． 2009． 5459316］
［57］ López J，Santos Ｒ，Fdez-Vidal X Ｒ，et al． Two-view line matching algorithm based on context and appearance in low-textured images［J］． Pattern Ｒecognition，2015，48 ( 7 ) : 2164-2184．［DOI: 10． 1016 /j． patcog． 2014． 11． 018］
［58］ Fan B，Wu F C，Hu Z Y． Line matching leveraged by point correspondences［C］/ /Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． San Francisco，CA: IEEE，2010: 390-397．［DOI: 10． 1109 / CVPＲ． 2010． 5540186］
［59］ Fan B，Wu F C，Hu Z Y．Ｒobust line matching through line-point invariants［J］． Pattern Ｒecognition，2012，45 ( 2) : 794- 805．［DOI: 10． 1016 /j． patcog． 2011． 08． 004］
［60］ Lourakis M I A，Halkidis S T，Orphanoudakis S C． Matching disparate views of planar surfaces using projective invariants［J］． Image and Vision Computing，2000，18 ( 9) : 673-683．［DOI: 10． 1016 / S0262-8856( 99) 00071-2］
［61］ Jia Q，Gao X K，Fan X，et al． Novel coplanar line-points invariants for robust line matching across views［C］/ /Proceedings of the 14th European Conference on Computer Vision． Amsterdam， The Netherlands: Springer，2016: 599-611．［DOI: 10． 1007 / 978-3-319-46484-8_36］
［62］ Luo Z X，Zhou X C，Gu D X． From a projective invariant to some new properties of algebraic hypersurfaces［J］． Science China Mathematics，2014，57( 11) : 2273-2284．［DOI: 10． 1007 / s11425-014-4877-0］
［63］ Ouyang H，Fan D Z，Ji S，et al． Line matching based on discrete description and conjugate point constraint［J］． Acta Geodaetica et Cartographica Sinica，2018，47 ( 10 ) : 1363-1371．［歐陽歡，范大昭，紀(jì)松，等．結(jié)合離散化描述與同名點約束的線特征匹配［J］．測繪學(xué)報，2018，47( 10) : 1363-1371．］［DOI: 10． 11947 /j． AGCS． 2018． 20170231］
［64］ Matas J，Chum O，Urban M，et al．Ｒobust wide baseline stereo from maximally stable extremal regions［C］/ /Proceedings of the 13th British Machine Vision Conference． Cardiff: BMVC，2002: 1041-1044．
［65］ Nistér D，Stewénius H． Linear time maximally stable extremal regions［C］/ /Proceedings of the 10th European Conference on Computer Vision． Marseille，France: Springer，2008: 183-196．［DOI: 10． 1007 /978-3-540-88688-4_14］
［66］ Elnemr H A． Combining SUＲF and MSEＲ along with color features for image retrieval system based on bag of visual words［J］． Journal of Computer Science，2016，12 ( 4) : 213-222．［DOI: 10． 3844 /jcssp． 2016． 213． 222］
［67］ Mo H Y，Wang Z P． A feature detection method combined MSEＲ and SIFT［J］． Journal of Donghua University: Natural Science， 2011，37( 5) : 624-628．［莫會宇，王祝萍．一種結(jié)合 MSEＲ與 SIFT 算子的特征檢測方法［J］．東華大學(xué)學(xué)報: 自然科學(xué) 版，2011，37 ( 5) : 624-628．］［DOI: 10． 3969 /j． issn． 1671- 0444． 2011． 05． 017］
［68］ Xu Y C，Monasse P，Géraud T，et al． Tree-based Morse regions: a topological approach to local feature detection［J］． IEEE Transactions on Image Processing，2014，23( 12) : 5612-5625．［DOI: 10． 1109 /TIP． 2014． 2364127］
［69］ Korman S，Ｒeichman D，Tsur G，et al． FasT-Match: fast affine template matching［C］/ /Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Ｒecognition． Portland，OＲ: IEEE，2013: 2331-2338．［DOI: 10． 1109 /CVPＲ． 2013． 302］
［70］ Jia D，Cao J，Song W D，et al． Colour FAST ( CFAST) match: fast affine template matching for colour images［J］． Electronics Letters，2016，52( 14) : 1220-1221．［DOI: 10． 1049 /el． 2016． 1331］
［71］ Jia D，Yang N H，Sun J G． Template selection and matching algorithm for image matching［J］． Journal of Image and Graphics， 2017，22( 11) : 1512-1520．［賈迪，楊寧華，孫勁光．像對匹配的模板選擇與匹配［J］．中國圖象圖形學(xué)報，2017， 22( 11) : 1512-1520．］［DOI: 10． 11834 /jig． 170156］
［72］ Dekel T，Oron S，Ｒubinstein M，et al． Best-buddies similarity for robust template matching［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston， MA: IEEE，2015: 2021-2029．［DOI: 10． 1109 /CVPＲ． 2015． 7298813］
［73］ Oron S，Dekel T，Xue T F，et al． Best-buddies similarity—robust template matching using mutual nearest neighbors［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018，40 ( 8 ) : 1799-1813．［DOI: 10． 1109 /TPAMI． 2017． 2737424］
［74］ Wang G，Sun X L，Shang Y，et al． A robust template matching algorithm based on best-buddies similarity［J］． Acta Optica Sinica，2017，37( 3) : 274-280．［王剛，孫曉亮，尚洋，等．一種基于最佳相似點對的穩(wěn)健模板匹配算法［J］．光學(xué) 學(xué) 報， 2017， 37 ( 3 ) : 274-280．］［DOI: 10． 3788 /aos201737． 0315003］
［75］ Talmi I，Mechrez Ｒ，Zelnik-Manor L． Template matching with deformable diversity similarity［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 1311-1319．［DOI: 10． 1109 /CVPＲ． 2017． 144］
［76］ Talker L，Moses Y，Shimshoni I． Efficient sliding window computation for NN-based template matching［C］/ /Proceedings of the 15th European Conference on Computer Vision． Munich，Germany: Springer，2018: 409-424．［DOI: 10． 1007 /978-3-030- 01249-6_25］
［77］ Korman S，Soatto S，Milam M． OATM: occlusion aware template matching by consensus set maximization［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE，2018．［DOI: 10． 1109 /CVPＲ． 2018． 00283］
［78］ Kat Ｒ，Jevnisek Ｒ J，Avidan S． Matching pixels using co-occurrence statistics［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City， UT: IEEE，2018．［DOI: 10． 1109 /CVPＲ． 2018． 00188］
［79］ Han X F，Leung T，Jia Y Q，et al． MatchNet: unifying feature and metric learning for patch-based matching［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston，MA: IEEE，2015: 3279-3286．［DOI: 10． 1109 /CVPＲ． 2015． 7298948］
［80］ Zagoruyko S，Komodakis N． Learning to compare image patches via convolutional neural networks［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston，MA: IEEE，2015: 4353-4361．［DOI: 10． 1109 / CVPＲ． 2015． 7299064］
［81］ Fan D Z，Dong Y，Zhang Y S． Satellite image matching method based on deep convolution neural network［J］． Acta Geodaetica et Cartographica Sinica，2018，47( 6) : 844-853．［范大昭，董楊，張永生．衛(wèi)星影像匹配的深度卷積神經(jīng)網(wǎng)絡(luò)方法［J］．測繪學(xué) 報，2018，47 ( 6 ) : 844-853．］［DOI: 10． 11947 /j． AGCS． 2018． 20170627］
［82］ Balntas V，Johns E，Tang L L，et al． PN-Net: conjoined triple deep network for learning local image descriptors［EB /OL］．［2018-08-09］https: / /arxiv． org / pdf /1601． 05030． pdf．
［83］ Yang T Y，Hsu J H，Lin Y Y，et al． DeepCD: learning deep complementary descriptors for patch representations［C］/ /Proceedings of 2017 IEEE International Conference on Computer Vision． Venice，Italy: IEEE，2017: 3334-3342．［DOI: 10． 1109 / ICCV． 2017． 359］
［84］ Tian Y Ｒ，Fan B，Wu F C． L2-Net: deep learning of discriminative patch descriptor in Euclidean space［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 6128-6136．［DOI: 10． 1109 /CVPＲ． 2017． 649］.

原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導(dǎo)航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/105787442

總結(jié)

以上是生活随笔為你收集整理的深度学习：图像识别(匹配)方法|室内定位|论文与方法整理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇： django自定义用户表
下一篇： k均值例子数据挖掘_人工智能、数据挖掘

pytorch

深度学习：图像识别(匹配)方法|室内定位|论文与方法整理

OpenCV開發(fā)專欄（點擊傳送門）

? ? 圖像識別(匹配)方法|室內(nèi)定位|論文與方法整理

前言

整理

圖像匹配

Part1：局部不變特征點匹配-2D

1. 什么是圖像特征點？- 關(guān)鍵點+描述子

2. 如何進(jìn)行特征點匹配 ？- 人工設(shè)計檢測器

3. 如何進(jìn)行特征點匹配 ？

3.1 深度學(xué)習(xí)特征檢測器 - 局部特征點的重復(fù)檢測

3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)

3.3 深度學(xué)習(xí)各階段統(tǒng)一

3.4 不同對象或場景的匹配方法研究( 圖像語義匹配)：

3.5 圖像匹配應(yīng)用于臨床的精確診療

3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率

3.7 剔除誤差匹配

Part2：局部不變特征點匹配-3D

1.特征檢測

2. 誤差剔除

Part3：直線匹配

Part4：區(qū)域匹配

1.區(qū)域特征提取與匹配方法

2. 模板匹配

3. 深度學(xué)習(xí)方法-塊匹配

比較

其他

2維點匹配

3維點匹配

語義匹配

線匹配

模板匹配

塊匹配

文獻(xiàn)：

總結(jié)

2. 如何進(jìn)行特征點匹配？- 人工設(shè)計檢測器

3. 如何進(jìn)行特征點匹配？