2021最新关于点云配准的全面综述
目錄
基本情況
摘要
介紹
本文的貢獻
點云配準的挑戰
A?同源點云配準
B?跨源點云配準
點云配準方法的分類
A?基于優化的配準方法
B?特征學習的配準方法
C?基于端到端學習的方法
D?跨源點云配準方法
點云配準方法概述介紹
A?基于優化的配準方法
B?特征學習配準方法
C?基于端到端學習的配準
D?跨源點云配準
基于優化的方法與深度學習之間的聯系
應用
A、 建筑信息模型（building information modeling，簡稱BIM）
B、 在礦區的開采空間
C、三維傳感器在自主駕駛中
總結
基本情況
標題：A comprehensive survey on point cloud registration
作者：Xiaoshui Huang[1], Guofeng Mei[2], Jian Zhang[2], Rana Abbas[1]
編譯：點云PCL
來源：arXiv 2021
摘要
點云配準是點云之間的變換估計問題，從優化的角度來看，它經歷了很長的發展歷史。最近，深度學習的成功極大地提高了配準的魯棒性和效率。本綜述試圖對基于優化的學習方法與深度學習方法進行全面的回顧，并建立兩者之間的聯系，以提供進一步的研究啟示。此外，隨著三維傳感器和三維重建技術的發展，一個新的研究方向也應運而生。本文回顧了跨源點云配準的發展，并建立了一個新的基準來評價現有的配準算法。此外，本調查總結了基準數據集，并討論了跨不同領域的點云配準的應用。最后，本文提出了這一快速發展領域的潛在研究方向。
介紹
隨著LiDAR、Kinect等高精度傳感器的快速發展，點云已成為表征三維世界的主要數據格式。由于傳感器只能在有限的視野范圍內掃描獲取數據，因此需要采用配準算法生成完整的三維場景。點云配準是一種估計兩幀掃描點云之間變換矩陣的問題。根據變換矩陣，我們可以將同一個三維場景或物體的部分掃描點云合并成一個完整的三維點云。
點云配準的價值在于它在眾多計算機視覺應用中的獨特而關鍵的作用。
首先，三維重建。生成完整的三維場景是各種計算機視覺應用的基礎和重要技術，包括自動駕駛中的高精度三維地圖重建、機器人技術中的三維環境重建和實時監控地下采礦的三維重建。例如，點云配準可以為機器人應用中的路線規劃和決策構建三維環境。另一個例子是在地下采礦空間進行大型三維場景重建，以準確監控采礦安全。
第二，三維定位。在三維環境中定位移動智能設備的位置對于機器人技術尤為重要。例如，無人駕駛汽車估計其在地圖上的位置（例如<10cm）及其到道路邊界線的距離。點云配準可以將當前的實時三維點云精確匹配到所屬的三維環境中，提供高精度的定位服務。此應用程序表明，配準為智能系統（例如機器人或無駕駛汽車）提供了一個與3D環境交互的解決方案。
第三，姿態估計。將一個點云A（3D實時視圖）與另一個點云B（3D環境）對齊，可以生成與點云B相對的點云A的姿態信息，這些姿態信息可用于機器人的決策。例如，可以獲得機器人手臂的姿勢信息，從而決定移動到哪里以準確地抓取對象。姿態估計應用表明，該配準方法還提供了一種了解環境中agent信息的方法。由于點云配準在許多有價值的計算機視覺應用中扮演著重要的角色，因此迫切需要對點云配準進行全面的研究，以使這些應用受益。
從優化的角度對配準問題進行了深入的研究[5]、[6]、[24]、[33]、[44]、[47]、[54]、[90]、[104]。現有的配準方法大多是通過對應搜索和變換估計兩個過程來減小幾何投影誤差。這兩個過程交替進行，直到幾何重投影誤差最小。在已知精確對應的情況下，變換估計有一個閉環形式的解[6]。近年來，三維點云深度學習技術有了很大的發展[114]、[20]、[17]、[107]、[96]。這些技術的目的是提取三維點云的特征并找到精確的對應關系。然后，使用這些對應關系來估計具有單獨變換估計階段的變換。在端到端的框架中，還結合了傳統的配準優化策略和深度學習技術[40]、[16]、[3]、[99]。這些實驗結果對點云配準具有較好的效果，在這些組合中表現更好的原因尚未總結。
此外，隨著三維傳感器（如Kinect和Lidar）的發展，跨源點云配準成為一個新興的研究課題。每種三維傳感器都有其獨特的優點和局限性。例如，Kinect可以生成密集的點云，而測量范圍通常限制為5米。激光雷達在生成稀疏點云的同時具有很長的視距。這些不同類型的三維傳感器的數據融合結合了它們的優點，這是一個跨源點云配準問題[43]、[41]、[42]。跨源點云配準在建筑施工、虛擬增強現實、無人駕駛車輛等領域有著廣泛的應用。例如，建筑領域將3D CAD模型與實時激光雷達掃描進行比較，以評估當前的施工質量。同源點云配準和跨源點云配準的發展也需要一個全面的綜述來總結最近的進展。
雖然目前對點云配準的研究較少[15]、[78]、[87]，且主要集中在傳統點云配準的觀點上。[116]調查深度學習技術。然而，跨源點云配準的最新發展還沒有被綜述，傳統的深度學習方法和現代深度學習方法之間的聯系也沒有被分析。為了促進點云配準技術在工業界和學術界的發展，本文對點云配準技術（1992-2021年）的發展進行了全面的綜述，包括同源和跨源、傳統的優化方法和現有的深度學習方法。此外，我們還總結了優化策略和深度學習技術之間的聯系。此外，近年來基于深度學習的配準技術在同源點云數據庫上取得了很高的配準精度，而跨源點云的配準性能卻鮮有報道。這項調查將建立一個基準，以評估最新的最先進的配準算法上的跨源數據集。
本文的貢獻
我們的貢獻。本文的主要貢獻如下：
-
綜述。本文對同源點云配準進行了最全面的概述，包括傳統的優化方法和現代深度學習方法（1992-2021）。我們總結了這些挑戰，分析了每一類配準方法的優點和局限性。此外，本文還總結了傳統優化方法與現代深度學習方法的聯系。
-
不同源點云配準。本文首次對跨源點云配準進行了文獻綜述。這項調查為不同3D傳感器（如Kinect和Lidar）的數據融合研究提供了見解。圖1顯示了點云配準的分類。
-
新的比較。我們建立了一個新的跨源點云基準。然后，在新的跨源點云基準上對現有的最新配準算法的性能進行了評估和比較。這項調查可以為選擇和開發新的跨源點云應用配準方法提供指導。
-
應用和未來方向。總結了點云配準的潛在應用，探討了實際應用中的研究方向。此外，本文還提出了點云配準領域未來可能的研究方向和有待解決的問題。
圖1?點云配準分類
點云配準的挑戰
A?同源點云配準
同源點云的配準是指從同一類型的傳感器，但在不同的時間或視角下獲取的點云在進行配準問題中存在的挑戰，其主要包含了
-
噪聲和離群值。在不同的采集時間，環境和傳感器噪聲是不同的，采集到的點云在同一三維位置附近會包含噪聲和異常值。
-
部分重疊。由于視點和采集時間的不同，采集到的點云只是部分重疊。
B?跨源點云配準
跨源點云配準的挑戰，點云傳感器經歷了快速發展。例如，Kinect已經在許多領域得到了廣泛的應用。激光雷達變得使用價格合理，并已集成到移動電話（如iPhone 12）中。而且，多年來三維重建技術的發展使得利用RGB相機生成點云成為可能。盡管在點云采集方面有這些改進，但每個傳感器都有其獨特的優點和局限性。例如，Kinect可以記錄詳細的結構信息，但視距有限；Lidar可以記錄遠處的物體，但分辨率有限。許多證據[77]，[41]表明，來自不同傳感器的融合點云可為實際應用提供更多的信息和更好的性能。點云融合需要跨源點云配準技術。由于點云是從不同類型的傳感器獲取的，并且不同類型的傳感器包含不同的成像機制，因此點云配準問題中的跨源挑戰要比同源點云配準挑戰復雜得多。這些挑戰主要可以分為
-
噪聲和異常值。由于不同采集時間的采集環境、傳感器噪聲和傳感器成像機制不同，采集到的點云在同一個三維位置附近會包含噪聲和離群點。
-
部分重疊。由于視點和采集時間的不同，采集到的點云只是部分重疊。
-
密度差。由于不同的成像機制和不同的分辨率，捕獲的點云通常包含不同的密度。
-
尺度變化。由于不同的成像機制可能具有不同的物理度量，因此捕獲的點云可能包含尺度差異。
點云配準方法的分類
本節介紹不同的點云配準，如圖1所示。我們將點云配準分為兩類：同源配準和跨源配準。同一源的配準可以進一步分為基于優化的配準方法、特征學習方法、端到端學習方法。圖2總結了這些類別的框架。
（a）一種基于優化的點云配準框架。給定兩個輸入點云，迭代估計這些點云之間的對應關系和變換。算法輸出最優變換T作為最終變換矩陣。
（b）基于特征學習的點云配準框架。給定兩個輸入點云，利用深度神經網絡對特征進行估計。然后，對應和變換估計迭代運行以估計最終變換矩陣T。
（c）一個基于端到端學習的點云配準框架。給定兩個輸入點云，使用端到端框架來估計最終變換矩陣T。
（d）一個跨源點云配準框架。在給定兩個輸入點云的情況下，設計了一個配準框架來克服跨源問題并估計最終的變換矩陣T。
下面，我們將對每一類進行簡要介紹，并分析其優點和局限性。
A?基于優化的配準方法
基于優化的配準是利用優化策略估計變換矩陣。大多數基于優化的配準方法[104]、[54]、[78]、[15]包含兩個階段：對應搜索和變換估計。圖（a）總結了這一類別的主要過程。對應點搜索是在另一個點云中找到每個點的匹配點。變換估計就是利用對應關系來估計變換矩陣。這兩個階段將進行迭代，以找到最佳的變換。在迭代過程中，初始的對應可能并不準確。隨著不斷的迭代，對應關系將變得越來越精確。然后，利用精確的對應關系，使估計的變換矩陣變得精確。通過比較點的坐標差或點點特征差，可以找到對應關系。這一類的優點有兩個：
1）嚴密的數學理論可以保證它們的收斂性。
2） 它們不需要訓練數據，可以很好地推廣到未知場景。
這一類的局限性在于，需要許多復雜的策略來克服噪聲、異常值、密度變化和部分重疊的變化，這將增加計算成本。
B?特征學習的配準方法
特征學習的配準方法不同于經典的基于優化的配準方法，特征學習方法[114]、[19]、[35]采用深度神經網絡來學習魯棒的特征對應搜索。然后，通過一步估計（例如RANSAC）而無需迭代地確定變換矩陣。圖（b）總結了這一類的主要過程。例如，[114]使用AlexNet從RGB-D數據集學習3D特征。[19] 提出了一種基于鄰域點分布的局部PPF特征，并將其輸入到網絡中進行深度特征學習。[35]提出了一種旋轉不變的手工特征，并將其輸入深度神經網絡進行特征學習。所有這些方法都使用深度學習作為特征提取工具。通過開發復雜的網絡結構或損失函數，他們的目標是通過學習具有區別性的特征點來估計健壯的對應關系。
基于深度學習的點特征方法
1）可以提供魯棒、準確的對應搜索。
2） 通過簡單的RANSAC方法，精確的對應可以得到準確的配準結果。
這種方法的局限性有三個方面：
1）需要大量的訓練數據。
2） 在未知場景中，如果場景與訓練數據存在較大的分布差異，則配準性能會急劇下降。
3） 他們使用一個單獨的訓練過程來學習一個獨立的特征提取網絡。所學習的特征網絡是確定點匹配關系而不是配準。
C?基于端到端學習的方法
利用端到端神經網絡解決配準問題。該方案的輸入是兩幀點云，輸出是對齊這兩點云的變換矩陣。與上述以點特征學習為重點的特征學習方法不同，將變換估計嵌入到神經網絡優化中。神經網絡優化與變換估計是分離的。圖（c）總結了這一類的主要過程。端到端學習方法的基本思想是將配準問題轉化為回歸問題。例如，[109]嘗試從要對齊的點云中學習特征，然后從特征中回歸轉換參數。[97]提出了一種配準網絡，用于建立原始點集和目標點集之間的相關性，并使用定義的相關性預測變換。[27]提出了一種用于定位的自動編碼器配準網絡，它結合了超點提取和無監督特征學習。[64]提出了一種關鍵點檢測方法，并同時估計相對姿態。FMR[40]提出了一種特征度量配準方法，將配準問題從以前的最小化點投影誤差轉化為最小化特征差。該方法將深度學習與傳統的Lucas-Kanade優化方法相結合，是特征度量配準的一項開創性工作。
這一類的優點有兩個方面：
1）神經網絡專門針對配準任務進行設計和優化。
2） 它既可以利用傳統數學理論的優點，又能利用深層神經網絡的優點。
現有方法的局限性有兩個方面：
1）回歸方法將變換參數估計看作黑匣子，距離度量在基于坐標的歐氏空間中進行測量，該空間對噪聲和密度差敏感。
2） 特征度量配準方法考慮了局部結構信息，這對配準非常重要。
D?跨源點云配準方法
跨源點云配準是對不同類型傳感器（如Kinect和Lidar）的點云進行配準。根據文獻[77]，[41]，跨源點云配準由于噪聲和離群點、密度差、部分重疊和尺度差等因素的綜合作用而更具挑戰性。一些算法[42]、[41]、[43]、[39]使用復雜的優化策略，通過克服跨源挑戰來解決跨源點云配準問題。例如，CSGM[41]將配準問題轉化為圖匹配問題，并利用圖匹配理論來克服這些挑戰。最近，FMR[40]展示了使用深度學習對齊跨源點云的性能。這些方法都試圖利用優化策略或深層次的神經網絡來克服交叉源的挑戰來估計變換矩陣。跨源點云配準的優點是結合多個傳感器的優點，為增強現實、建筑施工等計算機視覺任務提供全面的三維視覺信息。然而，現有的配準方法存在精度低、時間復雜度高等缺陷，尚處于起步階段。近年來，隨著三維傳感器技術的快速發展，由于缺乏跨源點云配準的研究，使得傳感器技術與跨源應用之間存在一定的差距。
點云配準方法概述介紹
A?基于優化的配準方法
基于優化的方法的關鍵思想是開發一個復雜的優化策略來實現方程1中非線性問題的最優解。由于同一來源挑戰的影響，這一非線性問題變得具有挑戰性。圖（a）總結了這一類的主要過程。基于優化策略，本節概述了四種優化方法：基于ICP的變種方法、基于圖優化的、基于GMM的和半定的配準方法。（具體方法的介紹及相關文獻可查看原文）圖3中展示出了幾個里程碑方法。
圖3?按時間順序概述的基于優化的相關方法
B?特征學習配準方法
特征學習方法的主要思想是利用深度特征來估計準確的對應關系。然后，可以使用一步優化（例如SVD或RANSAC）來估計變換，而無需在對應估計和變換估計之間進行迭代，如圖b所示。研究方向是設計先進的神經網絡來提取顯著特征。對于深度學習的數據格式，這些配準方法分為基于體素數據的配準和基于點云的配準。
3DMatch 總體框架，3DMatch從RGBD圖像訓練并行網絡。3DMatch的輸入是三維體素數據，輸出是一個局部面片的512維特征。3DMatch可以提取三維點云的局部特征。
PPFNet基于點云的配準方法的總體框架
圖4中示出了幾個里程碑方法。
圖4 按時間順序概述的基于特征學習配準方法。
C?基于端到端學習的配準
端到端學習配準方法的主要思想是將兩幀點云送入神經網絡，輸出為這兩個點云之間的變換矩陣。有兩類：
（1）將配準視為回歸問題，并使用神經網絡擬合回歸模型進行變換矩陣估計[97]、[109]、[20]、[75]；
（2） 將神經網絡與優化相結合，將配準視為一個端到端的框架[40]，[16]。
圖5中示出了幾個里程碑方法。
圖5 按時間順序概述的端到端學習的配準方法。
D?跨源點云配準
本節首次全面介紹了跨源點云配準。現有的跨源配準方法分為兩類：基于優化的方法和基于學習的方法。研究方向是設計高級配準框架以克服交叉源挑戰。圖6中示出了幾個里程碑方法。
圖6 按時間順序概述的跨源點云配準方法
基于優化的方法與深度學習之間的聯系
深度學習技術可以作為一種特征提取工具來代替原始點坐標。傳統的優化方法為算法的收斂性提供了理論保證。首先，提出了一種改進的損失計算策略，利用優化策略從學習到的特征中計算出一個估計的變換。其次，計算估計變換與地面真值之間的損失。許多現有的方法[99]，[40]證明，結合這兩種方法的優點可以達到高精度和高效率。例如，deep-closest point（DCP）[99]使用deep特征來估計對應關系，并使用SVD來計算變換。FMR[40]應用深度學習來提取全局特征，并使用Lukas-Kanade（LK）算法來最小化特征差異。DeepGMR[112]使用深度學習來計算高斯模型和點之間的對應關系，并基于GMM優化來優化變換。
這些現有的方法為解決配準問題提供了一些常規優化和深度神經網絡的初步嘗試。然而，無論是精度、魯棒性還是效率都有待進一步提高。將傳統的優化理論與現代的深度神經網絡相結合，是一種提高配準精度和效率的有效方法，從理論上保證了現有的基于深度學習的配準方法。研究方向是結合現有的優化策略，設計先進的損失計算策略對神經網絡進行優化。
評估
本節總結現有度量方法，并總結現有方法在現有同一源數據集上的性能。然后，介紹了一種新的跨源數據集，并對現有的配準方法進行了比較實驗。
表1 現有同源和跨源數據集的摘要。
一個例子顯示了跨源點云的挑戰。交叉源對中普遍存在大量噪聲、離群點、密度差和部分重疊
應用
點云配準是許多應用中的關鍵技術。本節介紹了點云配準在各種應用中的作用，并總結了各種應用中的研究方向。
A、 建筑信息模型（building information modeling，簡稱BIM）
是新一代的信息存儲和處理系統，廣泛應用于建筑工程和建筑管理中。它通常包含建筑物的三維模型和屬性。以前的計算機輔助BIM設計僅限于簡單的指導和理論規劃，因為沒有與真實的物理世界進行交互。點云可以克服這一限制，并提供精確細節地將數字模型與物理空間對齊的能力。
BIM模型中的點云
B、 在礦區的開采空間
C、三維傳感器在自主駕駛中
得到了廣泛的應用，能夠提供高精度的三維環境傳感數據。點云是存儲這些三維數據的有效方法。由于每個傳感器在每次掃描中都有視圖限制，因此點云配準對于提供具有更大視圖的高質量三維數據以實現自主駕駛至關重要。配準的主要貢獻包括兩個方面：創建大規模的三維掃描點云和提供姿態估計。
開放性問題和未來方向
基于以上文獻綜述和應用綜述，開放性問題有兩個方面：
（1）通過克服相同來源和跨來源的挑戰，實現高精度和魯棒的配準。
（2） 運行速度快，精度高。在這一部分，我們提出了四個未來的研究方向。
-
魯棒準確的配準，點云是三維環境的記錄。然而，由于噪聲和異常值的變化，實際數據非常復雜。這些變化可能來自不同采集時間的傳感器或環境變化。
-
效率，配準效率是另一個有待研究的問題，也是今后的研究方向。最近的點云通常包含數百萬個點，傳統的優化方法如ICP將非常緩慢。然而，目前許多先進的方法都要求ICP進行細化以獲得較高的精度。
-
部分重疊部分重疊表示只有部分點云描述相同的三維環境，而其他部分則不同。部分重疊率可能非常小，例如小于20%。這種重疊率將是非常具有挑戰性的，因為重疊率的搜索是一個組合問題，即使是我們的人類需要很多時間來手動對齊兩個部分重疊的點云以找到公共區域。
-
深度學習與配準數學理論的融合，已有的許多實驗[35]、[6]、[41]表明，直接應用配準數學理論會耗費大量的計算時間，而直接應用深度學習并不能保證精度。直接結合深度學習和ICP仍然需要消耗很多的計算時間。
總結
本文對同源域和跨源域的點云配準進行了全面的綜述。在這項調查中，我們第一次對跨源點云配準進行了回顧，并評估了現有的跨源數據集最先進的配準方法。在此基礎上，總結了點云配準的應用前景。最后，提出了點云配準領域未來的研究方向和有待解決的問題。
總結
以上是生活随笔為你收集整理的2021最新关于点云配准的全面综述的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： windows编译librtmp
- 下一篇： 论文管理：zotero的安装和插件使用