文章：Semantic Histogram Based Graph Matching for Real-Time Multi-Robot Global Localization in Large Scale Environment

作者：Xiyue Guo, Junjie Hu, Junfeng Chen, Fuqin Deng, Tin Lun Lam.

編譯：點云PCL

代碼：https://github.com/JunjH/Semantic-Graph-based--global-Localization

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

基于視覺的多機器人同時定位與建圖（MR-SLAM）的核心問題是如何高效、準確地進行多機器人全局定位（MR-GL），第一個問題是，由于存在明顯的視點差異，因此難以進行全局定位，基于外觀的定位方法在視點變化較大的情況下往往會定位失敗，最近，語義地圖可以被用來克服視點變化帶來的定位失敗的問題。然而，這些方法非常耗時，尤其是在大規模環境中，第二個困難，即如何進行實時全局定位，本文提出了一種基于語義直方圖的圖像匹配方法，該方法對視點變化具有魯棒性，能夠實現實時全局定位，在此基礎上，我們開發了一個系統，可以準確有效地執行MR-GL的同質和異構機器人，實驗結果表明，我們的方法比基于隨機游走的語義描述子快30倍左右，此外，全局定位的準確率為95%，而最先進的方法的準確率為85%。

主要貢獻

該方法用于大規模環境下的全局定位，兩個機器人（無人機和車輛）之間的視角非常大。我們利用語義地圖為兩個機器人構建語義圖，然后，可以簡單地估計它們之間的變換矩陣。

? 圖1,基于語義的圖匹配方法的一個實例

在本文中，我們提出了一種更精確和計算效率更高的方法，該方法是基于語義的圖匹配方法，是一種新的基于語義直方圖的描述子，能夠在視點變化較大的情況下進行實時匹配，描述子以預先安排的直方圖的形式存儲周圍路徑的信息，圖2示出了描述子的圖示。基于新的描述子，我們進一步開發了一個基于語義圖的全局定位系統來合并MRSLAM的地圖。

圖2。基于語義直方圖的描述子的圖示。左邊是語義圖，搜索的路徑從起點（藍色）開始，路徑信息記錄為右側預先安排的柱狀圖，兩個描述子之間的相似性得分可以通過歸一化點積得到

我們的方法在三個數據集上進行了測試，包括兩個合成數據集和一個公開的真實數據集。因此，我們通過實驗表明：

• 我們的方法在很大程度上優于基于外觀和語義的方法。它在大規模環境中穩定而準確地處理較大的視點差異。

• 我們的方法比最先進的基于語義的方法快得多，它為同質和異構機器人系統提供了令人滿意的性能。

• 該方法僅以RGB圖像為輸入，深度圖和語義圖通過深度卷積網絡進行預測，在大規模真實KITTI數據集上具有良好的融合性能。

主要內容

本文介紹基于語義直方圖的全局定位圖匹配系統，整體的框架部分受到X-view的啟發，首先，給出了兩種里程計、相關深度圖和語義圖，首先生成語義圖，然后提取基于語義直方圖的描述子，這兩個圖與提取的描述子匹配，最后，計算了六自由度變換矩陣，該系統的框架如圖3所示。

圖3，全局定位系統的示意圖，該系統采用語義圖、深度圖和里程計作為輸入，首先根據輸入構建每個機器人的3D語義圖，然后，利用語義直方圖方法提取每個節點的描述子。接下來，通過比較兩個圖中的描述符來匹配這兩個圖，最后，利用匹配對應關系估計兩機器人坐標系之間的6自由度變換。

A . 圖提取

類似于論文[3]，為了構建圖，我們需要從圖像中提取節點，為此，我們采用種子填充方法從圖像中分割對象，為了避免語義相同的兩個相鄰對象之間的分割失敗，在分割過程中使用了像素的三維坐標，然后，提取每個對象的三維幾何中心作為節點。需要注意的是，如果具有相同語義標簽的節點彼此非常接近，則應合并它們，因此，每個節點包含兩類信息：

1）節點的三維坐標值；

2） 語義標簽。

如果節點之間的距離小于設定的閾值（連通性閾值），則形成節點之間的無向邊。最后，節點和邊一起形成基于語義的圖。

B.基于語義直方圖的描述子

為了描述圖中的每個節點，需要通過提取節點的描述子來記錄節點的周圍信息，對于語義圖，基于直方圖的描述方法簡單可行；此外，這類描述子的匹配過程非常快，直觀地說，最簡單的基于直方圖的描述符是鄰域向量描述子，它通過計算所有相鄰節點的標簽來描述節點，然而，由于缺乏拓撲信息，鄰域向量的匹配性能很低，因此，提出了為所有節點包含更多的周圍信息，具體來說，對于每個節點，描述子存儲從它開始的所有可能路徑，將路徑的長度設置為3，因此，每個路徑都可以看作一個三維向量，記錄這三個步驟的語義標簽，對于單個描述子，所有可能的路徑都以預先安排的直方圖的形式進行計數，因此，對象及其鄰居的拓撲信息存儲在描述子中。算法1中顯示了描述符的圖示，該描述符使得圖匹配在計算上更加高效。

C. 圖匹配

與圖像匹配類似，通過計算相似度得分，在圖中比較節點的描述子，在匹配過程中，僅比較具有相同標簽的節點，相似性得分是通過取兩個描述子之間的標準化點積得到的。其規定如下：

兩個節點之間的相似度得分在0到1之間，得分越高表示相似度越高。將相似度得分高于閾值Ts的對應關系存儲為匹配候選。為了保證這些對應關系的一致性，使用ICP-RANSAC算法來剔除異常值，最后，在姿態估計方法中保留了剩余的內聯對應，此外，從ICP-RANSAC方法獲得的旋轉矩陣R和平移向量t存儲為姿勢估計方法的初始值。算法2中顯示了圖形匹配的圖示

D.姿勢估計

在這一步中，使用ICP算法計算最終的變換矩陣，在該方法中，使用RANSAC方法獲得的內部對應進行配準，因此，旋轉矩陣R和平移向量t通過最小化平方誤差之和獲得：

實驗

為了公平和充分地驗證我們的方法的有效性，我們在多個數據集上進行了三個實驗。首先，我們在SYNTHIA數據集上展示了我們的方法與以前方法之間的定量比較。其次，我們展示了我們的多機器人全局定位方法的性能，我們將我們的方法應用于同質和異構多機器人系統。第三，為了驗證我們的方法的通用性，我們在真實的KITTI數據集上進行了另一個實驗，其中我們只使用RGB圖像作為輸入。最后，我們研究了不同參數設置和輸入質量的影響，所有的實驗都是在1.80GHz的Intel Core i7-8565U CPU上進行計算的。

A.性能比較

數據集和具體細節：SYNTHIA數據集從動態城市環境中安裝在模擬汽車上的傳感器收集數據。在我們的實驗中，我們使用序列04 spring作為我們的測試序列。它包含三種類型的數據，包括RGB圖像、深度圖和語義圖，如圖4所示。

圖4。SYNTHIA數據集示例，頂行中的圖像是前向視圖圖像，包括語義、深度和RGB圖像，下一行中的圖像是同時采集的后向視圖圖像。

結果如圖5所示，很明顯，當視點變化顯著時，基于語義圖的方法比基于外觀的方法更精確，結果表明，我們的方法獲得了95%的成功率，而BoW、X-view、NetVLAD和鄰居向量的成功率分別為8%、85%、73%和79%，此外，我們方法的每個組成部分的時間復雜度如表1所示。

B.全局定位的多機器人

數據集和具體細節：我們考慮的另一個問題全局定位的多個大規模的測距由多個機器人產生的，這是多機器人SLAM地圖融合的關鍵步驟，評估了我們的方法在異構和同質機器人系統中的性能。

圖6。AirSim生成的三條模擬軌跡的圖示，我們使用它們來評估我們的全局定位方法在同質和異構機器人系統中的性能。

實驗結果：定量比較如表二所示，其中100次實驗的平均結果，很明顯該方法實現了最低的平移和旋轉誤差的全局定位。

圖7。KITTI數據集中序列08的軌跡和重建圖。a） 顯示軌跡，其中每條線表示軌跡。b） 顯示從這三條軌跡重建和合并的地圖。

C.真實場景的可泛化性

數據集和具體細節：為了評估我們的方法在真實環境中的可泛化性，我們在KITTI數據集上進行了另一個實驗，具體來說，我們在序列02、08和19三個序列上評估我們的方法，在實驗中，從序列08中分割出三條軌跡，條軌跡的圖示如圖7（a）所示。為簡單起見，我們使用08A和08B表示軌跡1和軌跡2、軌跡2和軌跡3之間的對齊。對于序列02和19，有兩條軌跡在相反方向上共享重疊。序列02、08和19的總行程長度分別為260米、850米和1000米。此外，序列02、08A、08B和19的重疊分別為30米、200米、50米和300米，與AirSim一樣，我們使用整個圖來執行定位。實驗結果：表三顯示了KITTI數據集的平均平移錯誤及其標準偏差。

總結

本文研究了基于視覺的多機器人SLAM的全局定位問題。主要解決兩個難點問題。第一個是大視角差異，這在多機器人系統中普遍存在，第二個困難是需要實時進行全局定位，這些困難促使我們開發一種更有效的方法，本文提出了一種基于語義直方圖的描述子，正因為如此，圖匹配被表示為兩個描述子集之間的點積，可以實時進行，基于所提出的描述子，我們提出了一個更準確、更高效的全局定位系統，該系統在合成SYNTHIA、AirSim數據集以及真實KITTI數據集上進行了測試，實驗結果表明，我們的方法比其他方法有很好的優勢，并且比以前基于隨機游動的基于語義的方法要快得多。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的大规模环境下基于语义直方图的多机器人实时全局定位图匹配的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。