文章：Hybrid Bird’s-Eye Edge Based Semantic Visual SLAM for Automated Valet Parking

作者：Zhenzhen Xiang, Anbo Bao and Jianbo Su

編譯：點云PCL

來源：ICRA2021

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

基于視覺的定位和建圖解決方案有望在自動代客泊車任務中采用，本文提出了一種利用鳥瞰圖像混合邊緣信息的語義SLAM框架，為了從合成的鳥瞰圖像和可行駛空間中提取有用的邊緣用于SLAM任務，設計了不同的分割方法來去除視圖合成中由逆透視變換引起的噪聲眩光邊緣和扭曲的邊緣線，由于只有可行駛空間分割模型需要訓練，與以往基于道路標記的方法相比，我們的方法可以顯著減少標記的負擔，這些不正確和不完整的邊緣分別通過局部建圖中連續邊緣的時間融合來進一步清理和恢復，可以同時實時構建語義邊緣點云地圖和占用柵格地圖，在一個停車場的實驗表明，與以往的基于點特征的方法相比，該框架具有更高的精度和更強的魯棒性。

介紹

與傳統的直接處理多幅原始圖像的視覺SLAM框架不同，本文主要研究了利用逆透視變換（IPM）技術從車輛周圍四幅魚眼圖像合成的鳥瞰圖像作為輸入，將鳥瞰圖像作為輸入的主要優點是大大減少了計算量，這在實時應用中非常重要。

如圖1所示，鳥瞰圖圖像可以以360度保存車輛周圍地面上的大部分視野信息，由于停車場景中通常存在復雜的照明條件（如地面反射的眩光）和大量動態對象（如移動的汽車和行人），因此執行SLAM任務是一項非常具有挑戰性的任務，為了處理這些困難的情況，隨著深度學習的發展，最近的工作試圖訓練一個深度神經網絡，以便提取語義信息，從而實現更精確和更穩健的定位和建圖。盡管這些方法已經取得了重大進展，但需要大量的標記圖像來訓練模型，特別是當系統適應新的不常見環境時。

圖1。我們的自動代客泊車解決方案概述，包括（a）我們的自動車輛上的魚眼攝像頭捕獲的樣本圖像，（b）通可行駛空間分割結果的視圖合成生成的鳥瞰視圖圖像，（c）語義視覺SLAM系統的提取邊緣，以及（d）構建的邊緣點云地圖以及軌跡。

在本文中，我們提出了一種混合語義信息提取方法，該方法結合了經典的無監督邊緣線檢測器和一組基于IPM的邊緣分割方法。如圖1（b）所示，我們的框架只需要對可行駛空間進行粗略分割，而不需要對道路標線進行精細分割，這可以大大減少數據標注的負擔，使用我們的邊緣分割方法，可以利用IPM的先驗知識對大多數噪聲和扭曲的邊緣（例如眩光邊緣和地面上物體的輪廓）進行過濾（圖1（c））。因此，可行駛空間內的鳥瞰圖的邊緣線和可行駛空間的輪廓都可以組合為混合邊緣信息，并輸入SLAM系統進行定位和建圖，我們發現，圖1（d）中生成的邊緣點云地圖清楚地反映了地面上的道路標記。

相關工作

A.多相機系統的視覺SLAM

增加視覺SLAM系統中的相機數量可以顯著提高系統的準確性和魯棒性，因此，越來越多最先進的視覺SLAM框架，如SVO、VINS Fusion和OpenVINS等方案均支持多相機配置，不同的相機型號和不同的相機設置已被廣泛研究。最近，Kuo等人重新設計了適用于任意多相機系統的視覺SLAM框架，該框架可以適應各種攝像機配置。雖然直接處理來自多個攝像機的原始圖像可以最大限度地利用原始信息，但它也需要強大的計算平臺，可能不適合實時應用，作為替代方案，最近的工作還研究了使用合成鳥瞰圖或周圍視圖圖像，這可以有效地運行SLAM任務，并具有相當的準確性。

B.自動駕駛中的語義視覺SLAM

語義輔助視覺SLAM近年來在自主駕駛領域得到了廣泛的研究，特別是隨著深度學習的快速發展，通用語義視覺SLAM主要關注語義提取和數據關聯。語義分割和對象檢測模型廣泛用于提取點級和對象級語義，這為SLAM帶來了額外的語義和幾何約束，以獲得更穩定和準確的性能，然而，由于基于深度學習的模型通常需要大量手動標記的數據進行訓練，因此這些方法可能需要很長時間才能轉移到新的場景中，因此，我們考慮設計一種僅需要粗自由空間分割結果的混合邊緣提取方法，該方法可以比先前標記幀的方法快約10倍。

C.自動代客泊車應用

AVP應用的基于視覺的解決方案是最近研究的趨勢，因為相機比激光雷達傳感器便宜得多，并且可以捕獲豐富的語義信息，V-Charge項目旨在為AVP服務提供接近市場的傳感器，該項目在為AVP任務構建基于視覺的導航系統方面取得了重大進展。[23]論文中采用了度量信息和語義信息來構建用于導航的停車位地圖，隨后是[25]論文中使用緊密耦合的基于多傳感器融合的框架，根據環境的像素級分割結果，[26]和[27]的兩篇論文的作者同樣將道路標記作為輸入，并為AVP任務構建了一個完整的視覺SLAM系統。為了進一步利用鳥瞰圖像中的語義，我們嘗試提取地面上的邊緣，這對于視覺SLAM系統來說更密集、更穩定。

主要內容

整體框架

一般來說，提出的框架是一個混合的基于邊緣線的語義視覺SLAM系統，使用鳥瞰圖像作為輸入。它主要由三部分組成，如圖2所示：

圖2。提出了基于鳥瞰圖邊緣線的語義視覺SLAM框架，鳥瞰圖由四幅魚眼圖像通過視圖合成生成，對可行駛空間進行分割以提供用于邊緣檢測的掩模，鳥瞰邊緣提取模塊處理從鳥瞰圖像和可行駛空間圖像中檢測到的原始邊緣，然后執行基于IPM的邊緣分割程序，以去除噪聲和扭曲邊緣，通過融合連續邊緣圖像生成局部地圖，用于相對姿態估計和全局建圖，同時構建并優化了邊緣點云地圖和占用柵格地圖。

鳥瞰邊緣線提取：將合成的鳥瞰圖像以及分割的可行駛空間圖像作為系統的輸入。檢測原始混合邊緣，包括可行駛空間內的邊緣和自由空間輪廓，然后是基于IPM的分割模塊，該模塊能夠去除地面眩光引起的大部分噪聲邊緣以及地面上方扭曲的物體邊緣

建圖：使用提取的混合邊，建圖模塊累積并生成概率局部地圖，用于相對姿勢估計，通過記錄軌跡和姿勢圖優化，可以導出全局邊緣點云圖以及占用柵格地圖

里程計：根據車輪里程計的初始變換，通過語義點云配準來估計局部地圖中的當前姿勢，每個幀的姿態進一步累積，以生成全局地圖中的車輛軌跡。

鳥瞰邊緣提取

從圖3（a）中的鳥瞰圖樣本圖像中發現，地面上有大量的道路標記，這些標記對于SLAM系統來說是很好的路標信息，然而，圖像也被地面反射的強光所污染，此外，在用于視圖合成的IPM中，地面上這些對象的輪廓會發生顯著扭曲，因此，我們的鳥瞰邊緣線的提取模塊的作用是從輸入的鳥瞰視圖和可行駛區域圖像中檢測并保留高質量的邊緣，這是整個SLAM系統的基礎，在邊緣提取過程中，兩個子模塊連接在一起，首先，從輸入圖像中檢測原始邊緣線，然后在視圖合成中考慮IPM的畸變效應，對這些邊緣進行分割，去除噪聲和畸變。

圖3，在鳥瞰圖上檢測到的原始邊緣和考慮視圖合成和可行駛區域分割的邊緣。

A.原始邊緣檢測

輸入圖像上的原始邊緣可以通過傳統邊緣檢測算法（如Canny邊緣檢測器）進行檢測。如圖3（a）所示，一方面，道路標記的邊緣線以及物體足跡在整體上被成功檢測；另一方面，此類探測器通常無法區分SLAM任務的有用邊緣與周圍車輛、支柱或眩光的無用和嘈雜邊緣，借助于可行駛空間分割，可以刪除地面上對象內部的邊，然而，如圖3（b）所示，其余部分仍然包含大量來自眩光和被IPM扭曲的物體的干擾邊緣，因此，在發送到建圖和里程計模塊之前，需要對遮罩邊緣進行進一步處理，否則，接下來的程序的性能將顯著降低。

B.基于IPM的邊緣分割

提出噪聲邊緣線的基本思想是利用IPM中失真效應的特性，如圖3所示，眩光和物體的邊緣在視圖合成中被拉伸，這些邊中的大多數始終是徑向的，大致通過每個相機的焦點，這種現象促使我們設計各種分割方法，如圖4所示

圖4，不同邊緣線分割方法及其結果的插圖，紅色邊緣線為被分割為IPM扭曲的邊緣，并將被刪除，建圖和里程計模塊保留綠色邊。

語義里程計和建圖

在分割鳥瞰圖邊緣后，我們可以使用校準的比例因子將其轉換為歐氏空間中的點云，利用這種具有兩類邊緣的混合點云，可以建立語義SLAM系統。

A.定位地圖生成

由于其機制的限制，分割模塊無法完全去除噪聲邊緣，例如眩光邊緣的某些部分，同時，當某些道路標記或停車點邊緣臨時位于攝影機焦點的光線方向上時，可能會錯誤地刪除它們，因此，當前圖像上提取的邊緣通常是不完整和不穩定的，這將使基于關鍵幀的策略難以獲得魯棒的相對姿態估計，為了克服單幀估計的局限性，我們交替地在連續幀中累積提取的邊緣，并構建局部邊緣地圖以實現更穩定的運動估計，局部地圖可以很容易地用第一幀上的邊緣線初始化，然后，通過迭代估計后續幀的姿勢，逐幀變換新邊并將其添加到局部地圖中，導出的局部地圖的示例如圖5所示。

圖5，用于姿勢估計的局部地圖生成流程，包括（a）累積概率局部地圖，（b）閾值局部地圖和（c）配準到局部地圖的提取邊緣（綠色的鳥瞰圖邊緣和紅色的可行駛空間邊緣）。

其中不同幀的融合是概率的。為了平滑地更新局部貼圖并填充小間隙，在將邊緣添加到貼圖之前，通過高斯濾波器對邊緣進行處理。為了刪除已添加到局部貼圖的不正確分割的邊，還應用了滑動窗口融合。本地映射的幀緩沖區長度限制為固定的數字。滿時，將從局部貼圖中減去最舊的邊。需要注意的是，那些具有足夠高概率的邊緣點不會在減法中被修改，這可以盡可能多地保持那些有效邊緣在局部地圖中。當車輛的平移或旋轉超過預定義的閾值時，局部地圖將轉換為當前姿勢，并且不會維護和更新局部地圖范圍之外的邊緣。

B.姿態估計

融合后的局部邊緣地圖被閾值化并轉換為世界坐標系下的點云，為了在局部地圖上估計當前車輛的姿態，首先通過車輪里程計變換將當前幀中的邊緣點投影到局部地圖上，然后通過最近鄰搜索建立數據關聯，最后，可以通過解決以下問題來估計定位地圖T的當前姿勢

C.全局地圖

全局地圖可以從車輛的局部地圖和全局軌跡中導出，由于提取的可行駛空間邊緣也可以被視為2D激光雷達測量，因此不僅可以同時構建語義點云地圖，還可以同時構建占用柵格地圖。當在局部地圖中檢測到回環時，將執行正常姿勢圖優化以校正漂移。

? ? ? ? ? ? ? ? ? ?圖6，通過不同的分割方法提取出鳥瞰圖邊緣

實驗

A.數據收集

用于評估我們框架的數據序列是在一個地下車庫中收集的，序列的詳細信息見表一。

B.鳥瞰圖邊緣提取

我們首先評估不同分割方法提取混合鳥眼邊緣的性能，定性和定量結果都顯示了它們過濾噪聲和扭曲邊緣的能力。

圖7，不同鳥瞰圖邊緣分割方法的軌跡估計

圖7，不同鳥瞰圖邊緣分割方法的軌跡估計

C.里程計與建圖

圖8，不同SLAM框架下的估計軌跡。

圖8，不同SLAM框架下的估計軌跡。

總結

本文提出了一種基于鳥瞰圖像混合邊緣提取的語義視覺SLAM框架，該框架可應用于AVP任務。一方面，與傳統的稀疏點特征相比，邊緣密度更大，魯棒性更強。另一方面，與現有的語義道路標記點云相比，我們的分割方法只需要粗略的自由空間標注進行訓練，而不需要對道路標記進行耗時費力的標注。利用IPM畸變效應，提出的分割方法可以濾除大部分噪聲眩光邊緣和畸變物體邊緣。以提取的邊緣為輸入，建立了一個可視化的SLAM系統，并對某地下車庫的實際數據進行了評估。實驗結果證明了我們的方法的有效性，以及將其集成到其他通用SLAM框架中的潛力。在未來，我們將進一步開發一個健壯的分層語義視覺SLAM框架，該框架結合了AVP應用的多模態語義和多傳感器。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。