標(biāo)題：Compact 3D Map-Based Monocular Localization Using Semantic? Edge Alignment

作者：Kejie Qiu, Shenzhou Chen, Jiahui Zhang, Rui Huang, Le Cui, Siyu Zhu, and Ping Tan

排版：點(diǎn)云PCL

來源:? arxiv 2021?

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪除。歡迎各位加入免費(fèi)知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。內(nèi)容如有錯誤歡迎評論留言，未經(jīng)允許請勿轉(zhuǎn)載！

公眾號致力于分享點(diǎn)云處理，SLAM，三維視覺，高精地圖相關(guān)的文章與技術(shù)，歡迎各位加入我們，一起每交流一起進(jìn)步,有興趣的可聯(lián)系微信：920177957。本文來自點(diǎn)云PCL博主的分享，未經(jīng)作者允許請勿轉(zhuǎn)載，歡迎各位同學(xué)積極分享和交流。

摘要

精確的定位是導(dǎo)航、機(jī)器人、自動駕駛和增強(qiáng)現(xiàn)實(shí)（AR）等各種應(yīng)用的基礎(chǔ)。與增量式定位不同的是，全局定位不存在由誤差積累引起的漂移，這在許多應(yīng)用場景中都是需要的。除了在戶外使用GPS外，3D地圖也被廣泛用作全局定位的替代方案。本文提出了一種基于低成本單目相機(jī)和慣性測量單元（IMU）的簡化型三維地圖全局定位系統(tǒng)。該地圖由兩類簡化元素和多個語義標(biāo)簽組成，能很好地適應(yīng)城市等各種環(huán)境。同時，利用語義邊緣特征進(jìn)行關(guān)鍵圖像的地圖配準(zhǔn)，對環(huán)境中的遮擋和長期外觀變化具有很強(qiáng)的魯棒性。為了進(jìn)一步提高定位性能，將關(guān)鍵語義邊緣對齊問題描述為一個基于獨(dú)立VIO（VisualInertial Odometry）模塊預(yù)測初始姿態(tài)的優(yōu)化問題。定位系統(tǒng)采用模塊化設(shè)計(jì)，實(shí)時實(shí)現(xiàn)。通過實(shí)際實(shí)驗(yàn)結(jié)果與地面真實(shí)情況進(jìn)行比較，評估了定位精度，并驗(yàn)證了長期定位性能。

介紹

視覺定位是對給定圖像的位置和方向（即攝像機(jī)姿態(tài)）進(jìn)行估計(jì)的問題。這個問題在自主導(dǎo)航中起著關(guān)鍵作用，例如，對于自動駕駛汽車[9]和同時定位和地圖（SLAM）[30]。在許多三維計(jì)算機(jī)視覺算法中也會遇到這種情況，如運(yùn)動結(jié)構(gòu)（SfM）[36]、攝像機(jī)標(biāo)定[9]和增強(qiáng)現(xiàn)實(shí)[25]、[29]

用于視覺定位的最新方法是基于結(jié)構(gòu)的，即它們顯式或隱式地使用三維模型來表示場景。顯式方法通常采用通過SfM[20]、[25]、[33]、[40]、[46]構(gòu)造的稀疏3D點(diǎn)云，允許它們將每個3D點(diǎn)與一個或多個局部圖像描述子相關(guān)聯(lián)。對于給定的圖像，通過比較從圖像中提取的局部特征的描述子和三維點(diǎn)描述子，建立一組二維-三維的對應(yīng)關(guān)系。使用這些匹配，然后他們通過循環(huán)RANSAC[8]中應(yīng)用n點(diǎn)姿勢解算器[10]、[18]、[19]來估計(jì)相機(jī)姿勢。相反，隱式方法[4]、[7]、[28]、[39]放棄了顯式描述子匹配。相反，他們通過學(xué)習(xí)從圖像塊到三維場景點(diǎn)坐標(biāo)的映射，直接學(xué)習(xí)2D-3D匹配函數(shù)。再次，將得到的2D-3D對應(yīng)用于基于RANSAC的姿態(tài)估計(jì)。與顯式方法相比，隱式方法可以獲得更高的姿態(tài)精度[4]，[7]。然而，它們目前還不能擴(kuò)展到更大的戶外場景[4]，[37]。

大多數(shù)明確的基于結(jié)構(gòu)的定位方法都集中在單目（單幅圖像）情況下，例如智能手機(jī)和平板電腦上的增強(qiáng)現(xiàn)實(shí)[3]、[17]、[25]，通過制定有效匹配[21]、[33]或縮放到更大或更復(fù)雜場景的策略[22]、[35]、[40]、[46]。然而，許多機(jī)器人應(yīng)用，特別是自動駕駛汽車[9]，[38]，受益于使用多攝像機(jī)系統(tǒng)，覆蓋整個360°視野（FoV）的機(jī)器人周圍。研究還表明，覆蓋更大視場的攝像機(jī)可以更精確地定位[2]，并且多攝像機(jī)系統(tǒng)可以顯著提高具有挑戰(zhàn)性條件下的定位性能[34]。

文章貢獻(xiàn)

現(xiàn)有的多攝像機(jī)定位研究主要集中在立體SLAM[13]、[23]、[31]、攝像機(jī)標(biāo)定[12]、[13]和攝像機(jī)姿態(tài)估計(jì)[6]、[19]、[41]、[43]。后兩種方法將多攝像機(jī)系統(tǒng)建模為廣義攝像機(jī)[32]，即具有多個投影中心的攝像機(jī)，以導(dǎo)出（最小）姿態(tài)估計(jì)解算器。然而，多攝像機(jī)定位的一個核心方面很少受到關(guān)注：使用多個圖像會導(dǎo)致在特征匹配過程中需要考慮更多的特征，從而顯著延長運(yùn)行時間。

本文旨在通過研究多攝像機(jī)系統(tǒng)中高效的2D-3D匹配來填補(bǔ)這一空白。為此，我們做出了以下主要貢獻(xiàn)：

1）提出了一種多攝像機(jī)系統(tǒng)的優(yōu)先描述符匹配方案。我們的策略基于主動搜索[33]，這是一種針對單目相機(jī)開發(fā)的高效優(yōu)先級方案。我們證明了主動搜索的一種快速變體，它導(dǎo)致了單個圖像的不穩(wěn)定姿態(tài)估計(jì)，非常適合于多攝像機(jī)系統(tǒng)。

2） 我們將優(yōu)先匹配與攝像機(jī)姿態(tài)估計(jì)相結(jié)合。與標(biāo)準(zhǔn)方案不同，標(biāo)準(zhǔn)方案在找到固定數(shù)量的匹配后終止搜索，我們的方法在找到足夠多的幾何一致匹配后立即終止。

3） 受幾何異常值濾波方法的啟發(fā)[40]，[46]，我們開發(fā)了一個有效的幾何驗(yàn)證步驟，可用于整合潛在的姿態(tài)先驗(yàn)。這使得我們可以避免比較描述幾何上不可信的匹配，這可以使我們的搜索更加有效和健壯。后兩種貢獻(xiàn)不僅限于多攝像機(jī)情況，而且也適用于單目場景。

4） 我們展示了如何將我們的方法與VIO方法相結(jié)合，使我們的系統(tǒng)能夠在汽車上實(shí)時提供準(zhǔn)確、無漂移的姿態(tài)估計(jì)

在城市環(huán)境中使用建議的精簡地圖格式進(jìn)行地圖壓縮。使用兩種類型的線段（線段和線框）保留關(guān)鍵地標(biāo)的同時，顯著減小了地圖的大小。每種類型都可以標(biāo)記為多個語義類別。

主要內(nèi)容

提出的模塊化定位系統(tǒng)包括語義分割模塊、VIO模塊、地標(biāo)選擇模塊、特征提取模塊和語義邊緣對齊模塊。本文將重點(diǎn)介紹最后三個模塊。為了系統(tǒng)的完整性，還簡要介紹了簡化地圖的生成過程。以城市環(huán)境定位為例，定位流程如圖2所示。定位系統(tǒng)由全球定位系統(tǒng)（GPS）或其他視覺重定位方法等全局參考進(jìn)行初始化。語義分割模塊首先對采集到的圖像進(jìn)行語義標(biāo)注，在不喪失通用性的前提下，將圖像分割為兩類語義區(qū)域（道路和非道路）。根據(jù)分割結(jié)果，在對圖像進(jìn)行進(jìn)一步處理之前，先對圖像中潛在的動態(tài)區(qū)域進(jìn)行掩蔽，然后利用邊緣檢測算法從捕獲的圖像中提取語義邊緣特征，并將分割出的語義邊緣圖像轉(zhuǎn)化為相應(yīng)的距離變換進(jìn)行稠密處理邊緣對齊。同時，根據(jù)最后一個攝像機(jī)姿態(tài)和VIO模塊的里程計(jì)輸入預(yù)測當(dāng)前攝像機(jī)姿態(tài)。根據(jù)預(yù)測的攝像機(jī)姿態(tài)，從預(yù)先構(gòu)建的簡化地圖中選擇相應(yīng)的地標(biāo)進(jìn)行特征對齊。最后，在一個優(yōu)化框架內(nèi)導(dǎo)出了全局的相機(jī)姿態(tài)。

提出了基于地圖的定位系統(tǒng)的總體方案。整個定位系統(tǒng)由虛線框中顯示的全局引用初始化，所有實(shí)線框表示實(shí)時運(yùn)行的模塊。在特征提取模塊中，根據(jù)分割結(jié)果從輸入圖像中提取語義邊緣特征，生成以距離變換表示的語義能量圖（黑：低能；白：高能）。在地標(biāo)選擇模塊中，根據(jù)獨(dú)立的VIO模塊提供的先驗(yàn)攝像機(jī)姿態(tài)選擇用于特征對齊的地標(biāo)。在邊緣對齊模塊中，對優(yōu)化前后的標(biāo)志點(diǎn)（色點(diǎn)）進(jìn)行了重投影。

地圖定義和生成

我們定義了兩種類型的地標(biāo)，即線段和線框，每種類型都可以附加多個語義標(biāo)簽。語義線段由一個語義標(biāo)簽和兩個三維點(diǎn)表示，語義線框由一個語義標(biāo)簽和兩個以上的三維點(diǎn)表示（矩形線框?yàn)樗狞c(diǎn)）：

在地圖生成方面，可以從標(biāo)準(zhǔn)地圖格式轉(zhuǎn)換成簡化的地標(biāo)地圖，也可以從使用各種傳感器的多種地圖算法的結(jié)果生成簡化的地標(biāo)。例如，如圖3（a）所示，基于由稠密視覺映射構(gòu)造的HD地圖，可以使用分割算法在逆透視映射（IPM）圖像中有效地標(biāo)記檢測到的道路。首先利用專用神經(jīng)網(wǎng)絡(luò)在圖像中檢測出非道路元素，然后利用映射結(jié)果得到的相應(yīng)深度信息投影到全局坐標(biāo)上，如圖3（b）所示。在實(shí)際應(yīng)用中，這兩種檢測結(jié)果都可以通過人工標(biāo)注的方式進(jìn)行細(xì)化，提高精度，并且不保留被植被遮擋的地標(biāo)。圖4顯示就是顯示的城市環(huán)境的簡化地圖。

圖3 在IPM（bird's eye view）圖像中檢測路標(biāo)，而在普通圖像視圖中檢測非路標(biāo)。

圖4 城市環(huán)境的簡化的地標(biāo)地圖

實(shí)驗(yàn)

采集設(shè)備

用于實(shí)驗(yàn)的生成簡化地圖是由安裝在數(shù)據(jù)采集車上的高端設(shè)備（包括五個工業(yè)攝像機(jī)、一個高精度捷聯(lián)慣導(dǎo)系統(tǒng)和一個車輪里程計(jì)）構(gòu)建的密集點(diǎn)云地圖生成的。另一方面，用于定位的傳感器組包括MYNT眼睛照相機(jī)的左單目相機(jī)，其以20hz捕獲640×400個圖像，并且內(nèi)部IMU以200Hz運(yùn)行，下圖所示

對攝像機(jī)的內(nèi)參數(shù)和攝像機(jī)與IMU之間的外參數(shù)進(jìn)行了預(yù)先標(biāo)定。定位系統(tǒng)采用基于超點(diǎn)[10]的視覺重定位方法進(jìn)行初始化。VINS Mono[23]用于單目VIO實(shí)現(xiàn)。使用DeepLabv3+[5]和exception[24]模型對城市環(huán)境進(jìn)行語義分割，得到道路和非道路區(qū)域進(jìn)行進(jìn)一步的特征提取。整個定位系統(tǒng)在配備i7-8700kcpu和GeForce gtx1080ti的臺式機(jī)上實(shí)時運(yùn)行，詳細(xì)的定時統(tǒng)計(jì)如表一所示。

定位評估

為了更好的呈現(xiàn)邊緣地標(biāo)對齊結(jié)果，我們將地標(biāo)重新投影到合成距離變換上，該距離變換將所有語義層結(jié)合起來進(jìn)行可視化。通常情況下，優(yōu)化后的重投影標(biāo)志（色點(diǎn)）位于低能量區(qū)域（距離變換的黑色區(qū)域）。也就是說，通過重投影圖像可以直觀地判斷定位結(jié)果。

收集了三次總長620m的試驗(yàn)數(shù)據(jù)，并與地面實(shí)況進(jìn)行了比較。用于定位的簡化地圖統(tǒng)計(jì)如表二所示， trial 1的地圖具有相對較大的地標(biāo)密度。重要的是，使用簡化的地圖表示法，地圖尺寸顯著減小（壓縮因子=原始地圖尺寸=緊湊地圖尺寸），這有利于機(jī)載系統(tǒng)和大規(guī)模部署。

用RMSE計(jì)算的詳細(xì)數(shù)值結(jié)果如表3所示。由于使用了語義邊緣代替了語義對象，該方法的位置精度在0:29m以內(nèi)，旋轉(zhuǎn)精度在0.52度以內(nèi)?, 滿足了自動駕駛對車道水平精度的要求。此外，如表4所示，我們將該算法與其他基于地圖的算法進(jìn)行了比較，結(jié)果表明該算法在相關(guān)工作中達(dá)到了最佳的性能水平。

總結(jié)

本文提出了一種基于自定義三維簡化地圖的單目視覺慣性測量全局定位系統(tǒng)。地圖由兩種類型的地標(biāo)組成：線段和線框，每種類型都有多個語義標(biāo)簽。以城市環(huán)境為例，說明了方法論和評價方法。此外，由于定義的地圖格式的通用性，它可以很容易地適應(yīng)室內(nèi)環(huán)境或任何人造環(huán)境使用特定的語義標(biāo)簽。此外，用于特征對齊的語義邊緣特征對透視和光照變化具有很強(qiáng)的魯棒性，在復(fù)雜外觀變化的情況下能夠?qū)崿F(xiàn)長期定位。

更多詳細(xì)內(nèi)容和加入知識星球獲取原文

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語義分割

大場景三維點(diǎn)云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實(shí)時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

如果你對本文感興趣，請后臺發(fā)送“知識星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識星球，免費(fèi)下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費(fèi)星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點(diǎn)云，高精地圖，自動駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點(diǎn)一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的基于简化点云地图的语义边缘对齐的单目定位方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。