點(diǎn)云PCL免費(fèi)知識(shí)星球，點(diǎn)云論文速讀。

標(biāo)題：VDO-SLAM: A Visual Dynamic Object-aware SLAM System

作者：Jun Zhang , Mina Henein , Robert Mahony and Viorela Ila

來(lái)源：https://arxiv.org/pdf/2005.11052.pdf

翻譯：particle

歡迎各位加入免費(fèi)知識(shí)星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂(lè)。

論文閱讀模塊將分享點(diǎn)云處理，SLAM，三維視覺(jué)，高精地圖相關(guān)的文章。公眾號(hào)致力于理解三維視覺(jué)領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開(kāi)啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

摘要

在SLAM系統(tǒng)中通常假設(shè)環(huán)境是靜態(tài)的，也有一些針對(duì)動(dòng)態(tài)環(huán)境的SLAM算法通過(guò)將運(yùn)動(dòng)對(duì)象從環(huán)境中移除的方法來(lái)簡(jiǎn)化SLAM的跟蹤，如此強(qiáng)制的假設(shè)將限制系統(tǒng)在高度動(dòng)態(tài)和非結(jié)構(gòu)化的環(huán)境中SLAM的應(yīng)用。本文介紹了一個(gè)魯棒性很強(qiáng)的動(dòng)態(tài)SLAM感知系統(tǒng)VDO-SLAM，該系統(tǒng)利用語(yǔ)義信息實(shí)現(xiàn)對(duì)場(chǎng)景中剛性物體的運(yùn)動(dòng)估計(jì)，不需要事先知道物體的形狀或運(yùn)動(dòng)模型。該方法將環(huán)境中的動(dòng)態(tài)和靜態(tài)結(jié)構(gòu)集成在一個(gè)統(tǒng)一的SLAM系統(tǒng)中，能夠獲得精確的位姿和環(huán)境地圖。文章提供了一種從場(chǎng)景中運(yùn)動(dòng)物體的姿態(tài)變化估計(jì)出速讀的方法，為復(fù)雜的動(dòng)態(tài)環(huán)境下的導(dǎo)航系統(tǒng)提供了重要的功能，我們?cè)谝恍┝械恼鎸?shí)的室內(nèi)和室外的數(shù)據(jù)集上驗(yàn)證了該系統(tǒng)的性能，結(jié)果表明，與先進(jìn)的算法相比，該算法具有一定的實(shí)質(zhì)性的改進(jìn)，并開(kāi)源了源代碼：https://github.com/halajun/vdo_slam。

主要貢獻(xiàn)

VDO-SLAM系統(tǒng)的結(jié)果。（上圖）一個(gè)完整的地圖，包括相機(jī)軌跡、靜態(tài)背景和運(yùn)動(dòng)物體結(jié)構(gòu)。（下圖）靜態(tài)背景和移動(dòng)物體的特征點(diǎn)檢測(cè)，以及估計(jì)的移動(dòng)目標(biāo)速度。黑色圓圈代表靜態(tài)點(diǎn)，每個(gè)對(duì)象都用不同的顏色顯示。

這是一種新的基于特征點(diǎn)的立體/RGB-D動(dòng)態(tài)SLAM系統(tǒng)：VDO-SLAM，它利用基于圖像的語(yǔ)義信息同時(shí)進(jìn)行定位，構(gòu)建靜態(tài)環(huán)境稀疏點(diǎn)云和動(dòng)態(tài)移動(dòng)物體檢測(cè)，并跟蹤場(chǎng)景中剛性物體的運(yùn)動(dòng)?？傊?#xff0c;這項(xiàng)工作的主要貢獻(xiàn)有：

?? 提出了一種能夠在動(dòng)態(tài)場(chǎng)景下實(shí)現(xiàn)機(jī)器人的位姿估計(jì)，構(gòu)建靜態(tài)環(huán)境地圖，實(shí)現(xiàn)動(dòng)態(tài)對(duì)象的運(yùn)動(dòng)估計(jì)的統(tǒng)一的框架。

?? 動(dòng)態(tài)物體SE（3）姿態(tài)變化的精確估計(jì)，優(yōu)于最先進(jìn)的算法，以及提出計(jì)算場(chǎng)景中移動(dòng)物體速度的方法，

?? 一種利用語(yǔ)義信息跟蹤運(yùn)動(dòng)對(duì)象的穩(wěn)健方法，能夠處理語(yǔ)義對(duì)象分割失敗導(dǎo)致的間接遮擋等問(wèn)題，

?? 在復(fù)雜真實(shí)的場(chǎng)景中演示了該系統(tǒng)。

據(jù)我們所知，這是第一個(gè)全動(dòng)態(tài)SLAM系統(tǒng)，能夠?qū)崿F(xiàn)運(yùn)動(dòng)分割、動(dòng)態(tài)目標(biāo)跟蹤、估計(jì)相機(jī)姿態(tài)以及靜態(tài)和動(dòng)態(tài)結(jié)構(gòu)，場(chǎng)景中每個(gè)剛性物體的完整SE（3）姿態(tài)變化，提取移動(dòng)物體速度信息，并且在真實(shí)的戶外場(chǎng)景中可以運(yùn)行。我們的算法在真實(shí)數(shù)據(jù)集上的性能，展示了所提出的系統(tǒng)解決剛性物體運(yùn)動(dòng)估計(jì)的能力，產(chǎn)生的運(yùn)動(dòng)結(jié)果在精度上可與相機(jī)的位姿估計(jì)相媲美，并且在城市駕駛場(chǎng)景中比最先進(jìn)的算法性能高出一個(gè)數(shù)量級(jí)。

主要內(nèi)容

該系統(tǒng)由三個(gè)主要部分組成：圖像預(yù)處理、跟蹤和建圖。系統(tǒng)的輸入是立體或RGB-D圖像。對(duì)于立體圖像，作為第一步，我們通過(guò)應(yīng)用立體深度估計(jì)方法來(lái)提取深度信息，并將生成的數(shù)據(jù)視為RGB-D。雖然該系統(tǒng)最初設(shè)計(jì)為RGB-D系統(tǒng)，但為了充分利用基于圖像的語(yǔ)義信息，我們采用單圖像深度估計(jì)來(lái)獲取單目相機(jī)的深度信息。我們的“基于學(xué)習(xí)的單目深度估計(jì)”方法，即只使用RGB圖像作為系統(tǒng)的輸入，通過(guò)深度學(xué)習(xí)的方法獲得圖像深度估計(jì)。

預(yù)處理

預(yù)處理模塊需要完成兩個(gè)具有挑戰(zhàn)性的方面。首先，對(duì)靜態(tài)背景和目標(biāo)進(jìn)行魯棒分離，其次保證對(duì)動(dòng)態(tài)目標(biāo)的長(zhǎng)期跟蹤。為了實(shí)現(xiàn)這一點(diǎn)，我們利用計(jì)算機(jī)視覺(jué)技術(shù)的最新進(jìn)展，例如實(shí)例語(yǔ)義分割和密集光流估計(jì)，以確保有效的目標(biāo)運(yùn)動(dòng)分割和魯棒的目標(biāo)跟蹤。

跟蹤

跟蹤部分包括兩個(gè)模塊：相機(jī)自身運(yùn)動(dòng)跟蹤，包括特征檢測(cè)和相機(jī)位姿估計(jì)子模塊；目標(biāo)運(yùn)動(dòng)跟蹤包括動(dòng)態(tài)目標(biāo)跟蹤和目標(biāo)運(yùn)動(dòng)估計(jì)子模塊。

建圖

在mapping模塊中，構(gòu)建并維護(hù)一個(gè)全局地圖。同時(shí)，從全局地圖中提取局部地圖，該局部地圖基于當(dāng)前時(shí)間步長(zhǎng)和前一時(shí)間步長(zhǎng)的窗口大小。這兩個(gè)地圖都是通過(guò)批量?jī)?yōu)化過(guò)程更新的。

論文圖集

文章展示如何以無(wú)模型的方式建模剛體對(duì)象的運(yùn)動(dòng)并且對(duì)動(dòng)態(tài)三維點(diǎn)進(jìn)行跟蹤。提出一個(gè)因子圖優(yōu)化來(lái)估計(jì)相機(jī)和物體的運(yùn)動(dòng)。在我們的系統(tǒng)的跟蹤模塊中，如圖所示，系統(tǒng)優(yōu)化的代價(jià)函數(shù)目的是估計(jì)相機(jī)姿勢(shì)和移動(dòng)對(duì)象的運(yùn)動(dòng)，代價(jià)函數(shù)與3D-2D重投影誤差相關(guān)，并且定義在圖像平面上。由于噪聲在圖像平面中的特征更好，這為相機(jī)定位提供了更準(zhǔn)確的結(jié)果。此外，基于這個(gè)誤差項(xiàng)，我們提出了一個(gè)新的公式，以聯(lián)合優(yōu)化光流與相機(jī)姿態(tài)和物體運(yùn)動(dòng)，以確保關(guān)鍵點(diǎn)跟蹤的魯棒性。在建圖模塊中，3D的誤差代價(jià)函數(shù)用于優(yōu)化3D結(jié)構(gòu)和物體運(yùn)動(dòng)估計(jì)的最佳結(jié)果。

示意圖實(shí)線表示相機(jī)和物體在慣性系中的姿態(tài)，虛線表示在場(chǎng)景中物體的運(yùn)動(dòng)。實(shí)線表示慣性系中的三維點(diǎn)，虛線表示相機(jī)幀中的三維點(diǎn)。

具有運(yùn)動(dòng)物體的動(dòng)態(tài)SLAM感知系統(tǒng)的因子圖。黑色方塊代表攝影機(jī)在不同時(shí)間點(diǎn)的位姿，藍(lán)色方塊代表三個(gè)靜態(tài)點(diǎn)，紅色方塊代表不同時(shí)間點(diǎn)的運(yùn)動(dòng)物體在相機(jī)上的相同動(dòng)態(tài)點(diǎn)，綠色方塊代表物體姿勢(shì)在不同時(shí)間之間的變化。

實(shí)驗(yàn)與評(píng)估

與MVO系統(tǒng)進(jìn)行的比較，使用 ?Oxford Multi-motion swinging 4 unconstrained數(shù)據(jù)集的進(jìn)行相機(jī)和物體運(yùn)動(dòng)估計(jì)精度。粗體數(shù)字表示效果更好。

目標(biāo)運(yùn)動(dòng)估計(jì)精度與CubeSLAM相比。顏色條表示與對(duì)數(shù)刻度中的左Y軸相對(duì)應(yīng)的平移誤差。曲線表示旋轉(zhuǎn)誤差，對(duì)應(yīng)于右Y軸的線性刻度。

KITTI序列上VDO-SLAM的樣本結(jié)果。帶有相機(jī)位姿、靜態(tài)環(huán)境點(diǎn)云和動(dòng)態(tài)對(duì)象軌跡的動(dòng)態(tài)地圖。

總結(jié)

在本文中，我們提出了一個(gè)新的基于動(dòng)態(tài)特征的SLAM系統(tǒng)VDO-SLAM，它利用場(chǎng)景中基于圖像的語(yǔ)義信息，而不需要額外的物體姿態(tài)或幾何先驗(yàn)知識(shí)，實(shí)現(xiàn)動(dòng)態(tài)物體的同時(shí)定位、建圖和跟蹤。該系統(tǒng)在室內(nèi)和室外具有挑戰(zhàn)性的數(shù)據(jù)集上始終展示了穩(wěn)健和準(zhǔn)確的結(jié)果，并且在目標(biāo)運(yùn)動(dòng)估計(jì)方面達(dá)到了最先進(jìn)的性能。我們認(rèn)為這是基于目標(biāo)特征的系統(tǒng)方案中目標(biāo)運(yùn)動(dòng)估計(jì)的達(dá)到較好效果且魯棒的SLAM方法。

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測(cè)：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語(yǔ)義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語(yǔ)義分割

大場(chǎng)景三維點(diǎn)云的語(yǔ)義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開(kāi)源方案共享】ORB-SLAM3開(kāi)源啦！

【論文速讀】AVP-SLAM：自動(dòng)泊車系統(tǒng)中的語(yǔ)義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺(jué)慣導(dǎo)SLAM算法綜述與評(píng)價(jià)

SLAM綜述(4)激光與視覺(jué)融合SLAM

Kimera實(shí)時(shí)重建的語(yǔ)義SLAM系統(tǒng)

SLAM綜述(3)-視覺(jué)與慣導(dǎo)，視覺(jué)與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場(chǎng)景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語(yǔ)義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開(kāi)發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺(jué)分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

點(diǎn)云PCL更多活動(dòng)請(qǐng)查看：點(diǎn)云PCL活動(dòng)之應(yīng)屆生校招群

掃描下方微信視頻號(hào)二維碼可查看最新研究成果及相關(guān)開(kāi)源方案的演示：

如果你對(duì)本文感興趣，請(qǐng)點(diǎn)擊“原文閱讀”獲取知識(shí)星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識(shí)星球，免費(fèi)下載pdf文檔，和更多熱愛(ài)分享的小伙伴一起交流吧！

以上內(nèi)容如有錯(cuò)誤請(qǐng)留言評(píng)論，歡迎指正交流。如有侵權(quán)，請(qǐng)聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂(lè)于分享的小伙伴加入免費(fèi)星球注入愛(ài)分享的新鮮活力。分享的主題包含但不限于三維視覺(jué)，點(diǎn)云，高精地圖，自動(dòng)駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：群主微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來(lái)聯(lián)系公眾號(hào)展開(kāi)合作。

點(diǎn)一下“在看”你會(huì)更好看耶

總結(jié)

以上是生活随笔為你收集整理的【开源方案共享】VDO-SLAM:基于视觉的动态SLAM感知系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。