SuMa++: Ef?cient LiDAR-based Semantic SLAM

Lidar，surfel-based，Bonn University，Laval University，KITTI，2019

總結(jié)

可以當(dāng)作是增加了語義信息的SuMa，為每個(gè)點(diǎn)云輸出語義分割結(jié)果，使得建立的surfel地圖包含豐富的語義，進(jìn)而通過語義約束提高性能。

使用建圖SUMA建圖，使用RangeSeg++分割。主要工作集中于怎樣將語義標(biāo)簽融合到地圖中，以及如何使用語義信息過濾場(chǎng)景中的動(dòng)態(tài)物體，有點(diǎn)類似于SemanticFusion，只不過SemanticFusion使用的是RGBD數(shù)據(jù)，而本文使用的是激光點(diǎn)云數(shù)據(jù)。（”RGBD的工作馬上會(huì)在Lidar上被復(fù)現(xiàn)一遍“，師兄說的很有道理嘛）

本文貢獻(xiàn)

將語義信息加入到surfel 地圖中，在高動(dòng)態(tài)場(chǎng)景下仍然能夠精確的建圖

提出了一種通過帶語義標(biāo)簽的surfel地圖來過濾動(dòng)態(tài)目標(biāo)的方法

方法介紹

結(jié)構(gòu)總覽：

1.建圖（surfel-based mapping，SuMa）

這個(gè)是用SuMa來做的，簡(jiǎn)單總結(jié)下：

• 在t時(shí)刻生成點(diǎn)云P的球形投影，即vertex map,然后用該圖生成normal map Nd
• 通過t-1時(shí)刻的投影ＩＣＰ，計(jì)算出ｔ－１到ｔ時(shí)刻的位姿變換矩陣，進(jìn)而鏈?zhǔn)降挠?jì)算出世界坐標(biāo)與ｔ時(shí)刻的位姿變換矩陣
• 同時(shí)做閉環(huán)檢測(cè)保證地圖的全局一致性

2.語義分割（RangeNet++）

這個(gè)是用ＲａｎｇｅＮｅｔ＋＋來做的。

ＲａｎｇｅＮｅｔ＋＋為每一幀的每個(gè)點(diǎn)云生成一個(gè)語義標(biāo)簽以及概率，得到語義地圖。

• 用DarkNet53作為骨干網(wǎng)絡(luò)構(gòu)建SqueezeSeg 的結(jié)構(gòu)

3.優(yōu)化語義地圖（?ood-?ll algorithm）

由于深度神經(jīng)網(wǎng)絡(luò)的降采樣作用和 BIOB-like 輸出，需要解決語義標(biāo)簽錯(cuò)誤帶來的問題，這里提出了 Flood-fill算法：

• 輸入：RangeNet++的輸出，即語義mask，以及對(duì)應(yīng)的Vertex map（每個(gè)點(diǎn)投影在點(diǎn)云坐標(biāo)系中的最近鄰點(diǎn)云的坐標(biāo)）.
• 輸出：優(yōu)化后的語義mask

算法流程：

邊界侵蝕：為了消除分割邊界的模糊

在輸入的語義mask中，如果某個(gè)點(diǎn)的固定鄰域中有其他的點(diǎn)的語義標(biāo)簽與該點(diǎn)不同，則刪除該點(diǎn)，得到侵蝕后的語義mask

將侵蝕的語義mask，與從Vertex map 中得到的深度圖結(jié)合，得到Fill-in mask

最后，對(duì)于語義標(biāo)簽空白的點(diǎn)云（應(yīng)該是第一步被移除的點(diǎn)云），如果其領(lǐng)域內(nèi)有其他點(diǎn)，則把該空白點(diǎn)的標(biāo)簽置為其鄰域內(nèi)點(diǎn)的標(biāo)簽（邊界噪聲過濾）

效果展示：

4.根據(jù)語義濾除動(dòng)態(tài)目標(biāo)

根據(jù)當(dāng)前時(shí)刻的觀測(cè)與世界模型（之前觀測(cè)的結(jié)果）的語義一致性來移除動(dòng)態(tài)目標(biāo)

具體的，加入了一個(gè)懲罰項(xiàng)來計(jì)算surfel面元的"穩(wěn)定性"（通過不斷更新每個(gè)surfel的穩(wěn)定性因子L_s來衡量）

其中EXP 項(xiàng)是為了解釋噪聲

效果展示：
右邊是SuMa 移除所有可能運(yùn)動(dòng)的物體的結(jié)果，文中提到這種做法會(huì)帶來問題：在語義稀疏的場(chǎng)景靜止的汽車包含豐富的特征點(diǎn)，在ICP配準(zhǔn)時(shí)會(huì)有很大的幫助，移除之后可能會(huì)因?yàn)閬G失對(duì)應(yīng)點(diǎn)而導(dǎo)致配準(zhǔn)失敗

5.語義ICP

即加入了語義約束的ICP。

新的ICP誤差函數(shù)：

通過高斯牛頓法優(yōu)化最小誤差

效果展示：

可以看到在引入權(quán)重項(xiàng)后，右邊的動(dòng)態(tài)目標(biāo)（汽車）被完美的移除

實(shí)驗(yàn)結(jié)果與分析

設(shè)計(jì)兩個(gè)實(shí)驗(yàn)分別證明了本文工作的兩個(gè)優(yōu)越性：

• 在高動(dòng)態(tài)的場(chǎng)景下仍然能夠精確建圖
• 相比于現(xiàn)有濾除動(dòng)態(tài)物體的方法（移除所有有可能運(yùn)動(dòng)的物體，如靜止的汽車），本文方法性能更佳

實(shí)驗(yàn)1： KITTI Road Sequences （目的：證明在高動(dòng)態(tài)的場(chǎng)景下仍然能夠精確建圖）

由于不是里程計(jì)數(shù)據(jù)，所以在做分割時(shí)沒有語義標(biāo)簽。

可以看到在高動(dòng)態(tài)目標(biāo)的場(chǎng)景中，SuMa由于沒有語義信息，地圖一致性被破壞，SuMa++則很好的維護(hù)了地圖的一致性。

位姿估計(jì)錯(cuò)誤對(duì)比：

可以看出SUMA++的偏移量少了很多，說明在高動(dòng)態(tài)場(chǎng)景中其位姿估計(jì)精度得到了很大提升

實(shí)驗(yàn)2： KITTI Odometry Benchmark （相比于現(xiàn)有濾除動(dòng)態(tài)物體的方法 本文方法性能更佳）

可以看出SUMA++ 相對(duì)于SUMA有一定的提升，相比于SOTA的工作，其性能相似（略低）。

論文針對(duì)相比SOTA，SUMA++性能持平和SUMA性能欠佳的現(xiàn)象分別做出了分析：

SUAM++中語義標(biāo)簽并不都是全部正確的，導(dǎo)致一些ｓｕｒｆｅｌ被錯(cuò)誤的移除

SUMA中移除所有可能移動(dòng)的目標(biāo)，使得一些有利的特征點(diǎn)也被移除

３.KITTI的測(cè)試數(shù)據(jù)集

ｕｎｓｅｅｎ的數(shù)據(jù)集進(jìn)行測(cè)試，性能相比SUMA：

average rotational error ： 0.0032 deg/m

average translational error ： 1.06%,

when compared to 0.0032 deg/m and 1.39% of the original SuMa

總結(jié)與討論：

關(guān)于究竟要不要移除靜止汽車這類目標(biāo)的討論。

以及本文方法的不足：在首次觀測(cè)時(shí)不能識(shí)別物體是否是運(yùn)動(dòng)的（因?yàn)樽R(shí)別是靠?jī)蓭霰葘?duì)以及語義標(biāo)簽進(jìn)行的），目前是通過移除首幀的所有可能運(yùn)動(dòng)的物體來解決。

未來的研究方向

語義信息輔助閉環(huán)檢測(cè)

細(xì)粒度的語義信息預(yù)測(cè)，例如車道結(jié)構(gòu)，道路類型

總結(jié)

以上是生活随笔為你收集整理的SuMa++论文笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。