點(diǎn)云PCL免費(fèi)知識(shí)星球，點(diǎn)云論文速讀。

標(biāo)題：Stereo Plane SLAM Based on Intersecting Lines

作者：Xiaoyu Zhang, Wei Wang*, Xianyu Qi and Ziwei Liao

來(lái)源：分享者

代碼：https://github.com/fishmarch/Stereo-Plane-SLAM.git

歡迎各位加入免費(fèi)知識(shí)星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈分享快樂(lè)。

論文閱讀模塊將分享點(diǎn)云處理，SLAM，三維視覺(jué)，高精地圖相關(guān)的文章。公眾號(hào)致力于理解三維視覺(jué)領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開(kāi)啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

摘要

平面特征是SLAM系統(tǒng)中減小漂移誤差的一種穩(wěn)定標(biāo)志。從密集點(diǎn)云中提取平面是一種簡(jiǎn)單、快速的方法，常用于RGB-D相機(jī)或激光雷達(dá)。但是對(duì)于立體相機(jī)來(lái)說(shuō)，密集點(diǎn)云的精確高效計(jì)算是一個(gè)難點(diǎn)。本文提出了一種從立體圖像中提取相交線計(jì)算平面參數(shù)的新方法。平面特征普遍存在于人造物體和構(gòu)筑物的表面，具有規(guī)則的形狀和直線的線條。在三維空間中，兩條相交的直線可以確定這樣一個(gè)平面。因此，我們從立體左、右圖像中提取直線段。通過(guò)立體匹配，計(jì)算出三維空間中的端點(diǎn)和直線方向，進(jìn)而計(jì)算出平面。在立體SLAM系統(tǒng)中加入這樣的計(jì)算平面特征可以減小漂移誤差，提高系統(tǒng)性能。我們?cè)诠矓?shù)據(jù)集上測(cè)試了我們提出的系統(tǒng)，并與最先進(jìn)的SLAM系統(tǒng)進(jìn)行了比較，證明了它的魯棒性和精確性。

主要內(nèi)容

本文提出了一種從立體圖像中計(jì)算平面特征的新方法。平面特征普遍存在于人造物體和結(jié)構(gòu)的表面。這些平面通常有規(guī)則的形狀和直線。在三維空間幾何中，兩條相交的直線可以確定一個(gè)平面。因此，用直線來(lái)計(jì)算平面特征是合理和可行的。立體匹配可以從立體圖像中計(jì)算出三維直線[4]。計(jì)算平面特征的示例如圖1所示。與直接使用線特征相比，平面特征避免了復(fù)雜的參數(shù)化，實(shí)現(xiàn)了簡(jiǎn)單而穩(wěn)健的數(shù)據(jù)關(guān)聯(lián)。此外，平面也是更精確的地標(biāo)，計(jì)算平面特征的過(guò)程也起到了濾除不精確線段的作用。

綜上所述，我們的貢獻(xiàn)如下：

?一種基于相交線的立體圖像平面特征計(jì)算方法。

?使用提取點(diǎn)和計(jì)算平面的立體SLAM系統(tǒng)。

?在公共數(shù)據(jù)集上進(jìn)行評(píng)估，系統(tǒng)得到了穩(wěn)健和準(zhǔn)確的估計(jì)結(jié)果，并實(shí)現(xiàn)了先進(jìn)的性能。

相交線提取平面特征

本節(jié)主要介紹平面特征的計(jì)算方法。我們首先從兩幅立體圖像中提取線段。通過(guò)匹配直線段及其端點(diǎn)，計(jì)算直線端點(diǎn)和方向向量的三維位置。然后我們檢查它們的位置，找出相交的線。最后，我們計(jì)算了平面參數(shù)

A?符號(hào)說(shuō)明

我們將平面表示為p=（n^T,d）^T，其中n=（nx；ny；nz）^T是表示平面方向的單位法向量，d是平面到原點(diǎn)的距離。我們使用常用的形式Tcw屬于se（3）來(lái)表示相機(jī)的姿勢(shì)，p=（x,y,z,1）^T來(lái)表示點(diǎn)。因此，Tcw*pi_w將三維點(diǎn)從世界變換到攝影機(jī)坐標(biāo)系，而Tcw^-T*pw將平面從世界變換到攝影機(jī)坐標(biāo)系,對(duì)于直線，我們只記錄它們的端點(diǎn)（ps；pe）和單位方向向量nl，這足以計(jì)算平面特征。

B?線段檢測(cè)和計(jì)算

立體相機(jī)的幀由左圖像和右圖像組成。使用線段檢測(cè)器(LSD)從兩幅立體圖像中提取線段，并用LBD描述子進(jìn)行匹配。在一幀立體圖像中，直線匹配具有足夠的精確性和魯棒性。如圖2（a）所示，以不同的顏色繪制線段，并且在Il和Ir中匹配的線段是相同的顏色。對(duì)于左圖像Il中的每一個(gè)匹配線段，假設(shè)它們?cè)诹Ⅲw幀中的行位置不變，在右圖像Ir中找到其端點(diǎn)的對(duì)應(yīng)點(diǎn)。如圖2（b）所示，匹配的端點(diǎn)通過(guò)橫線連接。為了清晰起見(jiàn)，只繪制那些成功計(jì)算平面特征的端點(diǎn)。根據(jù)端點(diǎn)的立體匹配，基于視差delta_u計(jì)算出它們的3D位置p。線方向n_l也由其兩個(gè)端點(diǎn)（pe?ps）定義

C?線段計(jì)算

在計(jì)算平面特征之前，需要檢查直線之間的關(guān)系。在三維空間幾何中，相交線或平行線位于同一平面上。然而，對(duì)于平行線，很難判斷它們是否是從同一個(gè)真實(shí)平面提取的，因此由它們計(jì)算的平面容易帶來(lái)較大的誤差。因此，只計(jì)算相交線的平面。為了快速檢查相交線，發(fā)現(xiàn)滿足以下條件的直線：

?兩條直線之間的角度大于閾值（在實(shí)驗(yàn)中為10°）

?它們的中心點(diǎn)之間的距離小于直線長(zhǎng)度。

? 這兩條直線的四個(gè)端點(diǎn)位于同一平面上。

中心點(diǎn)pc由直線端點(diǎn)ps和pe計(jì)算。從前兩個(gè)條件中，實(shí)際上找到了那些緊密的線段用線方向向量的叉乘來(lái)計(jì)算平面法向量。

利用平面法向量n_pi和四個(gè)端點(diǎn)p_k（k=1,2,3,4），計(jì)算四個(gè)不同的平面系數(shù)d_k:

面與面之間的距離為

如果D小于閾值（在實(shí)驗(yàn)中為5cm），這兩條線滿足第三個(gè)條件，并且計(jì)算了平面系數(shù)pi,這里是d_k的算術(shù)平均值。有時(shí)計(jì)算的平面可能不是場(chǎng)景中的真實(shí)平面，例如門框線的平面。但是這樣的平面也足夠穩(wěn)定，并且提供了精確的約束，因此我們將它們視為真實(shí)平面。在這些條件下，我們首先計(jì)算盡可能多的平面,稍后檢查計(jì)算的平面并刪除無(wú)效平面。

基于檢測(cè)平面的SLAM系統(tǒng)

點(diǎn)和平面都被用作地標(biāo)，并在我們的SLAM系統(tǒng)中得到優(yōu)化。因?yàn)槠矫嫣卣魍ǔ２荒芡耆s束攝像機(jī)的姿態(tài)。我們的系統(tǒng)基于公開(kāi)提供的ORB-SLAM stereo版本，其中包括特征跟蹤和捆綁調(diào)整優(yōu)化。

A、 系統(tǒng)概述

提出的SLAM系統(tǒng)的流程如圖3所示。它可以分為幀處理、跟蹤和建圖三個(gè)部分。還沒(méi)有添加回環(huán)檢測(cè)部分，因?yàn)槠矫嫣卣鳜F(xiàn)在只對(duì)相機(jī)姿態(tài)跟蹤有幫助。

在立體相機(jī)處理中，我們從左右圖像中提取特征點(diǎn)和線段，并基于描述子對(duì)這些特征進(jìn)行匹配。然后我們可以使用上述方法計(jì)算平面特征。在跟蹤過(guò)程中，根據(jù)匹配的特征估計(jì)出攝像機(jī)的每個(gè)姿態(tài)。首先在最后一個(gè)關(guān)鍵幀對(duì)攝像機(jī)姿態(tài)進(jìn)行估計(jì)，然后在局部地圖上進(jìn)行優(yōu)化。從關(guān)鍵幀創(chuàng)建地圖點(diǎn)和平面并將其保存在地圖中。為了獲得更精確的估計(jì)，進(jìn)行了局部地圖優(yōu)化。

B、 優(yōu)化公式

SLAM通常被描述為一個(gè)非線性最小二乘優(yōu)化問(wèn)題，而捆集平差法（BA）通常用于點(diǎn)特征。和點(diǎn)一樣我們的系統(tǒng)設(shè)計(jì)了平面特征的優(yōu)化公式。在我們的SLAM系統(tǒng)中，我們將攝像機(jī)的姿態(tài)、點(diǎn)特征和平面特征分別表示為C，P，L，則優(yōu)化問(wèn)題可以表述為：

e分別表示攝像機(jī)位姿、攝像機(jī)平面的測(cè)量誤差。S是相應(yīng)的協(xié)方差矩陣。優(yōu)化問(wèn)題可以用g2o中的LevenbergMarquardt或Gauss-Newton法求解

C、測(cè)量誤差

1） 攝像機(jī)位姿點(diǎn)誤差：在我們的系統(tǒng)中，我們使用標(biāo)準(zhǔn)的重投影誤差來(lái)測(cè)量攝像機(jī)位姿。

這里Tcw是攝像機(jī)的姿態(tài)，pw是世界坐標(biāo)系中的點(diǎn)參數(shù)，uc是觀測(cè)到的像素，r是將3D點(diǎn)投影到圖像上的攝像機(jī)模型。在優(yōu)化中，攝像機(jī)姿態(tài)Tcw被映射到李代數(shù)x屬于se(3)。

2）相機(jī)平面特征誤差：由于三維平面只有三個(gè)自由度，因此pi參數(shù)化過(guò)多。因此，需要額外的約束來(lái)保證平面法向量的單位長(zhǎng)度，在優(yōu)化中增加了額外的計(jì)算量。為了克服這個(gè)問(wèn)題，在優(yōu)化中使用平面t的最小化參數(shù)，其中?括號(hào)里分別是平面法線的方位角和仰角：

所以我們定義最小化參數(shù)的測(cè)量誤差方程：

這里pw是世界坐標(biāo)系中的平面參數(shù)，pc是相機(jī)坐標(biāo)系中的平面觀測(cè)值。相機(jī)平面誤差測(cè)量的是平面地標(biāo)與其在相機(jī)坐標(biāo)系中的相應(yīng)觀測(cè)值之間的距離。

實(shí)驗(yàn)

使用兩個(gè)流行的公共數(shù)據(jù)集來(lái)評(píng)估提出的SLAM系統(tǒng)：EuRoC數(shù)據(jù)集和KITTI vision benchmark。這兩個(gè)數(shù)據(jù)集都提供立體圖像。所有的實(shí)驗(yàn)都在一臺(tái)筆記本電腦上運(yùn)行，它有 i7-7700HQ 2.80 GHz CPU, 16GB RAM, 沒(méi)有GPU.

比較了不同SLAM系統(tǒng)的估計(jì)結(jié)果。這里我們使用絕對(duì)平移均方根誤差（RMSE）來(lái)評(píng)估估計(jì)結(jié)果

EuRoC數(shù)據(jù)集與ORB_SLAM2的軌跡比較

EuRoC數(shù)據(jù)集構(gòu)建的點(diǎn)云及平面地圖

KITTI數(shù)據(jù)集其一軌跡比較

KITTI數(shù)據(jù)集的地圖構(gòu)建結(jié)果

總結(jié)

提出了一種從立體圖像中計(jì)算平面特征的新方法。許多以前的工作已經(jīng)證明了在SLAM系統(tǒng)中添加平面特征的好處，但大多數(shù)都是針對(duì)RGB-D相機(jī)的。在本文中，我們根據(jù)兩條相交線決定一個(gè)平面的事實(shí)，從立體圖像中計(jì)算平面特征。在進(jìn)一步的驗(yàn)證之后，將計(jì)算出的平面加入到我們的立體SLAM系統(tǒng)中。我們給出了兩個(gè)公共數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，證明了系統(tǒng)的準(zhǔn)確性和魯棒性。

從實(shí)驗(yàn)結(jié)果來(lái)看，我們的系統(tǒng)明顯優(yōu)于目前最先進(jìn)的基于特征點(diǎn)的SLAM系統(tǒng)。與基于線的SLAM系統(tǒng)相比，我們的系統(tǒng)也得到了可比的結(jié)果。平面計(jì)算濾除了這些不精確的線段，并添加了穩(wěn)定的約束來(lái)估計(jì)攝像機(jī)的姿態(tài)。從構(gòu)建的地圖中，發(fā)現(xiàn)一些不精確的平面特征仍然存在，這給數(shù)據(jù)關(guān)聯(lián)帶來(lái)了很大的挑戰(zhàn)。未來(lái)，我們將對(duì)平面計(jì)算和檢查方法進(jìn)行改進(jìn)，以獲得更精確、更穩(wěn)健的平面特征。此外，我們還需要一個(gè)更健壯的數(shù)據(jù)關(guān)聯(lián)算法，消除估計(jì)誤差的影響。

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計(jì)及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測(cè)：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語(yǔ)義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語(yǔ)義分割

大場(chǎng)景三維點(diǎn)云的語(yǔ)義分割綜述

PCL中outofcore模塊---基于核外八叉樹(shù)的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開(kāi)源方案共享】ORB-SLAM3開(kāi)源啦！

【論文速讀】AVP-SLAM：自動(dòng)泊車系統(tǒng)中的語(yǔ)義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺(jué)慣導(dǎo)SLAM算法綜述與評(píng)價(jià)

SLAM綜述(4)激光與視覺(jué)融合SLAM

Kimera實(shí)時(shí)重建的語(yǔ)義SLAM系統(tǒng)

SLAM綜述(3)-視覺(jué)與慣導(dǎo)，視覺(jué)與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場(chǎng)景中的應(yīng)用

第三期B站錄播之CMake進(jìn)階學(xué)習(xí)

第四期B站錄播之點(diǎn)云物體及六自由度姿態(tài)估計(jì)

第五期B站錄播之點(diǎn)云深度學(xué)習(xí)語(yǔ)義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點(diǎn)云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開(kāi)發(fā)

[線上分享錄播]基于點(diǎn)云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機(jī)器人力反饋遙操作技術(shù)及機(jī)器人視覺(jué)分享

[線上分享錄播]地面點(diǎn)云配準(zhǔn)與機(jī)載點(diǎn)云航帶平差

點(diǎn)云PCL更多活動(dòng)請(qǐng)查看：點(diǎn)云PCL活動(dòng)之應(yīng)屆生校招群

掃描下方微信視頻號(hào)二維碼可查看最新研究成果及相關(guān)開(kāi)源方案的演示：

如果你對(duì)本文感興趣，請(qǐng)點(diǎn)擊“原文閱讀”獲取知識(shí)星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識(shí)星球，免費(fèi)下載pdf文檔，和更多熱愛(ài)分享的小伙伴一起交流吧！

以上內(nèi)容如有錯(cuò)誤請(qǐng)留言評(píng)論，歡迎指正交流。如有侵權(quán)，請(qǐng)聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂(lè)于分享的小伙伴加入免費(fèi)星球注入愛(ài)分享的新鮮活力。分享的主題包含但不限于三維視覺(jué)，點(diǎn)云，高精地圖，自動(dòng)駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：群主微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來(lái)聯(lián)系公眾號(hào)展開(kāi)合作。

點(diǎn)一下“在看”你會(huì)更好看耶

總結(jié)

以上是生活随笔為你收集整理的基于相交线的立体平面SLAM的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。