標題：VCamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System

作者：Yuewen Zhu, Chunran Zheng, Chongjian Yuan, Xu Huang and Xiaoping Hong

來源：分享者

代碼：https://github.com/ISEE-Technology/CamVox

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈分享快樂。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

●論文摘要

基于相機和激光雷達融合（SLAM）技術，是一種提高整體定位精度的有效方法，尤其是在大范圍的室外場景下。低成本激光雷達（如Livox lidar）的最新發展使我們能夠探索低成本、高性能的SLAM系統。本文通過分析Livox激光雷達的特點，將Livox激光雷達應用到視覺SLAM（ORBSLAM2）中，提出了CamVox。基于Livox激光雷達的非重復性，提出了一種適用于非受控場景的激光雷達相機自動標定方法。長距離探測范圍也有利于更有效的SLAM系統。在同一個數據集上比較了CamVox與visual SLAM（VINS mono）和lidar SLAM（LOAM）的性能。

開源代碼：https://github.com/ISEE-Technology/CamVox

● 內容精華

主要貢獻

本文提出了第一個Livox激光雷達輔助視覺系統（CamVox）具有優越的實時性能。我們的CamVox SLAM基于最先進的ORB-SLAM，采用Livox激光雷達作為深度傳感器，具有以下新特點：

1）預處理步驟融合激光雷達和攝像頭輸入。通過精確的時間同步，將非重復掃描的激光雷達點中的畸變由IMU數據校正并轉換為相機幀。

2） 提出的大比例尺、高精度、高精度的激光SLAM系統，可以在大比例尺的室外環境下進行高精度的點云測繪。

3） 我們利用Livox激光雷達的非重復掃描特性，在不受控制的場景下進行攝像機和激光雷達之間的自動校準。

4） CamVox的性能是根據一些主流框架進行評估的，并且顯示了非常精確的軌跡結果。并公開了這項工作的硬件、代碼和數據集，希望提供一個現成的CamVox（Camera+Livox lidar）SLAM解決方案。

黑色虛線是groundtruth的軌跡，藍色、綠色、紅色實線分別是Loam_Horizon、VINS和Camvox SLAM幀下的軌跡。（a） （b）（c）1:2000圖1。CamVox性能示例。（a） 機器人從CamVox的軌跡；（b）來自CamVox的密集RGBD地圖；（c）放大和旋轉的部分（b）顯示高質量的點云

主要內容

該CamVox方案是基于ORB-SLAM2（RGBD模型），采用單獨的RGBD輸入預處理和非受控場景下的自動標定方法。該框架利用激光雷達輔助的視覺關鍵幀來生成局部構圖，并且由于在不同級別的捆集調整（BA）和ORBSLAM2的回環閉合進行了后端輕量級位姿圖優化，因此具有很高的魯棒性。在原始ORB-SLAM2中，關鍵點分為近點和遠點兩類，其中近點是深度上具有高度確定性的點，可用于縮放、平移和旋轉估計，而遠點僅用于旋轉估計，因此信息量較少。與傳統的激光測距儀相比，激光測距儀可以獲得更精確的距離。因此，相機（用于大范圍探測和跟蹤的高角度分辨率）和激光雷達（遠距離和精確深度測量）的優點可以以緊密耦合的方式加以利用。

（a） 機器人平臺。CamVox硬件安裝在這個機器人的頂部。另外還安裝了一個RGBD攝像機用于比較。（b） CamVox硬件特寫，包括攝像機、Livox Horizon和IMU。附加GPS/RTK用于地面真值估計。（c-d）從激光雷達點云獲取的RGB圖像和深度圖像的示例。

CamVox SLAM流程。除了ORB-SLAM2主線程外，還使用RGBD輸入預處理線程將lidar和相機數據轉換為RGBD格式，并可自動/手動觸發自動校準線程以進行相機和激光雷達外參校準。

預處理

預處理線程從激光雷達中提取原始點，經慣性測量單元（IMU）進行校正，并根據攝像機的外參標定將其投影到深度圖像中。

用IMU校正運動失真的例子。（a） 角落場景的RGB圖像；（b） 機器人移動時掃描時的原始點云；（c） 對IMU數據處理后的點云進行畸變校正。

（a） RGB攝像機，（b） Realsense D435和（c） CamVox RGBD輸出。藍色矩形顯示了椰子樹葉在這三張圖片中的位置。很明顯，典型的RGBD相機在探測距離和抗太陽光噪聲方面比CamVox RGBD差得多

自校準

由于激光雷達的遠程測距能力，校準精度在CamVox中至關重要。一個小的角度失配可能導致大深度的絕對偏差。控制校準目標（如棋盤）在現場并不總是可用的，需要在不受控制的場景中開發一種自動校準方法，并在發現更好的校準匹配時更新參數。由于Livox激光雷達的非重復性，只要我們能夠積累幾秒鐘的掃描點，深度圖像的分辨率就可以和相機圖像一樣高，并且與相機圖像的對應關系變得很容易找到。因此，我們能夠在幾乎所有的野外場景中根據場景信息自動進行標定。當檢測到機器人處于靜止狀態時，設置自動校準觸發，以消除運動模糊。

利用反射率和深度值，通過初始外部參數將密集點云投影到成像平面上，然后進行輪廓提取以與攝像機圖像輪廓進行比較。cost函數由改進的ICP算法構造，并可通過Ceres進行優化，以獲得相對更精確的外部校準參數。

校準流程實例。相機和激光雷達采集的數據（保持靜止并積累數秒）通過初始校準參數進行處理，形成三幅圖像（灰度、反射率和深度，后兩幅來自激光雷達）。對從這些圖像檢測到的邊緣進行校準，直到獲得滿意的參數。

●?實驗

在校準后RGB相機和點云疊加的示例 。（a） 未校準。（b） 自動校準。（c） 最好的手動校準。自動校準算法在各種場景，（d）有天然樹木和草地的室外道路，（e）室外人工結構，（f）室內的部分結構

CamVox、兩種主流SLAM框架和ground truth的軌跡比較如下圖：

關鍵點閾值的評估。（a-d）通過選擇不同的關鍵點閾值來重建點云地圖。（e） 匹配點的數目作為幀序列的函數（10幀/秒）。（f） 匹配點的數目作為關鍵點閾值的函數，在SLAM過程的開始（第5幀）評估。

? livox horizon loam,、VINS mono和CamVox的軌跡

不同方案的絕對位姿誤差對比

不同方案在同一硬件平臺上的耗時對比

●?總結

綜上所述，我們提出CamVox作為一種新的低成本lidar輔助視覺SLAM框架，旨在將兩者的優點結合起來，即相機的最佳角度分辨率和激光雷達的最佳深度和距離。利用Livox激光雷達獨特的工作原理，開發了一種能夠在非受控場景下進行自動標定的算法。在自動標定精度、關鍵點分類深度閾值和軌跡比較等方面對新框架進行了評估，并且它還可以在機載計算機上實時運行。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作：微信“920177957”（需要按要求備注）聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的CamVox：一种低成本、高精度的激光雷达辅助视觉SLAM系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。