點云PCL免費知識星球，點云論文速讀。

標題：Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

作者：Victor Amblard, Timothy P. Osedach, Arnaud Croux, Andrew Speck and John J. Leonard4

代碼開源：https://github.com/hku-mars/livox_camera_calib.git

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。文章僅做學(xué)術(shù)分享，如有侵權(quán)聯(lián)系刪文。未經(jīng)博主同意請勿擅自轉(zhuǎn)載。

摘要

在缺乏魯棒的視覺特征的環(huán)境中，運動結(jié)構(gòu)（SfM）通常無法估計準確的姿勢，在這種情況下，最終3D網(wǎng)格的質(zhì)量會降低，克服這個問題的，一種方法是將單目相機的數(shù)據(jù)與激光雷達的數(shù)據(jù)結(jié)合起來。這種聯(lián)合傳感器的方法可以捕捉環(huán)境中精細的細節(jié)和紋理，同時仍能準確地表示無特征的對象，然而，由于這兩種傳感器的特性根本不同，因此融合這兩種傳感器模式是非常具有挑戰(zhàn)性。

與直接融合圖像特征和激光雷達點不同，我們提出的方案是利用激光雷達掃描的點云和圖像數(shù)據(jù)中檢測到的常見幾何特征，允許在更高級別的空間中處理來自兩個傳感器的數(shù)據(jù)，特別是，在執(zhí)行捆集調(diào)整以優(yōu)化姿勢之前，找到從激光雷達點云中提取的三維線段與圖像中檢測到的二維線之間的對應(yīng)關(guān)系。我們利用檢測到的和優(yōu)化的線段來提高最終重建網(wǎng)格的質(zhì)量，在最近發(fā)布的數(shù)據(jù)集上測試我們的方法，并將3D重建網(wǎng)格的精度和完整性與測量級3D掃描儀獲得的真值進行比較。結(jié)果表明，該方法提供的結(jié)果與最先進的激光雷達掃描儀相當，同時不需要高度精確的姿態(tài)估計。

圖1：提出的方法是基于點線特征，將激光雷達點云和單目圖像緊密耦合，以重建3D場景

主要貢獻

建筑物或室外環(huán)境等大型場景的密集重建對于各種應(yīng)用越來越具有吸引力，勘測級3D激光雷達系統(tǒng)能夠?qū)Νh(huán)境進行非常精確的重建，但價格昂貴，而且需要花費大量時間才能全面覆蓋大面積區(qū)域。另一方面，僅從單目圖像重建3D場景帶來了一系列不同的挑戰(zhàn)。首先，為了準確地恢復(fù)姿勢，必須收集大量具有明顯重疊的圖像，此外，場景必須具有良好的照明和足夠豐富的視覺特征，最后，重建的場景可能沒有絕對尺度和比例。

最近，研究者們開始探索將相機圖像和激光雷達掃描進行三維重建的融合，在這種方法中，相機圖像捕獲紋理、顏色和精細細節(jié)，使用LIDAR捕獲完全獨立于視覺復(fù)雜性的精確距離信息（盡管分辨率較低），這使得它能夠填補視覺特征檢測失敗的空白，事實上，這些傳感器的不同性質(zhì)使它們具有互補性，但也使它們的聯(lián)合使用變得復(fù)雜。

語義或幾何方法的目標是在更高級別的空間中處理來自這兩種不同傳感器模式的數(shù)據(jù)，利用環(huán)境的結(jié)構(gòu)降低不同源數(shù)據(jù)集的差異帶來的復(fù)雜性。該工作重點放在線段上，因為它們是非常簡單的幾何特征，計算成本低廉，并且在結(jié)構(gòu)化環(huán)境中很容易檢測，然而，由于單目圖像中的深度模糊性，在不同圖像中查找二維直線之間的對應(yīng)關(guān)系是一項困難的任務(wù)，實際上，兩個端點位于同一對極線上的線段將在圖像中的有著相同的重投影位置，即使它們的3D坐標顯著不同，因此，這里選擇了一種3D線段表示法，它結(jié)合了距離傳感器（即激光雷達）的數(shù)據(jù)以及單目圖像的數(shù)據(jù)，然后利用這些對應(yīng)關(guān)系推導(dǎo)出捆集調(diào)整的代價函數(shù)，即估計值，優(yōu)化的線段來配準激光雷達點云，隨后被合并到激光雷達和相機多視圖幾何（MVS）流程中。

圖2概述了我們的工作流程。本文的主要貢獻如下：

• 提出了一種基于運動算法的端到端結(jié)構(gòu)，該算法利用激光雷達/攝像機聯(lián)合觀測，導(dǎo)出用于定位和重建的三維線段。

• 通過在公共數(shù)據(jù)集上進行測試來驗證我們的方法，然后進行優(yōu)化以提高初始位姿的精度。

? 圖2：激光雷達和相機聯(lián)合重建流程概述

主要內(nèi)容

如圖2所示，我們的方案中包括兩個主要模塊。第一個是激光雷達增強的運動恢復(fù)結(jié)構(gòu)模塊，該模塊處理來自激光雷達和相機檢測到的3D線段，并提取和合并不同視圖中的三維線段，然后使用對應(yīng)線的搜索功能，可以創(chuàng)建線簇，并剔除一些錯誤的匹配線，對新代價函數(shù)的優(yōu)化產(chǎn)生新的姿態(tài)估計。第二模塊是利用新的位姿估計3D線段，基于圖像和激光雷達掃描點云的組合信息重建曲面網(wǎng)格。

A?線段檢測

線段檢測模塊旨在提取攝像機和激光雷達觀察到的3D線段，這里首先確定圖像中潛在的二維線段，這將構(gòu)成導(dǎo)出后續(xù)三維線段的基礎(chǔ)，這里使用線段檢測器（LSD），一種廣泛使用的基于區(qū)域精確檢測線段的方法。然后，我們用激光雷達的點云信息增強2D信息，從而能夠在3D點云中精確定位線段，將正確的激光雷達點與檢測到的二維線段相關(guān)聯(lián)，這對于我們算法的性能至關(guān)重要。

線段檢測模塊旨在提取攝像機和激光雷達觀察到的3D線段，這里首先確定圖像中潛在的二維線段，這將構(gòu)成導(dǎo)出后續(xù)三維線段的基礎(chǔ)，這里使用線段檢測器（LSD），一種廣泛使用的基于區(qū)域精確檢測線段的方法。然后，我們用激光雷達的點云信息增強2D信息，從而能夠在3D點云中精確定位線段，將正確的激光雷達點與檢測到的二維線段相關(guān)聯(lián)，這對于我們算法的性能至關(guān)重要。

由于激光雷達掃描點云信息無法提供任何紋理信息，我們丟棄與平面對應(yīng)的線（即僅與紋理變化對應(yīng)），而是將激光雷達和相機關(guān)聯(lián)聚焦在邊緣線部分（即與局部曲面法向量變化對應(yīng)的線）。因此，除了二維線段外，我們還根據(jù)平滑度分數(shù)從激光雷達點云中中檢索邊緣點，然后根據(jù)其像素距離將生成的邊緣點與2D線段進行匹配。通過環(huán)境的結(jié)構(gòu)信息每個2D線段現(xiàn)在關(guān)聯(lián)了一組激光雷達邊緣點，我們知道選定的激光雷達點云對應(yīng)于一條3D線段。然而，這些點對應(yīng)的具體線可能仍然不明確，為了解決這些對應(yīng)線的問題并確保這些邊緣點對應(yīng)于與檢測到的2D段匹配的同一條線，我們在邊緣點集上運行RANSAC，只保留內(nèi)聯(lián)線，然后將重投影的3D線與LSD輸出的2D段進行比較，最后，為了避免圖像中同一實際線段的多個實例，我們還融合了方向相似且位于同一線上的3D線段。該程序如圖3所示

圖3：攝像機和激光雷達3D線段檢測和對應(yīng)關(guān)系融合流程概述

B.3D線段的對應(yīng)關(guān)系

一旦在圖像集中檢測到3D線段，我們將通過3D線段的對應(yīng)關(guān)系尋找表示同一實際線段不同視圖的線段，假設(shè)在第i個圖像中檢測到的3D片段L，首先使用當前線段的3D信息在所有圖像上重投影當前線段，并且只保留線段可見的視圖。然后迭代在這些視圖中檢測到的線段集，并計算相似性分數(shù)，如下所述。

算法1提供了匹配代碼的詳細過程，相似度得分s標準：

? 重投影的3D線段之間的角度；

? 投影線段端點之間的像素距離；

? 定義為向量范數(shù)的“正交距離”應(yīng)垂直于3D線段方向投影；

? 除了上述三個標準外，我們還使用線段描述子（LBD），它提供了關(guān)于線條局部外觀的附加信息。這四個分量中的每一個都由四個超參數(shù)加權(quán)，算法1描述了計算單個線段的匹配集的過程。

我們對所有線段重復(fù)該過程，最終在線段之間產(chǎn)生一組成對關(guān)聯(lián)。但是，在不同視圖中，其中一些關(guān)聯(lián)可能不一致，其中來自同一視圖的兩條直線段在視覺上表示不同的實際線段，可以在數(shù)據(jù)關(guān)聯(lián)圖中連接。為了確保在上一步中計算的成對關(guān)聯(lián)的一致性，并減少潛在的虛假數(shù)據(jù)關(guān)聯(lián)，我們使用CLEAR算法。如以下所述，進一步優(yōu)化線段。該過程如圖4所示：

圖4：按照前面描述的匹配過程進行成對關(guān)聯(lián)（邊），紅色表示由CLEAR過濾掉的不一致關(guān)聯(lián)數(shù)據(jù)。

C.線的捆集調(diào)整

在有限的線段上進行優(yōu)化通常是非常重要的，以下詳細說明了成本函數(shù)中涉及的不同代價函數(shù)，我們試圖將其最小化。

1）?相機觀測值：我們將3D特征點重投影誤差定義為其觀測值的總和，即其重投影到圖像平面上與該圖像的相關(guān)觀測值之間的像素距離：

2）線段重投影：線段重投影誤差定義為其所有觀測值的總和，即第i幅圖像上線段的觀測值與重投影值之間的距離。

優(yōu)化的三維特征位置和優(yōu)化的直線方程，使用庫Ceres庫使用Levenberg-Marquart算法計算，在優(yōu)化過程中，采用直線的正交表示法。

圖6：每個圓表示從激光雷達點云中檢測到的邊緣點，使用線段檢測器檢測線，顏色表示二維線段和邊點之間的關(guān)聯(lián)，灰色表示未關(guān)聯(lián)的邊和線。

D.激光雷達增強的多視角圖

最后進一步利用檢測到的線段以及激光雷達點云和相機圖像，通常，MVS流程包括三個步驟：深度圖計算、深度圖融合和網(wǎng)格重建。利用上一步線特征優(yōu)化計算的姿態(tài)，將所有激光雷達點云配準到一個單點云上，并使用體素網(wǎng)格對其進行下采樣，然后跟蹤聚集在同一體素中的激光雷達點云的數(shù)量，該度量表示后續(xù)步驟中每個體素的可見性和相對重要性的度量，深度圖計算主要依靠激光雷達點云來初始化深度圖，然而，我們稍微修改了他們的方法，以減少潛在的遮擋問題。同時我們檢查像素深度與鄰域中平均深度的一致性，只有當深度與局部平均值一致時，我們才保留激光雷達測量值，在計算深度貼圖后，我們將其融合，最后一步是根據(jù)融合的深度圖和配準的激光雷達點云生成曲面網(wǎng)格。

實驗

我們在從數(shù)據(jù)集中提取的兩個數(shù)據(jù)集上測試了該方法，每個序列包含大約60幅圖像，提供相機的內(nèi)參以及相機和激光雷達之間的外參，圖5顯示了攝像機在序列中的位置以及數(shù)據(jù)集的三維視圖，通過添加隨機平移噪聲和旋轉(zhuǎn)噪聲來生成有噪聲的初始姿態(tài)估計。

圖5：真值軌跡，第一個序列顯示為綠色，第二個序列顯示為橙色。

表I中的結(jié)果表明，對于所測試的兩個序列，使用線和可視點聯(lián)合產(chǎn)生的結(jié)果略好于SfM方法，此改進歸因于線段相對于點特征提供的更大穩(wěn)定性。

圖7顯示了通過不同方法獲得的最終重建網(wǎng)格的圖示

圖7：序列2上不同方法獲得的表面重建的網(wǎng)格。顏色表示網(wǎng)格到真實點云的距離，從藍色（接近0）到紅色（超過0:5m）

總結(jié)

本文提出了一種新的基于三維線段的激光雷達和基于相機的表面重建方案：具有幾何語義結(jié)構(gòu)信息，計算成本低，輕量化，并嵌入來自兩個傳感器的信息，從復(fù)雜的環(huán)境中進行的姿勢估計和線段估計，利用最先進的數(shù)據(jù)關(guān)聯(lián)算法，能夠優(yōu)化的線段和姿勢來實現(xiàn)改進的多視圖重建方案。從相機和精度較低的激光雷達點云合成精確的視覺特征，線段提供的剛性結(jié)構(gòu)信息能夠?qū)崿F(xiàn)比純相機方法更高質(zhì)量的表面重建，并與依賴于高精度姿態(tài)估計的純激光雷達三維重建具有相當?shù)男阅堋?/p>

這項工作的一個關(guān)鍵假設(shè)是環(huán)境是結(jié)構(gòu)化的，這一要求適用于城市環(huán)境，未來的工作可能會探索其他原始結(jié)構(gòu)信息，這些幾何信息可以與線段一起使用，以提高性能并降低對高度結(jié)構(gòu)化環(huán)境的依賴性。

資源

三維點云論文及相關(guān)應(yīng)用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學(xué)習2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現(xiàn)點云可視化GUI

JSNet：3D點云的聯(lián)合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學(xué)習歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：

如果你對本文感興趣，請后臺發(fā)送“知識星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的基于线段的激光雷达和单目联合曲面重建​的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。