文章：Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways

作者：Weikai Tan1 , Nannan Qin1,2, Lingfei Ma1 , Ying Li1 , Jing Du3 , Guorong Cai3 , Ke Yang4 , Jonathan Li1,4* 1Department of Geography and Environmental Management

代碼：https://github.com/WeikaiTan/Toronto-3D

編譯：點云PCL

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。內(nèi)容如有錯誤歡迎評論留言，未經(jīng)允許請勿轉(zhuǎn)載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關(guān)的文章與技術(shù)，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯(lián)系微信：920177957。本文來自點云PCL博主的分享，未經(jīng)作者允許請勿轉(zhuǎn)載，歡迎各位同學(xué)積極分享和交流。

摘要

大規(guī)模室外點云的語義分割對于城市場景理解具有重要意義，尤其是在自動駕駛和城市高精地圖中。隨著移動激光掃描（MLS）系統(tǒng)的快速發(fā)展，大量的點云可以用于場景理解，但是對于開發(fā)基于深度學(xué)習(xí)的方法來說，公開的大規(guī)模標(biāo)記數(shù)據(jù)集仍然是有限的。本文介紹了加拿大多倫多MLS系統(tǒng)獲取的用于語義分割的大型城市室外點云數(shù)據(jù)集Toronto-3D。這個數(shù)據(jù)集覆蓋了大約1公里的點云，由大約7830萬個點和8個標(biāo)記的對象類組成。實驗結(jié)果表明，該數(shù)據(jù)集能夠有效地訓(xùn)練深度學(xué)習(xí)模型。Toronto-3D發(fā)布是為了鼓勵新的研究，標(biāo)簽將根據(jù)研究社區(qū)的反饋進行改進和更新。

主要貢獻

本文介紹了一個由MLS系統(tǒng)采集的大型城市室外點云數(shù)據(jù)集Toronto-3D。這個數(shù)據(jù)集覆蓋了1公里的街道，由大約7830萬個點組成。該數(shù)據(jù)集的一個樣本如圖1所示。

本文的主要貢獻是：

?提出了一個大規(guī)模的按點云標(biāo)注的城市室外點云數(shù)據(jù)集用于語義分割，

?研究了一個用于點云語義分割的集成網(wǎng)絡(luò)，

?對提出的數(shù)據(jù)集上應(yīng)用最先進的深度學(xué)習(xí)語義分割方法進行廣泛比較。

圖1.數(shù)據(jù)集的一部分。頂部：具有自然顏色（RGB）的數(shù)據(jù)集。底部：類標(biāo)簽

表1顯示了綜合指標(biāo)與之前的數(shù)據(jù)集的對比結(jié)果

主要內(nèi)容

Toronto-3D

該數(shù)據(jù)集中的點云是通過車載MLS系統(tǒng)Teledyne Optech Maverick2獲得的。該系統(tǒng)由32線激光雷達傳感器、ladybug5全景相機、GNSS系統(tǒng)和同步定位與建圖（SLAM）系統(tǒng)組成。該激光雷達傳感器可以捕捉點云在高達700000點每秒在垂直視野覆蓋-10? 至+30? , 精度優(yōu)于3厘米。利用LMS-Pro3軟件對采集到的點云進行進一步處理。該數(shù)據(jù)集收集于加拿大多倫多的Avenue Road，覆蓋約1km路段，約7830萬個點。該數(shù)據(jù)集分為四個部分，每個部分覆蓋的范圍約為250米。圖2中示出了每個部分的近似邊界的概述。

圖2.數(shù)據(jù)集概述。上圖：數(shù)據(jù)集中每個部分的大致邊界（來自Google地圖的衛(wèi)星圖像）。底部：標(biāo)簽概述（每個類有不同的顏色）。

與以前的數(shù)據(jù)集類似，定義了對象類標(biāo)簽具體如下：
?道路（標(biāo)簽1）：鋪砌路面，包括人行道、路緣、停車場
?道路標(biāo)記（標(biāo)簽2）：路面標(biāo)記，包括行駛路線、箭頭、人行橫道
?天然樹木（標(biāo)簽3）：樹木、灌木，不包括草還有裸露的土壤
?建筑物（標(biāo)簽4）：低層和多層的任何部分建筑物、店面
?公用線路（標(biāo)簽5）：電力線、電信
?電線桿（標(biāo)簽6）：電線桿、交通標(biāo)志、燈柱
?汽車（標(biāo)簽7）：在道路上行駛的汽車和停放的汽車側(cè)面和停車場
?圍欄（標(biāo)簽8）：垂直屏障，包括木制建筑工地的圍墻
?未分類（標(biāo)簽0）

在該數(shù)據(jù)集中各個標(biāo)簽的統(tǒng)計如表2

使用Toronto-3D的語義分割方法的結(jié)果如表3所示。

KPFCNN和MS TGNet語義分割結(jié)果的直觀比較如圖4所示。

圖4.語義分割結(jié)果的視覺比較

總結(jié)

本文介紹了一個由MLS系統(tǒng)采集的大型城市室外點云數(shù)據(jù)集Toronto-3D。數(shù)據(jù)集覆蓋了加拿大多倫多約1公里的道路，超過7800萬個點。所有點云數(shù)據(jù)都保留在數(shù)據(jù)收集范圍內(nèi)，以類似于實際應(yīng)用場景。該數(shù)據(jù)集被手動標(biāo)記為8個類別，包括道路、道路標(biāo)記、自然樹木、建筑、公用線路、電線桿、汽車和圍欄。五個最先進的端到端點云語義分割算法和一個名為MS-TGNet的網(wǎng)絡(luò)被測試為這個數(shù)據(jù)集的基準(zhǔn)。所提出的MS-TGNet能夠產(chǎn)生與最新方法相比較的性能，在新的數(shù)據(jù)集中實現(xiàn)最高的mIoU（60.96%）和有競爭力的OA（91.69%）。Toronto-3D數(shù)據(jù)集提供了新的類標(biāo)簽，包括道路標(biāo)線、公用事業(yè)線和圍欄，所有測試過的語義分割方法都需要改進道路標(biāo)線和圍欄。展示這個新的點云數(shù)據(jù)集的目的是鼓勵開發(fā)創(chuàng)造性的深度學(xué)習(xí)模型。這個新數(shù)據(jù)集的標(biāo)簽將根據(jù)研究界的反饋加以改進和更新。

?

資源

三維點云論文及相關(guān)應(yīng)用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標(biāo)檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學(xué)習(xí)2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現(xiàn)點云可視化GUI

JSNet：3D點云的聯(lián)合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標(biāo)記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術(shù)

第二期B站錄播之深度學(xué)習(xí)在3D場景中的應(yīng)用

第三期B站錄播之CMake進階學(xué)習(xí)

第四期B站錄播之點云物體及六自由度姿態(tài)估計

第五期B站錄播之點云深度學(xué)習(xí)語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準(zhǔn)概述及其在激光SLAM中的應(yīng)用

[線上分享錄播]cloudcompare插件開發(fā)

[線上分享錄播]基于點云數(shù)據(jù)的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術(shù)及機器人視覺分享

[線上分享錄播]地面點云配準(zhǔn)與機載點云航帶平差

如果你對本文感興趣，請后臺發(fā)送“知識星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的Toronto-3D：用于城市道路语义分割的大规模移动激光雷达数据集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。