0.前言

本文主要介紹目前3D目標檢測的一些比較重要的數據集合在github上比較好用的3D目標檢測項目。包含了最火最熱的KITTI到當前研究前沿的多模態，時序融合等的新數據集。分類方法如下，首先按照場景可以將數據集劃分為室內和室外數據集。然后分別介紹目前3D目標檢測室內和室外的一些常用數據集；然后介紹一些做研究容易上手的項目，并做一些簡單的異同總結。

1.數據集

1.1室內數據集

室內3D目標檢測的研究算是一項比較新的研究任務。目前的數據集主要有 ScanNetV2和SUN RGB-D。

1.1.1 ScanNetV2

官方網址：http://www.scan-net.org/
論文鏈接：https://arxiv.org/abs/1702.04405
Benchmark: http://kaldir.vc.in.tum.de/scannet_benchmark/
ScanNetV2是由斯坦福大學，普林斯頓大學和慕尼黑工大在CVPR18SH提出的室內場景數據集。ScanNet是一個RGB-D視頻數據集，可做語義分割和目標檢測任務一共1513個采集場景數據（每個場景中點云數量都不一樣，如果要用到端到端，可能需要采樣（FPS采樣），使每一個場景的點都相同），共21個類別的對象，其中，1201個場景用于訓練，312個場景用于測試。數據集包含2D和3D數據，2D數據包括每一個場景下的N個幀（為了避免幀之間的重疊信息，一般取的時候隔50取一幀）2D標簽和實例數據提供為.png圖像文件。彩色圖像以8位RGB的形式提供.jpg文件，深度圖片為16位 .png文件。每一幀包含的信息為color，depth，instance-label，label，and corresponding pose。3D數據則是一系列ply文件。

1.1.2 SUN RGB-D

官方網址：http://rgbd.cs.princeton.edu/
論文鏈接：http://rgbd.cs.princeton.edu/paper.pdf
由普林斯頓大學提出的室內數據集，可分割和檢測任務。該數據集包含10335個rgb-d圖像，其規模與pascal voc相似。整個數據集都有密集的注釋，包括146617個二維多邊形注釋和64595個具有精確對象方向的三維邊界框，以及每個圖像的三維房間布局和場景類別。該數據集是NYU depth v2 , Berkeley B3DO , and SUN3D ，三個數據集的并集。

1.2室外數據集

1.2.1 KITTI

3D目標檢測官網鏈接：http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d
論文鏈接：http://www.cvlibs.net/publications/Geiger2012CVPR.pdf
KITTI數據集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。該數據集用于評測立體圖像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的性能。KITTI包含市區、鄉村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。整個數據集由389對立體圖像和光流圖，39.2 km視覺測距序列以及超過200k 3D標注物體的圖像組成 ，以10Hz的頻率采樣及同步?？傮w上看，原始數據集被分類為’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。對于3D物體檢測，label細分為car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc組成。

1.2.2 Nuscence

官網鏈接：https://www.nuscenes.org/object-detection?externalData=all&mapData=all&modalities=Any
論文鏈接：https://arxiv.org/abs/1903.11027

Nuscence數據集由1000個場景組成，每個scenes長度為20秒，包含了各種各樣的情景。在每一個scenes中，有40個關鍵幀（key frames），也就是每秒鐘有2個關鍵幀，其他的幀為sweeps。關鍵幀經過手工的標注，每一幀中都有了若干個annotation，標注的形式為bounding box。不僅標注了大小、范圍、還有類別、可見程度等等。這個數據集不久前發布了一個teaser版本（包含100個scenes），正式版（1000個scenes）于2019年發布。2020年會發布第二個版本。

1.2.3 Waymo

官網鏈接：https://waymo.com/open
官網下載地址：https://waymo.com/open/download/
官方數據格式解析：https://waymo.com/open/data/
代碼地址：https://gitee.com/cmfighting/waymo_read
谷歌母公司Alphabet旗下的自動駕駛公司Waymo于2019年8月21日在其博客公布了數據開放項目（Waymo Open Dataset），該項目和前面的學術benchmark相比，是帶有獎金的benchmark。就數據而言，waymo包含3000段駕駛記錄、時長共16.7小時、平均每段長度約為20秒；60萬幀、共有大約2500萬3D邊界框、2200萬2D邊界框，以及多樣化的自動駕駛場景。

1.2.4 PandaSet

官網鏈接：https://scale.com/open-datasets/pandaset
該自動駕駛數據集的采集場景是舊金山。一共含有48,000個相機圖像，16,000次LiDAR掃描，100+個場景，每個場景8秒，總共含有28個注釋類和37個語義細分標簽。是一個融合工業界和學術界的自動駕駛場景目標檢測數據集。

1.2.5 Oxford Robotcar

官網鏈接：https://robotcar-dataset.robots.ox.ac.uk/
文章鏈接：https://robotcar-dataset.robots.ox.ac.uk/images/robotcar_ijrr.pdf
該數據集由牛津大學機器人實驗室提出，其雷達是Navtech CTS350-X毫米波調頻連續波（FMCW）掃描雷達，在使用的配置中，它提供了4.38厘米的范圍分辨率和0.9度的旋轉分辨率，最大范圍達163 m。

1.2.6 A*3D

官網鏈接：https://github.com/I2RDL2/ASTAR-3D#Dataset
數據集下載地址：https://github.com/I2RDL2/ASTAR-3D#Download
該數據集目前還在更新，在論文的中對比的對象為KITTI數據集，一共包含230K人工標記的3D對象的注釋在39179個激光雷達點云幀和對應面對的正面-RGB圖像。該數據集在新加坡采集得到。文章中通過實驗表示在A*3D數據集上訓練后的模型在KITTI上具有一個比較好的表現，尤其是對moderate和hard類別。

1.2.7 SemanticKITTI

官網鏈接：http://semantic-kitti.org/
論文鏈接：https://arxiv.org/abs/1904.01416
benchmark: https://competitions.codalab.org/competitions/24025#learn_the_details-overview
該數據集不是一個用于3D目標檢測的數據集，而是一個自動駕駛場景中語義分割的數據集。該數據集是一個大型數據集，為KITTI Vision Benchmark的LiDAR數據提供逐點label。它基于里程計任務數據，并提供28類的標注信息。

1.2.8 Lyft Level 5

官方網址：https://level5.lyft.com/dataset/?source=post_page
該數據集目前也是經常在論文中讀到過的數據集，和KITTI數據集一樣采用64線雷達和多個攝像頭采集數據得到。數據集包括高清語義圖，該地圖具有4,000多個手動注釋的語義元素，包括車道段，人行橫道，停車標志，停車區，減速帶和減速帶等。

1.2.9 H3D

數據集官網鏈接：https://usa.honda-ri.com/H3D
文章鏈接：https://arxiv.org/pdf/1903.01568
由本田公司提供的用于自動駕駛場景的點云目標檢測數據集，該數據集是從HDD數據集收集的，HDD數據集是在舊金山灣區收集的大規模自然駕駛數據集。H3D擁有完整的360度LiDAR數據集（來自Velodyne-64的密集點云），1071302 個3D邊界框標簽。該數據集也是包含時序信息的。每2HZ手動注釋一次并線性傳播10HZ。

1.2.10 BLVD

數據集連接：https://github.com/VCCIV/BLVD
文章鏈接：https://arxiv.org/pdf/1903.06405
該數據集主要側重點在其數據集關注點在車輛自我周圍物體的有意義的動態變化，因此引入了這么一個數據集BLVD，這是一個大規模的5D語義基準，它沒有集中于之前已經充分解決的靜態檢測或語義/實例分割任務。取而代之的是，BLVD旨在為動態4D（3D +時間）跟蹤，5D（4D +交互式）交互式事件識別和意圖預測的任務提供一個平臺。BLVD數據集包含654個高分辨率視頻剪輯，這些剪輯來自中國江蘇省常熟市，提取了120k幀。官方完全注釋了所有幀，并總共產生了249129個3D標注，以進行跟蹤和檢測任務。

1.2.11? PreSIL

官方鏈接：https://uwaterloo.ca/waterloo-intelligent-systems-engineering-lab/projects/precise-synthetic-image-and-lidar-presil-dataset-autonomous
文章鏈接：https://arxiv.org/abs/1905.00160
該自動駕駛數據集由滑鐵盧大學提供和分享，PreSIL數據集包含50,000多個實例，包括具有完整分辨率深度信息的高清圖像，語義分割（圖像），逐點分割（點云），gt標簽（點云）以及所有車輛和行人的詳細標注。官方通過在對最先進的3D對象檢測網絡進行數據預訓練后，在KITTI 3D對象檢測基準測試中顯示出高達5％的平均精度提高，從而證明了數據集的有效性。該數據集尚未公布。

1.2.12 WAD

官網鏈接：http://wad.ai/2019/challenge.html
該數據集由百度公司提供。該數據集的3D Lidar對象檢測和跟蹤數據集由具有高質量label標注的LiDAR掃描點云組成。它是在中國北京各種照明條件和交通密度下收集的。更具體地說，它包含了非常復雜的交通流，其中混雜著車輛，騎自行車的人和行人。數據集包含了大約53分鐘的訓練序列和50分鐘的測試序列組成。以每秒10幀的速度捕獲數據，并以每秒2幀標注數據。

百度 apolloscape各種任務? 連接對應有各種不同的任務包括目標檢測、車道線提取、軌跡追蹤等.

1.2.13 PASCAL3D+

官網鏈接：https://cvgl.stanford.edu/projects/pascal3d.html
該數據集是對PASCAL數據的一個3D模型重建，更像是一個分類和POS檢測數據集。

1.2.14 The Stanford Track Collection

官方鏈接：https://cs.stanford.edu/people/teichman/stc/
數據量比較少。發布時間也很早（2011）。

1.2.15 IQmulus & TerraMobilita Contest

官網鏈接：http://data.ign.fr/benchmarks/UrbanAnalysis/#
該數據集是一個非常的dense的室外數據集。包括分割和檢測多項任務，更偏向于語義分割任務，采用移動激光（MLS）在巴黎掃描出超過100個場景。該數據集更多的是為激發來自不同領域（例如計算機視覺，計算機圖形學，地理信息學和遙感）的研究人員，共同致力于處理3D數據，對3D MLS數據進行基準劃分和分類為目標。

1.2.16?Toronto-3D

Toronto-3D Dataset | Papers With Code

加拿大多倫多MLS系統獲取的用于語義分割的大型城市戶外點云數據集Toronto- 3d。該數據集覆蓋了大約1公里的點云，由大約7830萬個點和8個標記的對象類組成。進行了語義分割的基線實驗，結果驗證了該數據集具備有效的訓練深度學習模型的能力。Toronto-3D的發布是為了鼓勵新的研究，歡迎在社區進行反饋，用以改進和更新數據標簽。

? ? ? ?

2.項目

這里主要介紹3D點云目標檢測的幾個重要項目，都是目前比較流行的codebase，如下。

2.1 second.pytorch

項目鏈接：https://github.com/traveller59/second.pytorch
主要優點：
（1）包含了kitti和nuscence兩個點云3D目標檢測數據集的實現
（2）含有Kitti_viewer網頁版可視化工具
（3）實現了second,voxelnet,pointpillars三種點云目標檢測算法。
缺點：
應該是該領域的先行者，具有一定的閱讀難度，不支持多模態。

2.2 Det3D

項目鏈接：https://github.com/poodarchu/Det3D
主要優點：
（1）代碼在second.pytorch重構后顯得清晰易讀
（2）包含多個數據集的實現，包括KITTI,Nuscence,lyft三個數據集，waymo在進行中
（3）目前實現的算法包括voxelnet,sencod,pointpillars和CBGS（second_multihead）
（4）apex訓練加速
缺點：
不支持多模態和可視化，較長時間未更新。

2.3 OpenPCDet

項目鏈接：https://github.com/open-mmlab/OpenPCDet
優點：
（1）集成了nusecne,kitti數據集，waymo在進行中
（2）包含算法有pointRCNN,PartA2,voxelnet,PointPillar,SECOND,PV-RCNN，SECOND-MultiHead (CBGS)。
（3）更多的特征提取結構，包括了點和voxel兩個方面的特征提取器都有。
（4）具有可視化demo
（5）代碼風格清晰易讀
缺點：
無多模態

2.4 mmdetection3d

項目鏈接：https://github.com/open-mmlab/mmdetection3d
主要優點：
（1）支持多模態融合，二維網絡和三維網絡可結合。
（2）支持多種算法和模型，超過40多種算法，300多個模型，包括有VoteNet，PointPillars，SECOND，Part-A2。（不包含PVRCNN）
（3）更快的訓練速度，比前面介紹到的codebase都要更快。
（4）支持多種數據集，包括室內和室外數據集。

總結

以上是生活随笔為你收集整理的点云数据集开源大汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。