文章目錄

• 一、KITTI數據集簡介
• • 1.1 介紹
  • 1.2 下載
• 二、數據解析
• • 2.0 數據集結構
  • 2.1 ImageSets
  • 2.2 Testing & Training
  • • 2.2.1 calib
    • 2.2.2 image_2
    • 2.2.3 label_2
    • 2.2.4 planes
    • 2.2.5 velodyne
• 三、數據集的下載和組織
• 參考

一、KITTI數據集簡介

1.1 介紹

• 文章鏈接
  《Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite (2012)》

• 概述
  KITTI數據集是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數據集。該數據集用于評測立體圖像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的性能。
  KITTI包含市區、鄉村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。
  3D目標檢測數據集由7481個訓練圖像和7518個測試圖像以及相應的點云數據組成，包括總共80256個標記對象。
• 數據采集平臺

Kitti的數據采集車，頂上是一個64線的velodyne激光雷達，前面有四個攝像頭分別是cam0~3，其中0和1是灰度相機，2和3是rgb相機。激光雷達的坐標系遵循右手定則，而相機坐標系遵循左手定則，如圖所示。

為了生成雙目立體圖像，相同類型的攝像頭相距54cm安裝。由于彩色攝像機的分辨率和對比度不夠好，所以還使用了兩個立體灰度攝像機，它和彩色攝像機相距6cm安裝。

四個相機經過了嚴格的位置矯正，保證yz同值，x同軸，如果想進行lidar與camera的坐標系轉換，默認以cam0為基準，即如果是cam0轉到velodyne，就直接轉，如果是cam其他轉velodyne，則先要轉到cam0，再轉到velodyne，相機和激光的坐標轉換后續會詳細說明。

具體的傳感器參數如下：
2 × PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
4 × Edmund Optics lenses, 4mm, opening angle ～ 90?, vertical opening angle of region of interest (ROI) ～ 35?
1 × Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ～ 1.3 million points/second, field of view: 360? horizontal, 26.8? vertical, range: 120 m
1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1?

• 坐標系
  

為了方便傳感器數據標定，規定坐標系方向如下 ：

• camera: x = right, y = down, z = forward
• velodyne: x = forward, y = left, z = up
• GPS/IMU: x = forward, y = left, z = up

1.2 下載

• 數據集官網
  數據集官網下載地址
• 百度網盤下載鏈接
  鏈接：https://pan.baidu.com/s/1-4WchJlcZ2guwcfbHqrdFw
  提取碼：grys
  建議使用百度網盤的下載鏈接（因為文件特別大，而且官網的下載速度很慢。）

進入官網，下圖紅色框標記的為我們需要的數據：

• 彩色圖像數據（12GB）
• 點云數據（29GB）
• 相機矯正數據（16MB）
• 標簽數據（5MB）。

其中彩色圖像數據、點云數據、相機矯正數據均包含training（7481）和testing（7518）兩個部分，標簽數據只有training數據。

二、數據解析

2.0 數據集結構

按照官方給出的OpenPCDet中的KITTI數據集的組織方法，排布數據集

data │── kitti │??│── ImageSets │??│── testing │??│??├── calib & image_2 & velodyne │??│── training │??│??├── calib & image_2 & label_2 & planes & velodyne

• image_2 即2號彩色相機所拍攝的圖片（.png）；
• calib對應每一幀的外參（.txt）；
• label_2是每幀的標注信息（.txt）；
• velodyne是Velodyne64所得的點云文件（.bin）

2.1 ImageSets

數據集列表信息，一般包括如下3部分：

• train.txt：訓練集 列表信息
• test.txt：測試集 列表信息
• val.txt：驗證集 列表信息

2.2 Testing & Training

2.2.1 calib

calib文件是相機、雷達、慣導等傳感器的矯正數據。以“000001.txt”文件為例，內容如下：

P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00 P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00 P2: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 4.485728000000e+01 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.163791000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.745884000000e-03 P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03 R0_rect: 9.999239000000e-01 9.837760000000e-03 -7.445048000000e-03 -9.869795000000e-03 9.999421000000e-01 -4.278459000000e-03 7.402527000000e-03 4.351614000000e-03 9.999631000000e-01 Tr_velo_to_cam: 7.533745000000e-03 -9.999714000000e-01 -6.166020000000e-04 -4.069766000000e-03 1.480249000000e-02 7.280733000000e-04 -9.998902000000e-01 -7.631618000000e-02 9.998621000000e-01 7.523790000000e-03 1.480755000000e-02 -2.717806000000e-01 Tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01

• P0~P3 $P_{rect}^{(i)}$ ：矯正后的相機投影矩陣 $R^{3?4}$
  0、1、2、3 代表相機的編號，0表示左邊灰度相機，1右邊灰度相機，2左邊彩色相機，3右邊彩色相機。
  
  其中$b_x^{(i)}$表示相對于參考攝像機0的基準值（以米為單位）

• R0_rect $R_{rect}^{(i)}$ ：矯正后的相機旋轉矩陣$R^{3?3}$
  在實際計算時，需要將該3x3的矩陣擴展為4x4的矩陣，方法為在第四行和第四列添加全為0的向量，并且將（4， 4）的索引值設為1。

• Tr_velo_to_cam $(T_{velo}^{cam})$ :從雷達到相機0的旋轉平移矩陣 ($R^{3?4}$)
  在實際計算時，需要將該3x4的矩陣擴展為4x4的矩陣，方法為增加第四行向量[0,0,0,1]。這個矩陣其實包括了兩個部分，其一是3x3的旋轉矩陣，其二是1x3的平移向量。
  

• Tr_imu_to_velo $(T_{imu}^{velo})$ : 從慣導或GPS裝置到相機的旋轉平移矩陣 （$R^{3?4}$）
  如果要將激光雷達坐標系中的點x投影到左側的彩色圖像（P2）y中，可使用如下公式：
  
  若想將激光雷達坐標系中的點x投射到其他攝像頭，只需替換P2矩陣即可（例如右邊的彩色相機P3）。

1、將 Velodyne 坐標中的點 x 投影到左側的彩色圖像中 y，使用公式 y = P2 * R0_rect * Tr_velo_to_cam * x 2、將 Velodyne 坐標中的點 x 投影到右側的彩色圖像中 y，使用公式 y = P3 * R0_rect * Tr_velo_to_cam * x 3、將 Velodyne 坐標中的點 x 投影到編號為 0 的相機（參考相機）坐標系中，使用公式 R0_rect * Tr_velo_to_cam * x 4、將 Velodyne 坐標中的點 x 投影到編號為 0 的相機（參考相機）坐標系中，再投影到編號為 2 的相機（左彩色相機）的照片上，使用公式 P2 * R0_rect * Tr_velo_to_cam * x

2.2.2 image_2

image文件以8位PNG格式存儲，圖集如下:

2.2.3 label_2

label文件是KITTI中object的標簽和評估數據，以“000001.txt”文件為例，包含樣式如下：

Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56 Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57 Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55 DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10 DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10 DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10 DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10

? 每一行代表一個object，每一行都有16列分別表示不同的含義，具體如下：

• 第1列（字符串）：代表物體類別（type）
  總共有9類，分別是：Car、Van、Truck、Pedestrian、Person_sitting、Cyclist、Tram、Misc、DontCare。
  其中DontCare標簽表示該區域沒有被標注，比如由于目標物體距離激光雷達太遠。為了防止在評估過程中（主要是計算precision），將本來是目標物體但是因為某些原因而沒有標注的區域統計為假陽性(false positives)，評估腳本會自動忽略DontCare區域的預測結果。

• 第2列（浮點數）：代表物體是否被截斷（truncated）
  數值在0（非截斷）到1（截斷）之間浮動，數字表示指離開圖像邊界對象的程度。

• 第3列（整數）：代表物體是否被遮擋（occluded）
  整數0、1、2、3分別表示被遮擋的程度。

• 第4列（弧度數）：物體的觀察角度（alpha）
  取值范圍為：-pi ~ pi（單位：rad），它表示在相機坐標系下，以相機原點為中心，相機原點到物體中心的連線為半徑，將物體繞相機y軸旋轉至相機z軸，此時物體方向與相機x軸的夾角(如下圖所示，y軸垂直與屏幕)

• 第5~8列（浮點數）：物體的2D邊界框大小（bbox）
  四個數分別是xmin、ymin、xmax、ymax（單位：pixel），表示2維邊界框的左上角和右下角的坐標。

• 第9~11列（浮點數）：3D物體的尺寸（dimensions）
  分別是高、寬、長（單位：米）

• 第12-14列（浮點數）：3D物體的位置（location）
  分別是x、y、z（單位：米），特別注意的是，這里的xyz是在相機坐標系下3D物體的中心點位置。

• 第15列（弧度數）：3D物體的空間方向（rotation_y）
  取值范圍為：-pi ~ pi（單位：rad），它表示，在照相機坐標系下，物體的全局方向角（物體前進方向與相機坐標系x軸的夾角），如下圖所示。

• 第16列（浮點數）：檢測的置信度（score）
  

2.2.4 planes

# Plane Width 4 Height 1 -1.851372e-02 -9.998285e-01 -5.362310e-04 1.678761e+00

2.2.5 velodyne

velodyne文件是激光雷達的測量數據（繞其垂直軸（逆時針）連續旋轉），以“000001.bin”文件為例，內容如下：

8D 97 92 41 39 B4 48 3D 58 39 54 3F 00 00 00 00 83 C0 92 41 87 16 D9 3D 58 39 54 3F 00 00 00 00 2D 32 4D 42 AE 47 01 3F FE D4 F8 3F 00 00 00 00 37 89 92 41 D3 4D 62 3E 58 39 54 3F 00 00 00 00 E5 D0 92 41 12 83 80 3E E1 7A 54 3F EC 51 B8 3D 7B 14 70 41 2B 87 96 3E 50 8D 37 3F CD CC 4C 3E 96 43 6F 41 7B 14 AE 3E 3D 0A 37 3F E1 7A 14 3F 2F DD 72 41 5E BA C9 3E 87 16 39 3F 00 00 00 00 FA 7E 92 41 5E BA 09 3F 58 39 54 3F 00 00 00 00 66 66 92 41 EC 51 18 3F CF F7 53 3F 00 00 00 00 A4 70 92 41 77 BE 1F 3F CF F7 53 3F 00 00 00 00 A4 70 92 41 8D 97 2E 3F 58 39 54 3F 00 00 00 00 ...

點云數據以浮點二進制文件格式存儲，每行包含8個數據，每個數據由四位十六進制數表示（浮點數），每個數據通過空格隔開。一個點云數據由四個浮點數數據構成，分別表示點云的x、y、z、r（強度 or 反射值），點云的存儲方式如下表所示：

三、數據集的下載和組織

• 百度網盤下載鏈接
  鏈接：https://pan.baidu.com/s/1-4WchJlcZ2guwcfbHqrdFw
  提取碼：grys

從百度網盤下載如下框出的文件。

其中 xxx.zip 和xxx.z01、xxx.z02、xxx.z03 是分包文件，必須全部下載后才能夠解壓。

然后通過xftp把下載的壓縮包全部上傳到云服務器上。
分包文件的解壓方法，以 data_object_image_2.zip 為例子。

# 先將壓縮包合并 zip -s 0 data_object_image_2.zip --out image_02.zip # 再次解壓 unzip image_02.zip

解壓之后的文件結構如下所示。

如下所示，在kitti文件夾下新建testing和training 目錄。然后把上一步解壓后得到的data_object_image2/testing/image_2 文件放入到data/kitti/testing 文件夾下；把上一步解壓后得到的data_object_image2/training/image_2 文件放入到data/kitti/training 文件夾下。

最終的組織架構如下圖所示：

參考

參考博客:
【1】https://blog.csdn.net/i6101206007/article/details/11225682
【2】https://blog.csdn.net/u013086672/article/details/103913361

總結

以上是生活随笔為你收集整理的KITTI数据集解析和可视化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。