自動駕駛汽車的發展已經見證了硬件傳感器記錄感官數據的容量和準確度的發展。傳感器的數量增加了，新一代傳感器正在記錄更高的分辨率和更準確的測量結果。 在本文中，我們將探討傳感器融合如何在涉及環環相扣的數據標記過程中實現更高程度的自動化。

所有自動駕駛汽車(AV)都使用一組硬件傳感器來識別周圍的物理環境。硬件傳感器包括攝像機或一組攝像機，這些攝像機戰略性地放置在車輛車身周圍，以捕獲2D視覺數據，以及一些安裝在車輛頂部的雷達，以捕獲3D位置數據。有一些像特斯拉這樣的供應商認為，視覺數據足以讓汽車識別其環境。其他供應商使用激光雷達傳感器捕捉車輛周圍物體的3D位置數據。將二維視覺數據和三維位置數據融合，使AV系統能夠精確地了解周圍環境。

發展對周圍環境的精確了解是AV系統的第一個組成部分。下圖顯示了AV系統的所有重要組成部分。

傳感器融合

計算機視覺是計算機科學的一個分支，它使用照相機或照相機的組合來處理2D視覺數據。這使計算機可以識別汽車，卡車，騎自行車的人，行人，道路，車道標記，交通信號，建筑物，地平線。相機數據本質上是2D的，它不提供對象的距離。盡管可以使用攝像頭傳感器的焦距和光圈來近似物體的深度，但是由于在將攝像頭傳感器將3D場景捕獲到2D平面上時會固有地丟失信息，因此無法精確定位。

雷達技術已在空中交通管理等地方用于定位飛行物體。雷達可用于估計物體的位置和速度。它不能用于將對象分類為汽車，人，交通信號燈或建筑物，因為它的精度較低。激光雷達是一種使用激光技術估算周圍物體的位置和速度的硬件。激光雷達能夠生成每秒高達200萬個點的點云。由于精度更高，激光雷達可用于測量物體的形狀和輪廓。

雖然來自相機的RGB數據缺少深度信息，但由激光雷達生成的點云數據缺少RGB數據中存在的紋理和顏色信息。例如，在點云數據中，相距20英尺的行人的輪廓可能是一團點，可以將其識別為多個不同的對象，如下面的點云的渲染所示。另一方面，陰影籠罩的低質量部分視覺信息會提示該對象是人，如下面攝像機的圖像所示。

在點云中不容易識別卡車旁邊的人

通過視覺信息可以輕松識別人

當執行視覺數據和點云數據的融合時，結果是周圍環境的感知模型，該模型保留了視覺特征和精確的3D位置。 除了準確性，它還有助于在傳感器出現故障時提供冗余。

相機傳感器數據和激光雷達點云數據的融合涉及2D到3D和3D到2D投影映射。

3D到2D投影

硬件

我們從Motional提供的最全面的開源數據集開始：nuScenes數據集。 它包括六個攝像頭，前面三個，后面三個。 捕獲頻率為12 Hz。 像素分辨率為1600x900。 圖像編碼為每個像素一個字節，為jpeg。 相機數據以每個相機鏡頭1.7MB / s的速度生成。 一個激光雷達被放置在汽車頂部。 激光雷達的捕獲頻率為20 Hz。 它具有32個通道（光束）。 它的垂直視場為-30度到+10度。 它的范圍是100米。 其精度為2厘米。 它每秒可以收集多達140萬個點。 輸出格式為.pcd。 激光雷達的輸出數據速率為26.7MB / s（20byte * 1400000）。

數據集頁面：https：//http://www.nuscenes.org/overview

論文URL：https://arxiv.org/pdf/1903.11027.pdf

Devkit網址：https：//http://github.com/nutonomy/nuscenes-devkit

參考系和坐標系

為了使傳感器同步，必須定義一個世界（全局）坐標系。 每個傳感器儀器都有自己的參考系和坐標系。

激光雷達擁有自己的參考系和坐標系L1，

每個攝像機都有自己的參考系和坐標系C1，C2，C3，C4，C5，C6。
IMU具有自己的參考系和坐標系I1。

為了此處的討論目的，自主車輛參照系與激光雷達參照系相同。

定義世界參考系和坐標系

世界參考系(W1)是全局參考系。例如，可以選擇激光雷達的第一幀作為世界坐標系的中心(0,0,0)。隨后，激光雷達的每一幀圖像將被轉換回世界坐標系統。攝像機矩陣M1, M2, M3, M4, M5, M6將從每個攝像機坐標系統C1, C2, C3, C4, C5, C6轉換回世界坐標系統W1。

將3D點云數據轉換為世界坐標系

通過與自我框架平移和旋轉矩陣相乘，激光雷達參考系（L1）中的每個框架都將轉換回世界坐標系。

從世界坐標系轉換為相機坐標系

下一步是通過與攝影機旋轉和平移矩陣相乘，將數據從世界參照系轉換為攝影機參照系。

從3D相機坐標系轉換為2D相機框

一旦數據進入相機參考框架，就需要將其從3D相機參考框架投影到2D相機傳感器平面。 這是通過與相機固有矩陣相乘來實現的。

結果：準確的標注

激光雷達點云數據和相機數據的融合使注釋者可以利用視覺信息和深度信息來創建更準確的標注

知乎視頻?www.zhihu.com

幀之間注釋的插值使標注速度提高10倍

自動駕駛汽車系統開發中最具挑戰性的任務之一是管理用于訓練神經網絡的龐大數據量。 隨著分類和檢測準確性的提高，進一步提高性能所需的新訓練數據量呈指數增長。 為了提高速度并減少注釋新訓練數據的成本，注釋工具可以提供自動化。 自動化的一個示例是在LIDAR點云工具中的幀之間的注釋插值。

所生成的傳感器數據具有較高的準確性。 激光雷達點云數據精確到正負2 cms。 相機數據以1600 x 900像素分辨率記錄。 高精度級別允許注釋工具提供半自動技術，以減少數據標記所需的手動工作。 例如，考慮點云數據的10個連續幀的注釋。 每個激光雷達鏡框都配有六個攝像頭鏡框。 人工注釋者使用注釋工具將卡車安裝在第1幀和第10幀中的長方體中。基于第1幀和第10幀中的長方體的位置，注釋工具可以自動將第2幀中的長方體的位置插值到第2幀和第10幀中。 框架9.這大大減少了貼標人員的工作量。 這種半自動技術可以提高生產率，提高速度并降低構建AI的成本。

作者：Gaurav

deephub翻譯組

總結

以上是生活随笔為你收集整理的多帧点云数据拼接合并_自动驾驶：Lidar 3D传感器点云数据和2D图像数据的融合标注...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。