Driving Datasets Literature Review-自動駕駛數據集綜述

鏈接：https://www.researchgate.net/publication/336869619_Driving_Datasets_Literature_Review

該篇論文對自動駕駛數據集進行介紹，前幾個部分介紹比較粗略，僅僅進行簡單介紹，但是最后一個部分對于數據集的列表還是有很高的實用性。

文章目錄

• Driving Datasets Literature Review-自動駕駛數據集綜述
• • 1. 傳感器
  • • 外部傳感器
    • • 相機
      • 激光雷達
  • 2. 校準
  • • 空間校準
    • 時間校準
  • 3.任務
  • • 3.1 立體視覺
    • 3.2 運動估計
    • 3.3 目標檢測
    • 3.4 目標跟蹤
    • 3.5 語義分割
    • 3.6 定位
    • 3.7行為分析
  • 4.數據集
  • • 4.1 目標檢測數據集
    • 4.2 目標分割數據集
    • 4.3 車道線檢測數據集
    • 4.4 光流數據集
    • 4.5 光流數據集
    • 4.6 定位與地圖數據集
    • 4.7 行為數據集

????????該篇論文主要是對不同的自動駕駛數據集進行總結與介紹，對于自動駕駛的任務與最近的研究成果進行簡要的介紹。主要分為四個部分，第一部分介紹了自動駕駛使用 不同的傳感器，介紹不同傳感器的特點與整個傳感器的發展趨勢；第二部分介紹了不同傳感器之間的空間與時間的配準；第三部分介紹自動駕駛數據集主要的任務；最后一個部分對數據集以列表的形式給出，方便查找與對比。

1. 傳感器

????????為了實現可靠性和魯棒性，自動駕駛汽車通常使用多種傳感器。傳感模式的多樣性也有助于緩解困難的條件，因為它們的失效模式在某種程度上是不相關的。這些傳感器可分為兩大類，即外感受傳感器和本體感受傳感器。
????????外部傳感器是用來觀察環境的，在自動駕駛汽車的情況下，是指道路、建筑物、汽車、行人等。自動駕駛汽車最常見的外部感受傳感器是攝像頭和距離傳感器。
????????本體感受傳感器測量給定系統的內部值。在自動駕駛汽車的情況下，這些測量包括線性和角位置，速度和加速度。大多數現代汽車已經配備了過多的本體感受傳感器。車輪編碼器用于里程測量，轉速計用于速度，可以監測加速度變化。這些傳感器通?？梢酝ㄟ^車輛CAN總線訪問。

外部傳感器

相機

????????照相機有各種類型和型號。它們是被動傳感器，這意味著它們不需要發出信號來捕捉信息，從而限制了與其他傳感器的可能干擾。然而，由于它們的被動性質，它們受到光照和天氣條件的負面影響。單個攝像頭應用比較廣泛，因為過去十年大部分的目標檢測、分割以及跟蹤的算法都是圍繞單個攝像頭進行的。
????????過去也曾使用過其他類型的專用相機。例如，為了彌補夜間糟糕的攝像性能，熱像機和紅外像機被用于行人檢測[43]等任務。

????????另一種引起人們興趣的相機是事件相機，它輸出像素級別的亮度變化，而不是標準的亮度幀。它們提供了出色的動態范圍和非常低的延遲(按s的順序)，這在高度動態的場景中非常有用。然而，大多數已經開發的視覺算法不能很容易地應用到這些相機上，因為它們輸出的是異步事件序列，而不是傳統的強度圖像。然而，一些帶有事件相機的自動駕駛車輛數據集現在已經發布了[11]。

????????最后，極化傳感器，如索尼Pregius 5.0 MP IMX250傳感器最近也達到了更好的性能，這可能提供更高的細節水平。偏振通道受光照變化和天氣的影響較小。它們對表面粗糙度也很敏感，這有助于車輛[34]的檢測。然而，目前還沒有發布使用偏振相機的公共自動駕駛數據集。

激光雷達

????????LiDARs是光探測和測距的縮寫，在所有閃電條件下都能探測到目標，并繪制出目標的距離圖，具有很強的空間覆蓋能力。因此，它們一直是自動駕駛應用的首選傳感器，這項技術的工作原理是用光脈沖照射目標，然后用雷達探測反射無線電波的方法測量反射信號返回的特性。它們比雷達準確得多，但由于霧、雨或雪等天氣條件的影響，它們的性能會下降。它們有時在近距離探測物體時也有困難。
????????為了減輕激光雷達在惡劣天氣或近距離傳感方面的局限性，雷達也被用作距離傳感技術。作為一種比激光雷達更成熟的傳感器，雷達通常更便宜、更輕，同時也能確定目標的速度。然而，它們的空間分辨率很低，難以解釋接收到的信號，而且精度比LiDARs差得多。最后，sonars也被用于工業。雖然也很便宜，但除了易受天氣條件影響外，sonars的范圍和精度非常有限。它們主要用于附近的障礙物檢測。

2. 校準

空間校準

????????為了實現數據的一致性校準，需要對每個傳感器進行校準和同步。下面我們將描述空間對齊(校準)和時間對齊(同步)。
????????標定通常是指建立各傳感器相對坐標系的空間參照過程。對于相機，校準是必不可少的準確測量物體和距離的現場立體相機設置。相機標定或相機切除通常分為內在參數檢索和外在參數檢索。本征參數是指用于圖像校正的焦距、主點坐標、畸變系數等相機的固有參數。另一方面，外部參數表示坐標系從三維世界坐標到三維攝像機坐標的轉換。這些參數是通過被稱為基準標記的參考校準點來檢索的，通常帶有已知尺寸的棋盤目標[119]
????????一旦實現相機對相機的標定，就可以對所有重疊像素進行立體深度重建。然后，各種機器學習算法可以利用額外的深度通道來獲取額外的對象特征，從而獲得更好的結果。
????????最后，使用手眼校準[41]校準每個傳感器的運動傳感設備，以便將測量結果參考到慣性導航系統(INS)。這對于定位和繪圖任務(如SLAM)尤其重要，其中慣性和里程測量被用作新位置和方向的首次估計，這對這些算法的性能至關重要

時間校準

????????當校準處理傳感器的空間對準時，同步在時間上匹配在一起的測量。在快速變化的環境中，驅動是一個高度動態的過程，這使得同步過程對數據時間一致性至關重要。為了同步這些不同的測量，傳感器通常在外部觸發。每個傳感器的測量值還帶有系統時鐘的時間戳。當傳感器具有不同的采集速率，因此具有不同的時間戳時，可以根據用例插入測量值或選擇最近的測量值。
????????相機的曝光時間幾乎是瞬間的，不會產生不良的數據對齊。然而，大多數旋轉LiDARs在0.1秒內完成一次完整的旋轉。這種掃描速度比汽車的速度要慢得多，后者會在點云中引入畸變。為了在激光雷達掃描中考慮車輛的運動，已經發展了一些技術[65]。

3.任務

????????迄今為止，大多數自動駕駛方法都試圖將復雜的駕駛過程分解成不同的更小、更簡單的子任務。考慮到這種模塊化方法，為自動駕駛汽車社區生成的每個數據集通常都圍繞這些特定任務中的一個或多個。下面，我們列舉了最流行的。

3.1 立體視覺

????????獲取這種三維信息最簡單的方法之一就是立體視覺。立體視覺是這樣一種任務:通過識別安裝在相鄰相機上的兩幅圖像的共同特征，對場景的深度進行三角測量。在駕駛方面，立體視覺的挑戰包括反光和有光澤的表面，如車身。重復的結構，如柵欄和透明的表面(玻璃)是其他常見的失效案例。專門用于三維重建的數據集通常提供像素級的深度地圖作為地面真相。通常，它們是通過內插3D激光雷達點云和將3D CAD模型擬合到單個對象上生成的。
????????值得注意的是，隨著最近深度學習的提高，單目深度評估也引起了人們的興趣。在本例中，深度映射是使用來自單個圖像[55]的上下文信息來估計的。讀者可參考Gabr和Elias[33]對立體視覺和其他3D重建算法的完整調查。

3.2 運動估計

????????因為駕駛涉及到多個高速運動的物體，所以捕捉一個圖像中物體的運動可能會產生令人滿意的信息。光流的定義是在連續幀之間的每個圖像位置上尋找運動，是一種以密集方式表示運動的方法。因此，光流可以提取額外的運動信息，這對于定位、自我運動和跟蹤等其他任務尤其重要。
????????光流僅限于單眼二維圖像，這給三維運動的檢索帶來了挑戰。因此，場景流被定義為廣義的光流，其中使用了立體或多攝像機設置的幀來建立運動。專門用于光和場景流的數據集通常提供光流場，其中提供了描述下一幀或上一幀中每個像素的運動的向量。光流和場景流的地面真值提取是一個耗時、繁瑣的過程，通常需要將圖像對象與三維激光雷達地圖進行匹配。

????????關于光學和場景流的最先進算法的廣泛調查可以參考文獻[113]。

3.3 目標檢測

????????開車最重要的一個方面就是對周圍環境的認識。無論是行人、其他車輛、交通標志還是障礙物，對場景中不同物體的檢測和識別對自動駕駛汽車的安全與平穩運行至關重要。對象檢測通過確定場景中不同預定義對象類的存在和定位來解決此任務。
目標檢測作為一項重要的、定義明確的任務，受到了計算機視覺和自動駕駛領域的廣泛關注。然而，目標檢測仍然面臨挑戰。這主要是因為駕駛場景中的物體種類繁多，天氣條件和光照，以及物體的嚴重遮擋和截斷[72]
????????大多數的目標檢測都是在二維圖像上完成的，因此被稱為二維目標檢測。每個對象都以像素坐標定位在圖像中，如圖3.3所示。然而，應該注意的是，最近的方法試圖包含點云數據[20]或立體重建[19]的3D特征，以生成更健壯的檢測。此外，還可以在三維空間中定位相對于車輛位置的物體。這通常稱為3D對象檢測，如圖3.4所示。


????????用于對象檢測的數據集通常包含帶注釋的數據幀，這些數據幀帶有2D或3D的邊界框，其中包含不同的對象，如ground truth。關于深度學習檢測技術的廣泛綜述可以在[31]，[69]，[58]和[121]中找到。

3.4 目標跟蹤

????????駕駛是一個高速運動物體的動態過程。因此，在路徑規劃中，為了避免碰撞，目標檢測往往是不夠的。驅動算法不僅要預測場景中物體的位置，還要預測物體的速度和加速度。為了做到這一點，使用了跟蹤算法，該算法試圖根據單個位置的歷史來預測多個移動對象的未來位置。
????????一種流行且直觀的跟蹤方法是通過檢測跟蹤。目標檢測算法首先用于檢測每幀中的目標，然后需要在多幀之間相互關聯。然而，這種方法雖然有效，但存在檢測錯誤和執行數據關聯的固有困難。如果物體暫時被遮擋，跟蹤也會受到影響，如圖3.5所示。值得注意的是，行人追蹤特別重要，因為他們是[28]道路上最易受攻擊的使用者。

????????為了在3D中預測目標軌跡，距離信息是最需要跟蹤的。如前所述，這些信息可以通過相機或激光雷達點云的三維重建，單獨或通過一些傳感器融合過程獲得。與對象檢測一樣，跟蹤數據集通常以包圍框和標簽的形式包含數據幀的注釋，這些注釋在多個幀上是一致的，作為基本事實。
在Dixit等人的[27]中，對最先進的跟蹤技術進行了全面的回顧。

3.5 語義分割

????????有些物體，如道路、人行道和交通線，沒有邊界框來定義。因此，他們需要更靈活的表現，通常在像素級。這個問題被稱為語義分割。

????????就像目標檢測一樣，以前大部分的分割工作都是在二維圖像上完成的。然而，形狀和大小是二維空間無法利用的重要特征。為了捕獲這些信息，當然可以使用LIDARs。在點云數據上嚴格訓練語義分割模型也是可行的。然而，生成精確的點云標簽(如圖3.7所示)是一項冗長且耗時的任務。

????????為了減輕語義分割的計算負擔，提出了stixel表示法。Stixels創建了一個中等水平的環境模型，將像素級信息壓縮到垂直條中。stixel分割的一個例子可以在圖3.8中看到

????????關于更多細節，可以在Garcia-Garcia等人的[35]中找到關于語義分割的深度學習技術的綜述。Bar Hillel等[4]對道路和車道檢測進行了深入的研究。

3.6 定位

????????定位是任何移動機器人的關鍵任務。以便鋪設合適的路徑規劃時，車輛需要知道它所處的確切環境。在過去，本地化使用了不同的方法。最直接的方法是使用GPS和IMU傳感器。雖然這種傳感器組合是最容易獲得和成本最低的方法，但它缺乏自動駕駛所需的要求。即使使用IMU進行航跡推算，商用GPS也太不準確了。RTK技術提供了自動駕駛所需的精度，但信號的準確性高度依賴于環境，高層建筑的城市環境尤其容易受到干擾而產生誤差。
????????同步定位和映射(SLAM)是另一種流行的方法。它試圖使用車輛的傳感器動態生成地圖，同時估計車輛在構建的地圖中的位置。它的優點是不需要任何關于環境的預先信息，這意味著這種方法可以在任何環境中工作。然而，SLAM仍然面臨挑戰，因為它計算量大，需要實時處理大規模環境。此外，SLAM在困難環境下容易產生分歧。RTKs定位常被用作SLAM的地面真值，給予適當的信號接收。使用預先構建的地圖是SLAM的另一種選擇，它緩解了動態生成地圖的問題。使用點匹配算法或視覺地標搜索方法，基于先驗地圖的定位算法可以獲得較高的精度。然而，這些方法的一個主要缺點是道路本身并不是完全靜態的，因此用于本地化的地圖必須為建筑工作或天氣變化而更新。
????????關于進一步的細節，可以在Kuutti等人的[53]中找到關于最新的本地化技術的完整調查。

3.7行為分析

????????如果有一天駕駛車輛成為現實，它們將很可能不得不與人類互動。無論是推斷行人過馬路的意圖，識別駕駛員執行某一動作的意圖，還是發現潛在的魯莽行為，自動駕駛汽車都需要對周圍人類的行為有一個高層次的理解。因此，對人類行為的評估對于任何自動駕駛應用程序都是至關重要的。雖然行為評估的任務不像前面描述的任務那樣有邊界，但是最近的數據集已經嘗試捕獲這種人類行為。例如，一些數據集[45,78,79]嘗試注釋每個驅動程序的動作。這些數據可以用來開發動作預測算法，然后可以用來評估駕駛員的機動是否完全安全。
????????駕駛員面部監控也是一種經常用于預測機動或視覺焦點的方式，如圖3.9所示。一些數據集甚至將駕駛員的視線投射到道路圖像上，以準確地知道駕駛員正在聚焦什么[73]。這些信息可以用來建立駕駛員的注意力水平，從而獲得更安全的駕駛體驗。

????????另一個重要的行為評估任務是駕駛風格識別。駕駛風格的定義有很多種，包括油耗、剎車、保持距離和侵略性。建立司機風格可以用來調整駕駛策略，如車道合并或提醒司機，如果他是魯莽的[9]。最后，一些數據集[52]也收集了行人意向數據，如圖3.10所示。然后可以訓練算法來識別行人是否想過馬路，并幫助防止碰撞。

????????為了對駕駛風格識別、行人自動駕駛車輛交互或交叉口行為進行更完整的文獻綜述，請讀者分別參考Marina Martinez等[62]、Rasouli和Tsotsos[81]以及Shirazi和Morris [90]

4.數據集

????????下一節介紹可用的開放驅動數據集，按其各自的任務排序。需要注意的是，我們只選擇了真實駕駛環境中的數據集。因此，不提供合成數據集。此外，從地面車輛而非汽車獲取的數據集，如賽格威或其他機器人平臺，也被忽略。最后，固定獲取的數據集也被忽略。

4.1 目標檢測數據集

4.2 目標分割數據集

4.3 車道線檢測數據集

4.4 光流數據集

4.5 光流數據集

4.6 定位與地圖數據集

4.7 行為數據集

總結

以上是生活随笔為你收集整理的自动驾驶数据集综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。