arXiv今年10月剛剛上傳論文“LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion“。

其特色在于，除了激光雷達和HD Map之外，該軌跡預測方法采用了雷達傳感器的信息。雷達和激光雷達融合是有挑戰性的，因為前者的低角分辨率缺陷，而且數據稀疏，和激光雷達同步也很難。為此，本文提出一個有效的時空雷達特征提取方法。

---

如圖所示是雷達的挑戰和益處的示意圖：一個鳥瞰示例場景，其中當前、過去和將來幀中激光雷達點（淺藍色）和雷達點速度（橙色）通過標簽（白色）可視化。 車輛A是轉彎公交車，在整個車架上有多個雷達點。 在空間和時間有效地組合這些信息，可以恢復完整的2D速度和轉速。 車輛B顯示出雷達固有的高位置噪聲。 車輛C顯示一個稀疏的激光雷達點情況，這時候時域隱式關聯可能是一個挑戰。 但是，C周圍存在的雷達點可以為模型添加上下文信息，方便檢測和預測軌跡。

融合多傳感器的信息，可采用BEV格點，這里提出的是一個采用雷達數據學習BEV網格單元的時空特征方法。最后這些特征用于目標檢測和預測的應用。

下圖是LiRaNet縱覽圖：雷達特征提取網絡（A）分兩步從原始雷達點提取時空特征：（1）對于每幀，在BEV網格單元和雷達點之間創建一個圖，用非剛性卷積學習空域特征，（2）這些空間特征在時域進一步融合，即沿通道維堆疊并使用MLP獲得雷達特征體（feature volume）。 然后將此特征體與其他傳感器的特征體融合，并饋入檢測和未來軌跡預測的聯合感知-預測網絡（B）。 最后可以看到一個場景預測示例（C）。

雷達特征的計算如

---

激光雷達和HD Map的特征學習類似，其中HD Map表示為一個包括車道線幾何信息的圖像。

整個網絡主干類似于以前Uber的工作，即CVPR論文【38】PnPNet。整個網絡架構圖如下所示：

如下是一些實驗結果：

下表分析三個影響因素。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的两步路轨迹文件位置_最新Uber ATG的轨迹预测方法LiRaNet介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。