?

近日，美團(tuán)無人車配送中心團(tuán)隊(duì)獲得NeurIPS 2020 INTERPRET軌跡預(yù)測挑戰(zhàn)賽Generalizability賽道冠軍、Regular賽道亞軍。本文主要是算法層面的介紹，希望能給從事相關(guān)工作的同學(xué)有所幫助或者啟發(fā)。

01 背景

NeurIPS （Conference on Neural Information Processing Systems） 是機(jī)器學(xué)習(xí)和計(jì)算神經(jīng)科學(xué)相關(guān)的學(xué)術(shù)會(huì)議，也是人工智能方向的頂級會(huì)議。INTERPRET軌跡預(yù)測挑戰(zhàn)賽（INTERACTION-Dataset-based PREdicTion Challenge）隸屬于NeurIPS 2020 Workshop: Competition Track Saturday。該競賽由UC Berkeley MSC Lab主辦，旨在建立一個(gè)公共數(shù)據(jù)集來評估自動(dòng)駕駛領(lǐng)域各類軌跡預(yù)測算法的性能。

02 賽題簡介

INTERPRET競賽共包含兩條賽道：Generalizability Track和Regular Track。Generalizability賽道中，測試集軌跡與訓(xùn)練集差異較大（采自不同的場景），且不帶有高精地圖；而Regular賽道中測試集軌跡分布與訓(xùn)練集相同（采自相同的場景），同時(shí)帶有高精地圖。數(shù)據(jù)集采自于美國、中國、德國等多個(gè)國家，包含并線/變道的高速與城市道路、帶停車/讓車標(biāo)志的環(huán)形路、無保護(hù)左轉(zhuǎn)路口等場景。此外，場景中的障礙物包含行人、自行車和機(jī)動(dòng)車3種類型。

本次競賽中，參賽隊(duì)伍需要根據(jù)每個(gè)障礙物過去1秒（10幀）的運(yùn)動(dòng)軌跡，預(yù)測出它在未來3秒（30幀）的軌跡。障礙物的軌跡使用離散采樣點(diǎn)集合來表示，采樣的頻率是10赫茲，即每0.1秒采樣一個(gè)軌跡點(diǎn)。競賽允許參賽隊(duì)伍對于每個(gè)障礙物輸出50條預(yù)測軌跡，但只根據(jù)最優(yōu)軌跡（排序第1條）的平均位移誤差（Average Displacement Error，ADE）來排名。平均位移誤差的計(jì)算方式為：

03 算法介紹

Part 1 地圖數(shù)據(jù)處理

由于Generalizability Track和Regular Track數(shù)據(jù)形式不一致（前者帶有高精地圖，后者不帶高精地圖），為保證算法的有效性，我們使用了兩種形式來更好地表達(dá)場景。如下圖1：

圖1 地圖表達(dá)形式。左：Regular Track場景；右：Generalizability Track場景

在Regular Track中，所有測試集都附帶高精地圖，我們可以通過查詢地圖的方式得到任意位置附近的車道線（如圖1-左所示，場景中道路拓?fù)浞浅Ｍ暾?#xff09;；而對于Generalizability Track，測試集沒有給出對應(yīng)的高精地圖，無法獲取完整的道路結(jié)構(gòu)化信息。對此，我們設(shè)計(jì)了一種基于地理位置的語義地圖來描述非結(jié)構(gòu)化場景下的可行駛區(qū)域。基于地理位置的語義地圖依賴于場景中障礙物的歷史觀測軌跡，具體繪制流程主要分為3個(gè)步驟：

Part 2 預(yù)測模型設(shè)計(jì)

軌跡預(yù)測算法設(shè)計(jì)過程中通常需要考慮一個(gè)重要問題：即在預(yù)測時(shí)如何建模障礙物與周圍環(huán)境的復(fù)雜交互，這里周圍環(huán)境通常包含多類交通元素，例如其他交通參與者，路網(wǎng)拓?fù)?#xff0c;交通信號燈等。

在現(xiàn)有的預(yù)測算法中，對障礙物交互的建模方式也不盡相同，例如較早期基于簡單位置關(guān)系的交互[1-3]，基于語義地圖+CNN編碼的交互[4-6]，基于（圖）注意力機(jī)制的交互[7-11]等。隨著對障礙物交互認(rèn)知的加深以及新技術(shù)的迭代，軌跡預(yù)測算法的精度也在逐步提高。

本次競賽中，我們提出一種基于混合注意力機(jī)制的預(yù)測算法，以通用的形式解決兩個(gè)賽道的預(yù)測問題。算法是基于目前主流的圖注意力機(jī)制，整體設(shè)計(jì)思路是通過引入混合注意力機(jī)制，促使算法更準(zhǔn)確地提取障礙物運(yùn)動(dòng)特性與車道拓?fù)涮匦?#xff0c;同時(shí)編碼障礙物之間、障礙物與車道間的復(fù)雜交互。

圖2 基于混合注意力機(jī)制的預(yù)測算法

?

上圖2是算法的整體結(jié)構(gòu)，整個(gè)模型基于主流的Encoder-Decoder結(jié)構(gòu)，包含特征編碼網(wǎng)絡(luò)（Feature Embedding Network）和交互&預(yù)測網(wǎng)絡(luò)（Interaction & Prediction Network）。特征編碼網(wǎng)絡(luò)使用Timewise + Agentwise Attention雙注意力機(jī)制與雙通道GRU對障礙物軌跡和地圖信息進(jìn)行高質(zhì)量特征強(qiáng)化與時(shí)序編碼；交互預(yù)測網(wǎng)絡(luò)則使用Agentwise + Conditional Attention雙注意力機(jī)制建模智能體間交互行為，并輸出多模態(tài)預(yù)測軌跡及其概率。

上述兩個(gè)網(wǎng)絡(luò)都是基于混合注意力的圖網(wǎng)絡(luò)，其核心是Enc-MAT和Dec-MAT（Mixture Attention Transformer encoder）模塊。Enc-MAT和Dec-MAT是現(xiàn)有BERT-like模型（Transformer encoder）的改進(jìn)結(jié)構(gòu)，下圖3對比了傳統(tǒng)Transformer encoder、Enc-MAT和Dec-MAT的區(qū)別。

圖3 Transformer改進(jìn)模塊。（a）常規(guī)Transformer Encoder；（b）Enc-MAT；（c）Dec-MAT

從圖3可以看到，相比于傳統(tǒng)Transformer encoder，Enc-MAT和Dec-MAT改進(jìn)并額外新增加了一個(gè)注意力通道，混合注意力機(jī)制也由此而來。Enc-MAT編碼器使用了Timewise和Agentwise混合注意力機(jī)制；Dec-MAT編碼器則是使用了Agentwise和Conditional（同圖3-c中的Distance-base Attention）混合注意力機(jī)制。算法使用混合注意力代替原有單注意力機(jī)制，目的在于結(jié)合實(shí)際需求來強(qiáng)化障礙物與環(huán)境拓?fù)涞奶卣鞅磉_(dá)。圖2下半部分展示了三種Attention結(jié)構(gòu)，從計(jì)算形式上看，三種注意力方式的計(jì)算公式是一致的：

Part 3 軌跡預(yù)測流程

首先對符號作一些說明：

編碼過程主要包含障礙物歷史軌跡編碼與場景拓?fù)渚幋a。以障礙物特征編碼為例，流程主要分為兩步：

對于道路拓?fù)涞木幋a也采用相似的方式，但與軌跡編碼有兩個(gè)區(qū)別：

解碼過程主要包含高層交互和軌跡預(yù)測兩個(gè)階段。前者采用混合注意力網(wǎng)絡(luò)Dec-MAT，后者使用基礎(chǔ)的MLP實(shí)現(xiàn)軌跡與概率的多任務(wù)預(yù)測。在介紹流程前，我們先闡述兩個(gè)相對合理的事實(shí)：

• 事實(shí)1：障礙物運(yùn)動(dòng)方向和場景中車道走向存在關(guān)聯(lián)（運(yùn)動(dòng)趨勢關(guān)聯(lián)）。

• 事實(shí)2：障礙物運(yùn)動(dòng)更依賴與距離它更近的鄰近車道（相對位置關(guān)聯(lián)）。

基于上述兩個(gè)事實(shí)，解碼器兩個(gè)階段的流程分別可以描述為：

最終在Generalizability賽道上，我們以ADE 0.5339米獲得冠軍；Regular賽道上，我們以ADE 0.1912米獲得亞軍。

04 總結(jié)

障礙物軌跡預(yù)測對無人車安全行駛具有重要的意義，它也是學(xué)界與工業(yè)界公認(rèn)有很大挑戰(zhàn)性的課題。我們希望通過努力做出更好的解決方案，持續(xù)提升自動(dòng)駕駛系統(tǒng)對障礙物的預(yù)測能力，為美團(tuán)實(shí)際業(yè)務(wù)及出行領(lǐng)域提供更多的技術(shù)支持。

05 參考文獻(xiàn)

[1] Alahi A, Goel K, Ramanathan V, et al. Social lstm: Human trajectory prediction in crowded spaces[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 961-971.

[2] Gupta A, Johnson J, Fei-Fei L, et al. Social gan: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2255-2264.

[3] Zhu Y, Qian D, Ren D, et al. StarNet: Pedestrian trajectory prediction using deep neural network in star topology[C]//Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. 2019: 8075-8080.

[4] Chai Y, Sapp B, Bansal M, et al. Multipath: Multiple probabilistic anchor trajectory hypotheses for behavior prediction[J]. arXiv preprint arXiv:1910.05449, 2019.

[5] Chang M F, Lambert J, Sangkloy P, et al. Argoverse: 3d tracking and forecasting with rich maps[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8748-8757.

[6] Liang J, Jiang L, Niebles J C, et al. Peeking into the future: Predicting future person activities and locations in videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 5725-5734.

[7] Mohamed A, Qian K, Elhoseiny M, et al. Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 14424-14432.

[8] Liang M, Yang B, Hu R, et al. Learning lane graph representations for motion forecasting[C]//European Conference on Computer Vision. Springer, Cham, 2020: 541-556.

[9] Huang Y, Bi H K, Li Z, et al. STGAT: Modeling spatial-temporal interactions for human trajectory prediction[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 6272-6281.

[10] Gao J, Sun C, Zhao H, et al. VectorNet: Encoding HD maps and agent dynamics from vectorized representation[J]. arXiv preprint arXiv:2005.04259, 2020.

[11] Zhao H, Gao J, Lan T, et al. Tnt: Target-driven trajectory prediction[J]. arXiv preprint arXiv:2008.08294, 2020.

06 作者簡介

炎亮、傅 壯、德恒、冬淳等，均為美團(tuán)無人車配送中心算法工程師。

----------? END? ----------

招聘信息

美團(tuán)無人車配送中心多個(gè)崗位持續(xù)招聘中！誠招算法/系統(tǒng)/硬件開發(fā)工程師及專家。歡迎感興趣的同學(xué)發(fā)送簡歷至：ai.hr@meituan.com（郵件標(biāo)題注明：美團(tuán)無人車團(tuán)隊(duì)）

也許你還想看

? |?CVPR 2019軌跡預(yù)測競賽冠軍方法總結(jié)

? |?ICRA 2020軌跡預(yù)測競賽冠軍的方法總結(jié)

? |?頂會(huì)論文：基于神經(jīng)網(wǎng)絡(luò)StarNet的行人軌跡交互預(yù)測算法

總結(jié)

以上是生活随笔為你收集整理的自动驾驶轨迹预测算法：NeurIPS挑战赛冠军方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。