?PaperWeekly 原創(chuàng) ·?作者｜梁俊衛(wèi)

學(xué)校｜卡耐基梅隆大學(xué)博士生

研究方向｜計(jì)算機(jī)視覺

在這篇文章里我將介紹我們最新在 CVPR'20 上發(fā)表的工作：The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction，主題是關(guān)于多種可能性的行人未來路徑預(yù)測。我們的數(shù)據(jù)集和代碼已經(jīng)全部開源，里面包括完整的在 3D 模擬器中重建多種可能性未來行人路徑的 tutorial，歡迎嘗試。

論文標(biāo)題：The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction

論文鏈接：https://arxiv.org/abs/1912.06445

代碼鏈接：https://github.com/JunweiLiang/Multiverse

行人未來路徑預(yù)測問題：你能預(yù)測下面行人的未來路徑嗎？

在這篇文章里，我們研究的是多種可能性的行人未來預(yù)測問題。從下面的例子可以看到，這個人可能會走向幾個不同的方向：

我們提出新的數(shù)據(jù)集：The Forking Paths Dataset

在真實(shí)世界的視頻中，我們只能看到一種可能的事件發(fā)生，比如上面的例子中，紅框中的人是一直往前走，但也許在另一個平行宇宙中，他可能走向另外一個不同的方向，但我們在真實(shí)視頻中無法觀察到。

為了能夠取得一個能夠量化評估多種可能性路徑預(yù)測模型的數(shù)據(jù)集，我們使用基于游戲引擎-虛幻 4 的 3D 模擬器（CARLA [3] ）創(chuàng)建了一個新的 trajectory prediction 數(shù)據(jù)集。

在這個數(shù)據(jù)集中，我們重建了真實(shí)世界的場景和動態(tài)事件，然后讓標(biāo)注者控制 agents 走到設(shè)置好的目標(biāo)點(diǎn)，記錄下這些能反映真實(shí)人類在同樣情況下可能會走的路徑。

▲ 重建真實(shí)動態(tài)場景到3D模擬器中3

多名人類標(biāo)注者觀察該場景 4.8 秒后就可以以第一人稱或者第三人稱控制 agent 走到目的地。我們希望在這種方式下，可以在同樣的場景中，捕捉到人類真實(shí)的反應(yīng)以及可能選擇的路線。

▲ 標(biāo)注界面

以下是我們數(shù)據(jù)集的展示:

在我們的設(shè)定中，標(biāo)注者會先觀察 4.8 秒時間（如下圖中的黃色路線），然后就可以控制 agent 走到目的地點(diǎn)。整個標(biāo)注過程限時 10.4 秒，然后如果跟其他 agent 碰撞到的話會要求重新標(biāo)注。

標(biāo)注完成后，我們在 3D 模擬器中選擇多個攝像頭位置和角度進(jìn)行數(shù)據(jù)錄取，可以模擬一般的 45 度角監(jiān)控視頻的角度，也有頭頂?shù)臒o人機(jī)視頻角度。我們甚至可以使用不同的天氣狀況和光照條件。

整個數(shù)據(jù)集，代碼，以及 3D assets 都已經(jīng)開源，詳見我們的 Github repo [4]。里面包含了一個詳細(xì)的建立這個數(shù)據(jù)集的 tutorial，對 3D 視覺和模擬器感興趣的同學(xué)可以嘗試一下。

▲ 我們提供了一個簡單易用的場景可視化編輯工具

我們的新模型：The Multiverse Model

We propose a multi-decoder framework that predicts both coarse and fine locations of the person using scene semantic segmentation features.

▲ The Multiverse Model for Multi-Future Trajectory Prediction

• History Encoder computes representations from scene semantics

• Coarse Location Decoder predicts multiple future grid location sequences by using beam search

• Fine Location Decoder predicts exact future locations based on the grid predictions

• Our model achieves STOA performance in the single-future trajectory prediction experiment and also the proposed multi-future trajectory prediction on the Forking Paths Dataset.

▲ Single-Future Trajectory Prediction. The numbers are displacement errors and they are lower the better. For more details see [1].

▲ Multi-Future Trajectory Prediction on the Forking Paths Dataset. The numbers are displacement errors and they are lower the better. For more details see [1].

Qualitative analysis with the popular Social-GAN [2] model:

▲ Qualitative comparison. The left column is from the Social-GAN [2] model. On the right it is our Multiverse model. The yellow trajectory is the observed trajectory and the green ones are the multi-future trajectory ground truth. The yellow-orange heatmaps are the model outputs.

回到前面的例子，你的預(yù)測對了嗎？

項(xiàng)目網(wǎng)站：

https://next.cs.cmu.edu/multiverse/

參考文獻(xiàn)

[1] Liang, Junwei, Lu Jiang, Kevin Murphy, Ting Yu, and Alexander Hauptmann. “The garden of forking paths: Towards multi-future trajectory prediction.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. [Dataset/Code/Model]

[2] Gupta, Agrim, Justin Johnson, Li Fei-Fei, Silvio Savarese, and Alexandre Alahi. “Social gan: Socially acceptable trajectories with generative adversarial networks.” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.

[3] http://carla.org/

[4] https://github.com/JunweiLiang/Multiverse

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實(shí)驗(yàn)室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的CVPR 2020 开源论文 | 多种可能性行人未来路径预测的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。