?PaperWeekly 原創 ·?作者｜黃飄

學校｜華中科技大學碩士

研究方向｜多目標跟蹤

隨著這兩年 GNN 的發展，其對于關系的建模特性也被引入了多目標跟蹤領域，這次我通過對這兩年基于 GNN 的 MOT 算法的介紹來分析其特點。相關 MOT 和數據關聯的基礎知識可以去我的專欄查看。

EDA_GNN

論文標題： Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/1907.05315

代碼鏈接：https://github.com/peizhaoli05/EDA_GNN

從算法的示意圖可以看到，作者通過一個孿生網絡求得了觀測目標 j 與當前目標軌跡 i 的表觀相似度，然后取目標軌跡的歷史位置為輸入，通過 LSTM 得到預測的位置，計算該位置與觀測目標位置的運動相似度，兩個相似度結合構建相似度矩陣。

至此，所有目標軌跡與觀測目標的相似度構成了一個二部圖，以目標和觀測信息作為節點，相似度作為邊權，表觀特征和位置信息拼接作為節點屬性特征。

然后基于消息傳遞機制，作者通過 GNN 的網絡框架實現對節點特征的更新：

鄰接矩陣的 normalization 采用的是 row-wise softmax，即對相似度矩陣進行逐行 softmax，可以用注意力的方式來理解，W 為待學習的權重。最后通過一個激活函數 ReLU 實現特征的更新。對于邊權關系的更新則是簡單地利用 MLP 將兩個節點特征的差轉換為標量。

在訓練的時候，損失函數由三部分組成：

其中第一部分是預測得到的關聯矩陣的分類損失，第二部分則是將 groundtruth 中的關聯對取出，計算分類損失，第三部分是將新出/消失的目標單獨取出，計算 MSE 損失。

DAN

論文標題：Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network

論文來源：ICMR 2019

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3323873.3325010

這里的 DAN 并非我之前提過的 DAN，其整體流程跟 EDA_GNN 基本一樣：

都是先提取表觀和運動特征，由此構建網絡圖，通過 GNN 得到最終的關聯矩陣。首先相似度矩陣怎這里用的是 IOU 信息：

IOU 后面的部分是幀間差，如果目標存在跨幀鏈接，那么間隔越久，相似度越低。不過 DAN 與 EDA_GNN 不同的是，并沒有將圖結構構建為二部圖，而是將跟蹤節點和觀測節點統一為節點集合，因此鄰接矩陣/相似度矩陣就變成了 (m+n)x(m+N)，這就是最基礎的 GNN 網絡結構了。所以節點特征的更新就是：

鄰接矩陣的更新為：

損失函數為 Graph Loss，即對正負鏈接邊權的交叉熵損失函數：

結果如下:

GNMOT

論文標題：Graph Networks for Multiple Object Tracking

論文來源：WACV 2020

論文鏈接：http://openaccess.thecvf.com/content_WACV_2020/papers/Li_Graph_Networks_for_Multiple_Object_Tracking_WACV_2020_paper.pdf

代碼鏈接：https://github.com/yinizhizhu/GNMOT

首先我們看看算法流程：

可以看到，GNMOT 的不同在于表觀和運動部分分別采用了 GNN 網絡，二者結合得到的是相似度矩陣，由此輸入數據關聯部分。關于 GNN 網絡的更新流程，作者設計了 4 步：

其中第一次邊和節點的更新都是通過兩層 FC 進行更新的。第三次的全局更新這里，作者引入了一個全局變量 u，先計算所有節點的特征均值和邊權均值，再通過兩層 FC 進行更新。這里的 u 會在出現在所有更新過程中，作為一個調節量。

最后一次的邊權更新則是在兩層 FC 之后再加了一層 softmax 層。

MPN Tracker

論文標題：Learning a Neural Solver for Multiple Object Tracking

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/1912.07515

代碼鏈接：https://github.com/selflein/GraphNN-Multi-Object-Tracking

我之前也介紹過這篇文章，但是之前不懂 GNN，所以只能做搬運工，現在學習了 GNN，所以就再次分析一下。首先是圖的構建，圖節點由所有幀的所有目標構成，直接將觀測信息作為節點，沒有跟蹤，只有關聯。

節點屬性特征由訓練得到的表觀特征和幾何特征構成，其中幾何特征為位置和形狀。并且定義表觀特征距離用歐氏距離度量，幾何特征距離用下面的公式度量：

時間特征自然就是幀數，這幾個特征通過一個 MLP 網絡得到最終的特征表達。

邊的連接自然就是跨幀節點存在連接，而同一幀節點不存在連接，邊權的設定就是上面的距離度量。也就是說，這相當于一個端到端的離線跟蹤框架。

消息傳遞機制中，對于邊權的更新和節點的更新方式如下：

其中對于邊的更新就是由節點特征和原始邊權通過 MLP 過程更新的。對于節點的更新，由于一個節點連接有多條邊，所以需要進行聚合，聚合方式可以求和、取平均，還可以是取最大值。而更新的代數 L 自然也就決定了圖卷積網絡的感受野，當 L 越大時，與之相關的節點在時間跨度上越大。

上面這個圖從左往右是不同時間幀的節點，這里舉的例子是一個相鄰三幀的節點連接。原始的更新機制中，對于節點的更新會將周圍邊的影響通過求和的方式聚合。而這里作者考慮了時間因素，將時間分為了過去和未來兩個部分：

然后通過拼接的方式聚合，最后利用 MLP 結構實現特征降維。

可以看下消息傳遞代數的影響：

我們發現在 3 代的時候就已經達到了性能上限，不過為了保證魯棒性，作者還是選了 12.

不得不說離線的方法在 IDF1 指標上的表現很好：

PS：大家可能對于第一張圖中的 Edge Classification 有疑惑，即如何實現的邊的稀疏化。這里由于每條邊權都經過了一個 sigmoid 層，因此作者直接利用固定閾值 0.5 進行了裁剪。

GNN3DMOT

論文標題：Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/2006.07327

代碼鏈接：https://github.com/xinshuoweng/GNN3DMOT

從這篇開始，接下來的全是這個組的文章。這篇文章所涉及的算法框架很完整，值得一讀：

算法流程通過這張圖可以很容易得到，運動特征是通過 LSTM 網絡回歸得到的，表觀特征是通過 CNN 網絡得到的，二者相拼接。其中 3D 部分的輸入則是點云信息和 3D 位置信息，o 表示物體，d 表示檢測。將 2D 和 3D 特征拼接/相加得到每個節點的特征。而節點自然就是上一幀存在的目標和當前幀的觀測。

對于邊權/相似度矩陣的確定，作者嘗試了三種方式，余弦距離、歐氏距離還有網絡回歸，即上圖中的 Edge Regression：

當然這個也是邊權更新的機制，而對于節點 消息傳遞機制，作者也設計了四種：

方法很明了，我就不細講了，可以看到聚合方式都是求和。另外由算法框架示意圖可知，每次消息傳遞都會計算關聯矩陣的損失，那么為什么會采用 batch triplet loss呢？

作者把關聯矩陣中的每條邊權看作了 N 對匹配，三元組損失中，首先選取相鄰幀中的一對連接 i,j，然后分別選取不同 id 的兩幀節點 r,s，計算上述損失。即要保證不同幀間不同 id 身份的邊權的最小距離越大越好。而對于相似度損失，則是采用了兩種交叉熵損失：

效果如下：

可以看到利用網絡回歸的方式得到的相似度度量方式要比余弦距離和歐氏距離好， 2D 和 3D 特征融合的方式更優，結合了關聯矩陣和節點差異的聚合方式，即 Table7 中的 type4 更優。

GNNTrkForecast

論文標題：Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling

論文鏈接：https://arxiv.org/abs/2003.07847

代碼鏈接：https://github.com/xinshuoweng/GNNTrkForecast

這篇論文里面，作者通過 GNN 將 3D MOT 和軌跡預測結合在一起了。其中對于 GNN 網絡的構建以及關聯矩陣的獲取跟之前的論文幾乎一致，具體我們就不介紹了：

那么 3D MOT 分支實際上就是 GNN 模型中的一部分，是根據 GNN 的邊權矩陣進行數據關聯：

而對于軌跡預測分支，作者基于條件自編碼器的形式，設計的流程圖如下，由于這塊我不熟悉，所以我就不細講了。

效果如下：

JDMOT_GNN

論文標題：Joint Detection and Multi-Object Tracking with Graph Neural Networks

論文鏈接：https://arxiv.org/abs/2006.13164

也許是看到最近聯合檢測和跟蹤的框架很熱門，作者團隊又給加入了 GNN 模塊，所以我們簡單提一下：

最開始的表觀和運動特征部分就不提了，一個是 LSTM/MLP 回歸，一個是 Darknet53 回歸得到的。圖的構建依舊是以檢測框和目標作為節點，節點特征的更新則是：

這里面要注意的是兩個 head，其中檢測 head 的是根據各節點特征利用 MLP 降維得到用于分類和回歸的特征。而數據關聯 head 則是邊權，它的確定是依據節點特征的差異，通過三層全連接得到的：

最終效果如下：

可以看到單純用 GNN 做數據關聯的提升并不大，當然，這里并沒有做消融實驗，也不能妄下評論。

參考文獻

[1] Jiang X, Li P, Li Y, et al. Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking[J]. arXiv preprint arXiv:1907.05315, 2019.

[2] Ma C, Li Y, Yang F, et al. Deep association: End-to-end graph-based learning for multiple object tracking with conv-graph neural network[C]//Proceedings of the 2019 on International Conference on Multimedia Retrieval. 2019: 253-261.

[3] Jiahe L, Xu G, Tingting J.Graph Networks for Multiple Object Trackin[C]//The IEEE Winter Conference on Applications of Computer Vision (WACV).2020.

[4] Brasó G, Leal-Taixé L. Learning a neural solver for multiple object tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6247-6257.

[5] Weng X, Wang Y, Man Y, et al. GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning[J]. arXiv preprint arXiv:2006.07327, 2020.

[6] Weng X, Yuan Y, Kitani K. Joint 3d tracking and forecasting with graph neural network and diversity sampling[J]. arXiv preprint arXiv:2003.07847, 2020.

[7] Wang Y, Weng X, Kitani K. Joint Detection and Multi-Object Tracking with Graph Neural Networks[J]. arXiv preprint arXiv:2006.13164, 2020.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的论文盘点：基于图卷积GNN的多目标跟踪算法解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。