現在從目標檢測和單目標跟蹤方向轉來做多目標跟蹤的小伙伴應該有不少，但由于多目標跟蹤任務本身的復雜性，導致其入門會比目標檢測與單目標跟蹤困難不少。再加上論文分布在各個會議，開源代碼較少，都造成了多目標跟蹤的研究門檻較高。本文旨在帶領大家入門多目標跟蹤，了解多目標跟蹤領域的發展概況，讓大家更方便直觀地理解這個問題。

1. 簡介

多目標跟蹤，即MOT（Multi-Object Tracking），顧名思義，就是在一段視頻中同時跟蹤多個目標。MOT主要應用場景是安防監控和自動駕駛等，這些場景中我們往往需要對眾多目標同時進行追蹤。這是僅用目標檢測算法或單目標跟蹤算法都無法做到的，人們就自然就開始了對多目標跟蹤算法的。

DuKeMTMCT數據集，是一個典型的多目標跟蹤場景

而由于是多目標，自然就會產生新目標進入與舊目標消失的問題，這就是與單目標跟蹤算法區別最大的一點。而由于這一點區別，也就導致跟蹤策略的不同。在單目標跟蹤中，我們往往會使用給定的初始框，在后續視頻幀中對初始框內的物體進行位置預測。而多目標跟蹤算法，大部分都是不考慮初始框的，原因就是上面的目標消失與產生問題。取而代之，在多目標跟蹤領域常用的跟蹤策略是TBD（Tracking-by-Detecton），又或者也可叫DBT（Detection-Based-Tracking）。即在每一幀進行目標檢測，再利用目標檢測的結果來進行目標跟蹤，這一步我們一般稱之為數據關聯（Data Assoiation）。

這里自然引出了多目標跟蹤算法的一種分類：TBD（Tracking-by-Detecton）與DFT（Detection-Free Tracking），也即基于檢測的多目標跟蹤與基于初始框無需檢測器的多目標跟蹤。TBD則是目前學界業界研究的主流。下圖比較形象地說明了兩類算法的區別。

TBD與DFT

不得不提的是另一種多目標跟蹤算法的分類方式：在線跟蹤（Online）與離線跟蹤（Offline）。上文提到，大家往往會使用數據關聯來進行多目標跟蹤。而數據關聯的效果，與你能使用的數據是有著直接的關系的。在Online跟蹤中，我們只能使用當前幀及之前幀的信息來進行當前幀的跟蹤。而在Offline跟蹤中則沒有了這個限制，我們對每一幀的預測，都可以使用整個視頻的信息，這樣更容易獲得一個全局最優解。兩種方式各有優劣，一般視應用場合而定，Offline算法的效果一般會優于Online算法。而介于這兩者之間，還有一種稱之為Near-Online的跟蹤方式，即可以部分利用未來幀的信息。筆者認為，在實際應用中Near-Online的方式會是最合適的，其相關方法十分值得研究。下圖形象解釋了Online與Offline跟蹤的區別。

上圖為Online，下圖為Offline

關于Online，還有一點需要補充，Online跟蹤是不允許修改以往的跟蹤結果的，這一點也不難理解，因為一旦修改，算法自然就不再符合Online跟蹤不能利用未來幀的要求了，變成了NearOnline或者Offline。

2. 一些術語

看論文時經常會碰到一些術語，初入門的小伙伴可能會云里霧里似懂非懂。有必要在這里列出來。

Trajectory（軌跡）：一條軌跡對應這一個目標在一個時間段內的位置序列

Tracklet（軌跡段）：形成Trajectory過程中的軌跡片段。完整的Trajectory是由屬于同一物理目標的Tracklets構成的。

ID switch（ID切換）：又稱ID sw.。對于同一個目標，由于跟蹤算法誤判，導致其ID發生切換的次數稱為ID sw.。跟蹤算法中理想的ID switch應該為0。

3. 評價指標

對于多目標跟蹤，最主要的評價指標就是MOTA。這個指標綜合了三點因素：FP、FN、IDsw.。FP即False Postive，為誤檢測的目標數量；FN即False Negetive，為未檢出的真實目標數量；IDsw.即同一目標發生ID切換的次數。

MOTA越高，代表一個Tracker綜合性能越好，上限為100，下限負無窮。

除此之外，多目標跟蹤還有很多的評價指標，比如MOTP、IDF1、MT、ML、Frag等。作為入門，讀者最需要關注的就是MOTA，其他指標可以等對MOT有了進一步了解后再關注。

下表為MOTchallenge官網的Evaluation Measures，有興趣的讀者可以一看。

MOTchallenge：motchallenge.net/result

本系列的第一篇文章希望能帶大家對MOT有一個直觀的了解。暫未涉及任何具體算法，只是介紹了多目標跟蹤的任務，一些術語和評價指標。希望大家有什么問題可以在下面評論，歡迎交流討論。碼字倉促，文中若有錯誤還請大家不吝指教，多多包涵。

參考文獻

[1]Luo, W., Xing, J., Milan, A., Zhang, X., Liu, W., Zhao, X., & Kim, T.-K. (2014). Multiple Object Tracking: A Literature Review, 1–18. Retrieved from?Multiple Object Tracking: A Literature Review 往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 獲取本站知識星球優惠券，復制鏈接直接打開： https://t.zsxq.com/qFiUFMV 本站qq群704220115。加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【CV】带你入门多目标跟踪（一）领域概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。