現(xiàn)在從目標(biāo)檢測(cè)和單目標(biāo)跟蹤方向轉(zhuǎn)來(lái)做多目標(biāo)跟蹤的小伙伴應(yīng)該有不少，但由于多目標(biāo)跟蹤任務(wù)本身的復(fù)雜性，導(dǎo)致其入門會(huì)比目標(biāo)檢測(cè)與單目標(biāo)跟蹤困難不少。再加上論文分布在各個(gè)會(huì)議，開(kāi)源代碼較少，都造成了多目標(biāo)跟蹤的研究門檻較高。本文旨在帶領(lǐng)大家入門多目標(biāo)跟蹤，了解多目標(biāo)跟蹤領(lǐng)域的發(fā)展概況，讓大家更方便直觀地理解這個(gè)問(wèn)題。

1. 簡(jiǎn)介

多目標(biāo)跟蹤，即MOT（Multi-Object Tracking），顧名思義，就是在一段視頻中同時(shí)跟蹤多個(gè)目標(biāo)。MOT主要應(yīng)用場(chǎng)景是安防監(jiān)控和自動(dòng)駕駛等，這些場(chǎng)景中我們往往需要對(duì)眾多目標(biāo)同時(shí)進(jìn)行追蹤。這是僅用目標(biāo)檢測(cè)算法或單目標(biāo)跟蹤算法都無(wú)法做到的，人們就自然就開(kāi)始了對(duì)多目標(biāo)跟蹤算法的。

DuKeMTMCT數(shù)據(jù)集，是一個(gè)典型的多目標(biāo)跟蹤場(chǎng)景

而由于是多目標(biāo)，自然就會(huì)產(chǎn)生新目標(biāo)進(jìn)入與舊目標(biāo)消失的問(wèn)題，這就是與單目標(biāo)跟蹤算法區(qū)別最大的一點(diǎn)。而由于這一點(diǎn)區(qū)別，也就導(dǎo)致跟蹤策略的不同。在單目標(biāo)跟蹤中，我們往往會(huì)使用給定的初始框，在后續(xù)視頻幀中對(duì)初始框內(nèi)的物體進(jìn)行位置預(yù)測(cè)。而多目標(biāo)跟蹤算法，大部分都是不考慮初始框的，原因就是上面的目標(biāo)消失與產(chǎn)生問(wèn)題。取而代之，在多目標(biāo)跟蹤領(lǐng)域常用的跟蹤策略是TBD（Tracking-by-Detecton），又或者也可叫DBT（Detection-Based-Tracking）。即在每一幀進(jìn)行目標(biāo)檢測(cè)，再利用目標(biāo)檢測(cè)的結(jié)果來(lái)進(jìn)行目標(biāo)跟蹤，這一步我們一般稱之為數(shù)據(jù)關(guān)聯(lián)（Data Assoiation）。

這里自然引出了多目標(biāo)跟蹤算法的一種分類：TBD（Tracking-by-Detecton）與DFT（Detection-Free Tracking），也即基于檢測(cè)的多目標(biāo)跟蹤與基于初始框無(wú)需檢測(cè)器的多目標(biāo)跟蹤。TBD則是目前學(xué)界業(yè)界研究的主流。下圖比較形象地說(shuō)明了兩類算法的區(qū)別。

TBD與DFT

不得不提的是另一種多目標(biāo)跟蹤算法的分類方式：在線跟蹤（Online）與離線跟蹤（Offline）。上文提到，大家往往會(huì)使用數(shù)據(jù)關(guān)聯(lián)來(lái)進(jìn)行多目標(biāo)跟蹤。而數(shù)據(jù)關(guān)聯(lián)的效果，與你能使用的數(shù)據(jù)是有著直接的關(guān)系的。在Online跟蹤中，我們只能使用當(dāng)前幀及之前幀的信息來(lái)進(jìn)行當(dāng)前幀的跟蹤。而在Offline跟蹤中則沒(méi)有了這個(gè)限制，我們對(duì)每一幀的預(yù)測(cè)，都可以使用整個(gè)視頻的信息，這樣更容易獲得一個(gè)全局最優(yōu)解。兩種方式各有優(yōu)劣，一般視應(yīng)用場(chǎng)合而定，Offline算法的效果一般會(huì)優(yōu)于Online算法。而介于這兩者之間，還有一種稱之為Near-Online的跟蹤方式，即可以部分利用未來(lái)幀的信息。筆者認(rèn)為，在實(shí)際應(yīng)用中Near-Online的方式會(huì)是最合適的，其相關(guān)方法十分值得研究。下圖形象解釋了Online與Offline跟蹤的區(qū)別。

上圖為Online，下圖為Offline

關(guān)于Online，還有一點(diǎn)需要補(bǔ)充，Online跟蹤是不允許修改以往的跟蹤結(jié)果的，這一點(diǎn)也不難理解，因?yàn)橐坏┬薷?#xff0c;算法自然就不再符合Online跟蹤不能利用未來(lái)幀的要求了，變成了NearOnline或者Offline。

2. 一些術(shù)語(yǔ)

看論文時(shí)經(jīng)常會(huì)碰到一些術(shù)語(yǔ)，初入門的小伙伴可能會(huì)云里霧里似懂非懂。有必要在這里列出來(lái)。

Trajectory（軌跡）：一條軌跡對(duì)應(yīng)這一個(gè)目標(biāo)在一個(gè)時(shí)間段內(nèi)的位置序列

Tracklet（軌跡段）：形成Trajectory過(guò)程中的軌跡片段。完整的Trajectory是由屬于同一物理目標(biāo)的Tracklets構(gòu)成的。

ID switch（ID切換）：又稱ID sw.。對(duì)于同一個(gè)目標(biāo)，由于跟蹤算法誤判，導(dǎo)致其ID發(fā)生切換的次數(shù)稱為ID sw.。跟蹤算法中理想的ID switch應(yīng)該為0。

3. 評(píng)價(jià)指標(biāo)

對(duì)于多目標(biāo)跟蹤，最主要的評(píng)價(jià)指標(biāo)就是MOTA。這個(gè)指標(biāo)綜合了三點(diǎn)因素：FP、FN、IDsw.。FP即False Postive，為誤檢測(cè)的目標(biāo)數(shù)量；FN即False Negetive，為未檢出的真實(shí)目標(biāo)數(shù)量；IDsw.即同一目標(biāo)發(fā)生ID切換的次數(shù)。

MOTA越高，代表一個(gè)Tracker綜合性能越好，上限為100，下限負(fù)無(wú)窮。

除此之外，多目標(biāo)跟蹤還有很多的評(píng)價(jià)指標(biāo)，比如MOTP、IDF1、MT、ML、Frag等。作為入門，讀者最需要關(guān)注的就是MOTA，其他指標(biāo)可以等對(duì)MOT有了進(jìn)一步了解后再關(guān)注。

下表為MOTchallenge官網(wǎng)的Evaluation Measures，有興趣的讀者可以一看。

MOTchallenge：motchallenge.net/result

本系列的第一篇文章希望能帶大家對(duì)MOT有一個(gè)直觀的了解。暫未涉及任何具體算法，只是介紹了多目標(biāo)跟蹤的任務(wù)，一些術(shù)語(yǔ)和評(píng)價(jià)指標(biāo)。希望大家有什么問(wèn)題可以在下面評(píng)論，歡迎交流討論。碼字倉(cāng)促，文中若有錯(cuò)誤還請(qǐng)大家不吝指教，多多包涵。

參考文獻(xiàn)

[1]Luo, W., Xing, J., Milan, A., Zhang, X., Liu, W., Zhao, X., & Kim, T.-K. (2014). Multiple Object Tracking: A Literature Review, 1–18. Retrieved from?Multiple Object Tracking: A Literature Review 往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯 獲取本站知識(shí)星球優(yōu)惠券，復(fù)制鏈接直接打開(kāi)： https://t.zsxq.com/qFiUFMV 本站qq群704220115。加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【CV】带你入门多目标跟踪（一）领域概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。