多目标跟踪（MOT）领域近期值得读的几篇论文
?PaperWeekly 原創(chuàng) ·?作者｜黃飄
單位｜華中科技大學(xué)碩士生
研究方向｜多目標(biāo)跟蹤
Siamese Track-RCNN
論文題目：Multiple Object Tracking with Siamese Track-RCNN
作者團(tuán)隊：亞馬遜云服務(wù)識別實驗室
論文鏈接：https://arxiv.org/abs/2004.07786
這篇論文的思路很直接，其更多的創(chuàng)新還是還是基于 SOT 任務(wù)中的孿生結(jié)構(gòu)和 MOT 中的聯(lián)合檢測和跟蹤的框架，將 SOT、Detection 和 ReID 利用多任務(wù)分支的方式合并為一個整體框架。
論文的整體其實通過上圖就能猜到：
SOT 分支，作者借助 GOTURN 的 SOT 孿生結(jié)構(gòu)，基于上一幀目標(biāo)位置在當(dāng)前幀擴(kuò)展區(qū)域進(jìn)行搜索，這里與原始 SOT 任務(wù)不同的是：預(yù)測的是目標(biāo)相對位移，而不是響應(yīng)圖，并且預(yù)測的分類信息中的前景背景信息，作者解釋成目標(biāo)是否可見，這一點在 MOT 數(shù)據(jù)集中存在目標(biāo)可視度的標(biāo)注。但是這里依舊是對每個目標(biāo)做了一次 SOT，所以不得不用 GOTURN 這類效率高的網(wǎng)絡(luò)；
Detection 分支，這個很簡單，我之前的多篇博客已經(jīng)介紹過了， 這里作者采用的就是就是?Tractor++ 的框架；
ReID 分支，這里僅僅是使用了共享特征，通過 triplet loss 進(jìn)行訓(xùn)練。
總的來說，論文思路就是讓多個任務(wù)共享特征。效果如下：
ArTIST
論文標(biāo)題：ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking
作者團(tuán)隊：澳大利亞國立大學(xué)機(jī)器視覺中心&EPFL CVLab
論文鏈接：https://arxiv.org/abs/2004.07482
通過我們之前對于聯(lián)合檢測和跟蹤的框架的討論，我們可以知道的是這類框架效果好的本質(zhì)在于檢測器的性能，主要體現(xiàn)在跟蹤精度上，進(jìn)而影響 ID Sw.。
但是如果不結(jié)合運動和表觀等其他信息的話，ID Sw. 和 FP 會大大增加，這篇論文就是從運動信息從層面對 Tracktor++ 進(jìn)行了改進(jìn)。
上圖是對比 Tracktor++ 對于遮擋的魯棒性，論文框架如下：
從公式我們大致可以理解為對于每個即將加入跟蹤軌跡的候選框，通過條件概率模型計算其屬于該軌跡的概率。從圖中我們能看到的是作者采用的框架式基于 LSTM 的，并且這里面涉及到了目標(biāo)位置和形狀的回歸估計。
從論文中作者介紹的來看，作者通過 K-means 的方式得到了 K 類運動模式 (△x,△y,△w,△h)，由此得到近似最優(yōu)的運動估計。
如上圖所示，對于每個目標(biāo)（假設(shè)有 n 個），都會存在 k 種運動模型和 m 種可能的觀測框，也就是每一次都要進(jìn)行 nkm 次估計，利用概率模型選擇最優(yōu)的估計。這一步作者稱之為 Tracklet Scoring。
然后考慮到目標(biāo)丟失所造成了軌跡缺失，作者直接采用丟失之前的運動模式進(jìn)行估計，稱之為?Tracklet inplainting。
當(dāng)然，最后還是通過匈牙利算法進(jìn)行了數(shù)據(jù)關(guān)聯(lián)。所以這篇文章的創(chuàng)新點就在于基于 LSTM 的離散運動狀態(tài)估計。效果如下：
這里提一下，上面一欄是不基于圖像信息的算法。
SQE
論文標(biāo)題：SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking
作者團(tuán)隊：清華大學(xué) & 曠視
論文鏈接：https://arxiv.org/abs/2004.07472
這篇論文我覺得很有意思，作者團(tuán)隊設(shè)計了一種不需要 GT 的 MOT 評價指標(biāo) SQE，借此可以實現(xiàn)與原始評價體系相近的結(jié)果，這對于現(xiàn)實場景中的算法調(diào)優(yōu)很有幫助。
在看這篇論文之前我們可以自己先思考一下，在計算 MOT 相關(guān)的評價指標(biāo)時，一般分為跟蹤精度和跟蹤軌跡一致性，對于跟蹤精度而言，如果沒有 GT，無法估計。而對于跟蹤軌跡的一致性，原始方式是通過 GT 計算跟蹤軌跡中的 ID 變換情況，這一點可以近似估計。
這篇論文就是通過分析相同身份目標(biāo)和不同身份目標(biāo)之間的特征距離來估計ID的變換情況的，可是問題在于常規(guī) MOT 任務(wù)中也有很多利用 ReID 來實現(xiàn)這種效果的，但是如何保證這里的估計一定準(zhǔn)確呢？我們具體看論文：
作者首先分析了同一條軌跡內(nèi)部的特征距離，可以看到 ID1 的軌跡中由于不存在其他身份的軌跡段，所以距離分布單一，而 ID2 中由于存在其他身份軌跡片段，所以存在了兩種距離分布。
而對于不同軌跡之間的特征距離，因為 ID1 和 ID2 軌跡中目標(biāo)身份全無交集，所以也只存在一種距離分布，而 ID2 和 ID3 中存在軌跡交互，所以存在兩種距離分布。
為了度量上面所說的距離分布，作者引入了高斯混合模型，由于描述目標(biāo)特征，距離度量模式采用歐氏距離：
借助目標(biāo)特征的高斯混合模型和歐氏距離公式，得到了距離分布模型如上圖所示，并且特征距離標(biāo)準(zhǔn)化后服從卡方分布，這一點有點類似于馬氏距離，具體可以去看我前面介紹 Kalman 濾波器相關(guān)的文章。
當(dāng)然，作者也說了，由于是采用的統(tǒng)計信息提到了均值和方差，另外 ReID 特征各個維度并不是獨立，所以分布假設(shè)也會存在一定誤差。
為了驗證這種方式的效果，作者做了相關(guān)實驗：
可以看到，對于同一身份的目標(biāo)，無論其位于同一條軌跡還是不同軌跡，其大多數(shù)的距離分布都偏向于均值較小的部分。而不同身份的軌跡之間則是大多服從均值大的距離分布。
評價指標(biāo)公式和算法如下：
其中 n 表示軌跡數(shù)量，L 表示軌跡平均長度，對于軌跡內(nèi)部，FP 的判定是軌跡長度小于一定閾值和軌跡內(nèi)距離分布標(biāo)準(zhǔn)差大于一定閾值。對于 dif，這里我理解是軌跡內(nèi)身份變化程度，作者通過計算 2- 高斯混合模型的均值距離來判定是否存在多個身份。
對于軌跡之間，如果特征距離分布均值存在不同兩種分布，則說明兩條軌跡存在交叉，即 sim 誤差增加。
在實驗環(huán)節(jié)，作者采用的是 ReID 領(lǐng)域經(jīng)典的 PCB 算法，感覺好像是直接用 PCB 進(jìn)行多目標(biāo)跟蹤。
可以看到，隨著 ReID 閾值的調(diào)整，IDF1 和 SQE 的值變化情況接近
要注意的是上面的 ReID 閾值是根據(jù) SQE 評價指標(biāo)提前設(shè)好的，而不是根據(jù) GT 結(jié)果調(diào)整的，可以看到兩種度量方式的差異接近。
參考文獻(xiàn)
[1] Multiple Object Tracking with Siamese Track-RCNN.
[2] ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking.
[3] SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking.
點擊以下標(biāo)題查看更多往期內(nèi)容：?
變分推斷（Variational Inference）最新進(jìn)展簡述
變分自編碼器VAE：原來是這么一回事
圖神經(jīng)網(wǎng)絡(luò)三劍客：GCN、GAT與GraphSAGE
如何快速理解馬爾科夫鏈蒙特卡洛法？
深度學(xué)習(xí)預(yù)訓(xùn)練模型可解釋性概覽
ICLR 2020：從去噪自編碼器到生成模型
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。
總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標(biāo)準(zhǔn)：
? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?
? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通
????
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結(jié)
以上是生活随笔為你收集整理的多目标跟踪（MOT）领域近期值得读的几篇论文的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 消息称 10 月 8 日各手机厂商将开始
- 下一篇： 宜家小火车头坏了怎么修