多目标跟踪（MOT）领域近期值得读的几篇论文
?PaperWeekly 原創 ·?作者｜黃飄
單位｜華中科技大學碩士生
研究方向｜多目標跟蹤
Siamese Track-RCNN
論文題目：Multiple Object Tracking with Siamese Track-RCNN
作者團隊：亞馬遜云服務識別實驗室
論文鏈接：https://arxiv.org/abs/2004.07786
這篇論文的思路很直接，其更多的創新還是還是基于 SOT 任務中的孿生結構和 MOT 中的聯合檢測和跟蹤的框架，將 SOT、Detection 和 ReID 利用多任務分支的方式合并為一個整體框架。
論文的整體其實通過上圖就能猜到：
SOT 分支，作者借助 GOTURN 的 SOT 孿生結構，基于上一幀目標位置在當前幀擴展區域進行搜索，這里與原始 SOT 任務不同的是：預測的是目標相對位移，而不是響應圖，并且預測的分類信息中的前景背景信息，作者解釋成目標是否可見，這一點在 MOT 數據集中存在目標可視度的標注。但是這里依舊是對每個目標做了一次 SOT，所以不得不用 GOTURN 這類效率高的網絡；
Detection 分支，這個很簡單，我之前的多篇博客已經介紹過了， 這里作者采用的就是就是?Tractor++ 的框架；
ReID 分支，這里僅僅是使用了共享特征，通過 triplet loss 進行訓練。
總的來說，論文思路就是讓多個任務共享特征。效果如下：
ArTIST
論文標題：ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking
作者團隊：澳大利亞國立大學機器視覺中心&EPFL CVLab
論文鏈接：https://arxiv.org/abs/2004.07482
通過我們之前對于聯合檢測和跟蹤的框架的討論，我們可以知道的是這類框架效果好的本質在于檢測器的性能，主要體現在跟蹤精度上，進而影響 ID Sw.。
但是如果不結合運動和表觀等其他信息的話，ID Sw. 和 FP 會大大增加，這篇論文就是從運動信息從層面對 Tracktor++ 進行了改進。
上圖是對比 Tracktor++ 對于遮擋的魯棒性，論文框架如下：
從公式我們大致可以理解為對于每個即將加入跟蹤軌跡的候選框，通過條件概率模型計算其屬于該軌跡的概率。從圖中我們能看到的是作者采用的框架式基于 LSTM 的，并且這里面涉及到了目標位置和形狀的回歸估計。
從論文中作者介紹的來看，作者通過 K-means 的方式得到了 K 類運動模式 (△x,△y,△w,△h)，由此得到近似最優的運動估計。
如上圖所示，對于每個目標（假設有 n 個），都會存在 k 種運動模型和 m 種可能的觀測框，也就是每一次都要進行 nkm 次估計，利用概率模型選擇最優的估計。這一步作者稱之為 Tracklet Scoring。
然后考慮到目標丟失所造成了軌跡缺失，作者直接采用丟失之前的運動模式進行估計，稱之為?Tracklet inplainting。
當然，最后還是通過匈牙利算法進行了數據關聯。所以這篇文章的創新點就在于基于 LSTM 的離散運動狀態估計。效果如下：
這里提一下，上面一欄是不基于圖像信息的算法。
SQE
論文標題：SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking
作者團隊：清華大學 & 曠視
論文鏈接：https://arxiv.org/abs/2004.07472
這篇論文我覺得很有意思，作者團隊設計了一種不需要 GT 的 MOT 評價指標 SQE，借此可以實現與原始評價體系相近的結果，這對于現實場景中的算法調優很有幫助。
在看這篇論文之前我們可以自己先思考一下，在計算 MOT 相關的評價指標時，一般分為跟蹤精度和跟蹤軌跡一致性，對于跟蹤精度而言，如果沒有 GT，無法估計。而對于跟蹤軌跡的一致性，原始方式是通過 GT 計算跟蹤軌跡中的 ID 變換情況，這一點可以近似估計。
這篇論文就是通過分析相同身份目標和不同身份目標之間的特征距離來估計ID的變換情況的，可是問題在于常規 MOT 任務中也有很多利用 ReID 來實現這種效果的，但是如何保證這里的估計一定準確呢？我們具體看論文：
作者首先分析了同一條軌跡內部的特征距離，可以看到 ID1 的軌跡中由于不存在其他身份的軌跡段，所以距離分布單一，而 ID2 中由于存在其他身份軌跡片段，所以存在了兩種距離分布。
而對于不同軌跡之間的特征距離，因為 ID1 和 ID2 軌跡中目標身份全無交集，所以也只存在一種距離分布，而 ID2 和 ID3 中存在軌跡交互，所以存在兩種距離分布。
為了度量上面所說的距離分布，作者引入了高斯混合模型，由于描述目標特征，距離度量模式采用歐氏距離：
借助目標特征的高斯混合模型和歐氏距離公式，得到了距離分布模型如上圖所示，并且特征距離標準化后服從卡方分布，這一點有點類似于馬氏距離，具體可以去看我前面介紹 Kalman 濾波器相關的文章。
當然，作者也說了，由于是采用的統計信息提到了均值和方差，另外 ReID 特征各個維度并不是獨立，所以分布假設也會存在一定誤差。
為了驗證這種方式的效果，作者做了相關實驗：
可以看到，對于同一身份的目標，無論其位于同一條軌跡還是不同軌跡，其大多數的距離分布都偏向于均值較小的部分。而不同身份的軌跡之間則是大多服從均值大的距離分布。
評價指標公式和算法如下：
其中 n 表示軌跡數量，L 表示軌跡平均長度，對于軌跡內部，FP 的判定是軌跡長度小于一定閾值和軌跡內距離分布標準差大于一定閾值。對于 dif，這里我理解是軌跡內身份變化程度，作者通過計算 2- 高斯混合模型的均值距離來判定是否存在多個身份。
對于軌跡之間，如果特征距離分布均值存在不同兩種分布，則說明兩條軌跡存在交叉，即 sim 誤差增加。
在實驗環節，作者采用的是 ReID 領域經典的 PCB 算法，感覺好像是直接用 PCB 進行多目標跟蹤。
可以看到，隨著 ReID 閾值的調整，IDF1 和 SQE 的值變化情況接近
要注意的是上面的 ReID 閾值是根據 SQE 評價指標提前設好的，而不是根據 GT 結果調整的，可以看到兩種度量方式的差異接近。
參考文獻
[1] Multiple Object Tracking with Siamese Track-RCNN.
[2] ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking.
[3] SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking.
點擊以下標題查看更多往期內容：?
變分推斷（Variational Inference）最新進展簡述
變分自編碼器VAE：原來是這么一回事
圖神經網絡三劍客：GCN、GAT與GraphSAGE
如何快速理解馬爾科夫鏈蒙特卡洛法？
深度學習預訓練模型可解釋性概覽
ICLR 2020：從去噪自編碼器到生成模型
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的多目标跟踪（MOT）领域近期值得读的几篇论文的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 消息称 10 月 8 日各手机厂商将开始
- 下一篇： 最新综述 | 强化学习中从仿真器到现实环