基于深度学习的多目标跟踪算法——ReID与MOT的联系
?PaperWeekly 原創 ·?作者｜黃飄
學校｜華中科技大學碩士
研究方向｜多目標跟蹤
最近基于深度學習的多目標跟蹤算法越來越多，有用于特征提取的，有改進單目標跟蹤器的，也有提升數據關聯的。如果真的要總結的話那就太多了，所以我準備分類別進行介紹，這次是這一系列最后一篇。我主要介紹基于行人重識別（ReID）算法的方法，相關 MOT 的基礎知識可以去我的專欄查看。
ReID與MOT的聯系
在 MOT 任務中，一般常用的特征模型有運動模型和表觀模型，其中表觀模型以行人重識別（ReID）類算法為主流。Re-ID 任務主要解決的是跨攝像頭場景下行人的識別與檢索，其中存在給定了身份的圖片序列 query，需要為不同攝像頭場景下的多組圖片 gallery 的行人身份進行判定。
隨著現在視覺任務需求的增加，車輛重識別任務也隨之誕生，包括與之對應的數據集。對于多目標跟蹤任務而言，由于目前只有行人和車輛的標注，所以基本只針對這兩類目標，不過最近出來一個 833 類的多目標跟蹤數據集 TAO [8] 。
以行人為例，多目標跟蹤相對于 Re-ID 多出了空間位置信息和時間聯系，其更多的是針對的同一攝像頭場景，還包括可能出現的相機運動。
除此之外，對于 Re-ID 任務而言，其不需要考慮新身份的誕生和舊身份的消失，所有目標在 query 中一般都有對應的身份，而 MOT 任務中需要判定是否有可能不存在現有跟蹤軌跡中，是否需要與已經丟失跟蹤軌跡身份進行匹配等等，二者的異同總結如下：
指標 | Re-ID | MOT |
研究對象 | 行人/車輛 | 行人/車輛 |
場景 | 跨攝像頭 | 單一攝像頭 |
先驗信息 | 表觀信息 | 時空運動信息、 表觀信息 |
研究任務 | 行人匹配 | 數據關聯 |
目標序列是否 嚴格對稱 | 是 | 否 |
其中，目標序列嚴格對稱的意思是指的待比對的兩個序列中，目標的 id 是否一致，如果不一致，則表明兩個序列各自可能存在新的目標。
借鑒這個問題里面的回答行人重識別（re-ID）與跟蹤（tracking）有什么區別 [9]。
我們可以看到 ReID 是一個相對底層的任務，隨著檢測、時序信息的加入，就可以拓展至行人檢索和視頻 ReID 任務，再引入 MOT 則可以得到更為高層的任務 MTMC（跨攝像頭多目標跟蹤）。
實際上 ReID 只是個任務名，我們不要將其具象化成了某一類數據集或者某一類深度框架，我們甚至可以直接用傳統的圖像特征來應用于這個任務，關鍵要看這個任務的定義。
MOT/MTMC中的ReID框架設計
2.1 DeepCC
論文標題： Features for multi-target multi-camera tracking and re-identification
論文來源：CVPR 2018
論文鏈接：https://arxiv.org/abs/1803.10859
代碼鏈接：https://github.com/SamvitJ/Duke-DeepCC
考慮到 MOT 和 MTMC 在表征模型方面的相似性，我們一并介紹。DeepCC 是 MTMC 領域的一篇經典論文，我們可以先看看 MTMC 的基礎流程：
給定多個攝像頭的視頻流，由檢測器得到所有的觀測行人信息，通過提取每個人的特征對每個行人進行關聯匹配/聚類，最后通過后處理進行完善。這篇論文主要做的是?ReID 任務在 MTMC 任務上的適配，其關注點不在網絡的設計上，而是從訓練策略上著手。
首先我們不妨思考下如果從 MTMC / MOT 任務中抽象出 ReID 任務，無非就是數據集的提取（即相同身份行人序列的抽取），網絡框架的設計（特征模型），還有訓練策略（損失函數的設計等），而且這里面抽取出來的行人序列在多樣性等方面可能都與 ReID 數據集有著差異。當然，不同視頻數據集之間的域自適應性問題是這幾個任務的共性問題。
由于我們這次主要關注的是表觀特征層面，所以對于其他的部分就暫時忽略。DeepCC 設計了一種自適應的三元組損失函數：
我們知道的是，在 batch-hard triplet loss，選取的是相同身份中距離最遠的樣本組為 positive，不同身份中距離最近的為 negative 組。
作者并沒有使用 batch-hard 的方式，通過自適應權重的設計我們可以看到，作者通過 softmax 的方式，使得相同身份樣本組中距離越大的權重越大，不同身份樣本組中距離越小的權重越大，相當于給了 easy sampels 更多的注意力。
為了防止數據量大了之后，很多 batch 不存在 hard samples，作者創建了兩個樣本池：
根據給定的 query，設計一組難例樣本池和一組隨機身份樣本池，在訓練的時候就可保證難例樣本對的正常獲取。
很可惜，由于國外對于個人隱私的保護，MTMC 相關的數據集都被禁用了。
2.2 NOTA
論文標題：Aggregate Tracklet Appearance Features for Multi-Object Tracking
論文來源：SPL 2019
論文鏈接：https://www.sci-hub.shop/10.1109/lsp.2019.2940922
如果說 DeepCC 關注的是 ReID 任務在 MTMC 任務中的訓練策略設計，那 NOTA 就是針對 ReID 任務在 MOT 任務中的網絡框架設計。熟悉 MOT 任務的人應該知道，由于不同質量觀測信息和遮擋等問題的影響，我們直接根據給定行人框提取的行人特征并不一定可靠，例如下圖中，一個行人框中可能存在多個行人和大量背景信息。
因此這篇文章設計了一種時空注意力網絡，其中空間注意力模型叫做 Position-Sensitive Mask，類似于檢測框架中的 R-FCN 算法，通過將空間分為 3x3 的網格，每個網格都預測前景/背景的概率，整體打分取平均得到這張圖屬于前景的概率。
緊接著，利用前景背景預測分支的 mask 對預測的注意力 mask 進行 element-wise 乘法，相當于一次過濾，從而得到空間注意力，再對表觀特征進行一次 element-wise 乘法。那么時間注意力來自哪里呢？
作者所針對的是測試階段的跟蹤序列，以前景背景 mask 作為時間注意力，然后對跟蹤序列每個 patch 的特征和前景背景 mask 進行加權融合得到軌跡特征，用于軌跡相似度計算：
而關于特征模型，這篇論文做了很多實驗，挺有價值的：
2.3 LAAM
論文標題：Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking
論文來源：CVPR 2019 WorkShop
論文鏈接：https://arxiv.org/abs/1911.12037
代碼鏈接：https://github.com/hou-yz/DeepCC-local
LAAM 這篇關注的主要是 ReID 任務在 MTMC 任務中的數據集構建和訓練策略，這里 [10] 有作者的詳細講解，我也相應地談談。我們知道無論是 Tracktor++ [4] 還是 DeepSort [5]，二者都是單獨訓練的 ReID 特征模型，然后直接應用于 MOT 任務。LAAM 一文就是提出了一個 re-ID 特征是否適合直接用于跟蹤任務的問題。
作者提到：
由于目標（行人/車輛）軌跡（trajectory）的連續性，在一般情況下，跟蹤系統只需要匹配一個局部鄰域中的目標，而不需要全局匹配。
局部鄰域：對于單相機跟蹤，指代同相機的連續幀內的樣本；對于跨相機跟蹤，指代相鄰（距離較小）的幾個相機（如下圖小框中的一組相機）內的樣本。
全局：指代全部相機中的樣本。
跟蹤系統中的匹配一般被限制在局部鄰域內，而應用于相似度估計的重識別特征，則是從全局學到的，相似度估計的結果直接決定數據匹配的性能。在這個關鍵部分，出現了局部 vs 全局的失配，則會對系統整體性能有很大影響。
的確，在 MTMC 任務中，如果處理的是較短時間內的連續視頻幀，目標更傾向于出現在較小的局部空間內，并且特征差異性并沒有很大。
對此作者就提出對相機內和相機之間的樣本分開訓練，即同相機內的正負樣本來自于同一相機，不同相機內的正負樣本來自于不同相機。
雖然方法很簡單，但是也具有一定啟發意義：
2.4 STRN
論文標題：Spatial-temporal relation networks for multi-object tracking
論文來源：ICCV 2019
論文鏈接：https://arxiv.org/abs/1904.11489
在 MOT 任務中，除了表觀特征，還存在運動特征，除此之外，跟蹤序列與跟蹤序列/目標之間的相似度度量也是一個問題。
STRN 這篇論文所針對的就是運動表觀特征的結合、跟蹤序列特征的融合和目標與周圍目標間的交互。下圖中雖然 t 幀中中心目標被遮擋了，但是其周圍目標還在，所以依舊被跟蹤到了，這一點對于遮擋問題有一定緩解能力。
首先，作者利用周圍目標表觀特征對中心目標的特征進行更新：
其中周圍目標的注意力模型（ORM）權重是通過一組仿射矩陣求得周圍目標與中心目標的相似度和位置形狀相似度加權得到的。
而對于時間信息，同樣地，就是對于跟蹤序列中不同特征的注意力打分：
接下來，作者對于每條跟蹤序列和每個觀測行人之間的相似度度量進行了研究，首先是將跟蹤序列最新的一部分特征加權融合，再與待比對特征進行拼接，通過一個線性轉換得到表觀關聯性特征。
同樣地，計算出二者的余弦距離：
那么對于位置信息 L 和運動信息 M 則有：
我們可以看到的是，這里面大多數的相似性度量都是人為設定的，但是也都引入了線性變換矩陣 W，這些都是通過一個小網絡得來的：
整體框架如下：
其效果如下：
總結
這次我主要介紹了 ReID 和 MOT / MTMC 等跟蹤人物的結合，可以看到 ReID 任務可以應用于跟蹤人物中的表觀特征模型部分。而應用時則需要注意數據集構建的差異、網絡框架的設計、訓練策略的問題、ReID 中域自適應性問題、特征融合與選擇等問題。
隨著這兩年聯合檢測和跟蹤的框架的興起，在這類集成框架中引入 ReID 分支的算法也相繼出現，包括 JDE [11] 和 FairMOT [12] 等。那么單獨使用 ReID 特征進行跟蹤的話效果會如何呢？各位不妨試試。
參考文獻
[1] Ristani E, Tomasi C. Features for multi-target multi-camera tracking and re-identification[C]. in: Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. 6036-6046.
[2] Chen L, Ai H, Chen R, et al. Aggregate Tracklet Appearance Features for Multi-Object Tracking[J]. IEEE Signal Processing Letters, 2019, 26(11): 1613-1617.
[3] Yunzhong H, Liang Z, Zhongdao W, et al. Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking[J]. arXiv preprint arXiv:1911.12037, 2019.
[4] Bergmann P, Meinhardt T, Leal-Taixe L. Tracking without bells and whistles[C]. in: Proceedings of the IEEE International Conference on Computer Vision. 2019. 941-951.
[5] Wojke N, Bewley A, Paulus D. Simple online and realtime tracking with a deep association metric[C]. in: 2017 IEEE international conference on image processing (ICIP). IEEE, 2017. 3645-3649.
[6] Xu J, Cao Y, Zhang Z, et al. Spatial-temporal relation networks for multi-object tracking[C]. in: Proceedings of the IEEE International Conference on Computer Vision. 2019. 3988-3998.
[7] Wang Z, Zheng L, Liu Y, et al. Towards Real-Time Multi-Object Tracking[J]. arXiv preprint arXiv:1909.12605, 2019.
[8] http://taodataset.org/
[9] https://www.zhihu.com/question/68584669/answer/326110383
[10] https://zhuanlan.zhihu.com/p/96999382
[11] https://zhuanlan.zhihu.com/p/125395219
[12] https://zhuanlan.zhihu.com/p/126558285
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的基于深度学习的多目标跟踪算法——ReID与MOT的联系的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 苹果 iOS / iPadOS 18.1
- 下一篇： 苹果 macOS 15.1 开发者预览版