MOT領域的一個新的SOTA方法，在FairMOT的基礎上提出了特征圖解耦和全局信息下的ReID Embedding的學習，前者和CSTrack思路類似，后者則采用了Deformable DETR里的deformable attention配合Transformer Encoder來捕獲和目標相關的全圖信息增強ReID的表示能力。

簡介

現有的多目標跟蹤方法為了速度通常會將檢測和ReID任務統一為一個網絡來完成，然而這兩個任務需要的是不同的特征，這也是之前很多方法提到的任務沖突問題。為了緩解這個問題，論文作者設計了Global Context Disentangling（GCD）模塊來對骨干網絡提取到的特征解耦為任務指定的特征。此外，作者還發現，此前的方法在使用ReID特征為主的關聯中，只考慮了檢測框的局部信息而忽視了全局語義相關性的考慮。對此，作者設計了Guided Transformer Encoder（GTE）模塊來學習更好的全局感知的ReID特征，這個模塊不是密集相關性的而是捕獲query節點和少量的自適應關鍵樣本位置之間的相關性信息。因此非常高效。實驗表明，由GCD和GTE構成的跟蹤框架RelationTrack在MOT16和MOT17上均達到SOTA表現，在MOT20上更是超過此前的所有方法。

• 論文標題

  RelationTrack: Relation-aware Multiple Object Tracking with Decoupled Representation

• 論文地址

  http://arxiv.org/abs/2105.04322

• 論文源碼

  暫未開源

介紹

目前主流的多目標跟蹤方法主要包含兩個子模型，即用于目標定位的檢測模型和用于軌跡連接的ReID模型。分開訓練檢測和ReID兩個模型可以在精度上獲得較好的表現，然而推理速度較慢，很難達到實時跟蹤的效果。一個較好的解決方案就是JDE首先提出的在一個網絡中聯合訓練檢測和ReID的思路。

遺憾的是，直接將這兩個任務放到一個網絡中聯合優化造成了精度大幅度的下降，這是因為這兩個任務存在嚴重的優化矛盾。對檢測分支而言，它期望同類目標之間的相似度盡量高，也就是網絡能夠最大化不同類目標之間的距離；但是，對ReID分支而言，它則希望最大化不同實例之間的距離（對行人跟蹤而言這些不同實例是同類別的）。它們不一致的優化目標阻礙了當前的MOT框架向更高效的形式發展。

為了緩解這個矛盾，作者設計了一個特征解耦模塊稱為Global Context Disentangling (GCD)，它將特征圖解耦為檢測任務指定和ReID任務指定的特征表示，如上圖所示。這個模塊的設計下文再闡述，不過經過實驗驗證，這個模塊帶來了1-2個點的收益，可見它對解決任務沖突是很有效的。

此外，作者發現，此前的方法通常利用局部信息來跟蹤目標，然而，實際上，目標和周圍目標以及背景之間的關系對于跟蹤任務是非常重要的。為了捕獲這種長程依賴，使用全局注意力是一個解決方案，但是全局注意力需要逐像素之間計算相關性以構成注意力圖，這在計算上是代價極為昂貴的，也嚴重阻礙了實時MOT任務的進行。作者又發現，其實并不是所有的像素都對query node（查詢節點）有影響的，因此只需要考慮和少數關鍵樣本之間的關系可能是更好的選擇，基于這個假設，作者使用deformable attention（源于Defomable DETR）來捕獲上下文關系。相比于全局注意力，deformable attention是非常輕量的，計算復雜度從$O\left(n^2\right)$降低到了$O\left(n\right)$。而且，相比于基于圖的受限鄰域信息收集，deformable attention可以自適應選擇整個圖像上合適的關鍵樣本來計算相關性。

接著，考慮到Transformer強大的建模能力，作者將deformable attention和Transformer Encoder進行了組合形成了Guided Transformer Encoder (GTE)模塊，它使得MOT任務可以在全局感受野范圍內捕獲逐像素的相關性。

為了證明RelationTrack的效果，作者在MOT多個benchmark數據集上進行了實驗，在IDF1上超越了此前的SOTA方法FairMOT3個點（MOT16）和2.4個點（MOT17）。

RelationTrack

問題描述

RelationTrack旨在完成目標檢測和基于ReID的軌跡關聯任務，由三個部分組成，分別是檢測器$?(?)$、ReID特征提取器$\psi (?)$以及關聯器$\phi (?)$，它們分別負責目標的定位、目標的特征提取以及軌跡的生成。

形式上，輸入圖像$I_t\in {\mathbb{R}}^{H\times W\times C}$，不妨記$?\left(I_t\right)$和$\psi \left(I_t\right)$為$b_t$和 $e_t$，顯然可以知道$b_t\in {\mathbb{R}}^{k\times 4}$且$e_t\in {\mathbb{R}}^{k\times D}$。上面的$H$、$W$和$C$分別表示輸入圖像的高、寬和通道數，$k$、$t$和$D$則表示檢測到的目標數、圖像的幀索引以及ReID embedding向量的維度。$b_t$和$e_t$分別指的是目標的邊框坐標和相應的ReID特征向量。在完成檢測和特征向量的提取之后，$\phi (?)$基于$e_t$對不同幀的$b_t$進行關聯從而生成軌跡，目前的主流思路是只要檢測和ReID足夠準，使用一個簡單的關聯器即可，如匈牙利算法。

整體框架

下面的這個圖就是RelationTrack的整體框架，總的來看分為五部分，分別是特征提取、特征解耦、ReID表示學習以及最后的數據關聯，整個框架都是針對單幀進行處理的。首先，圖像送入backbone中得到特征圖，隨后GCD模塊將這個特征圖解耦為兩個特征圖，分別為檢測信息和ReID信息，檢測分支通過檢測信息進行類似于CenterNet的目標定位而GTE模塊則負責生成判別性的目標特征表示。最后，有了目標框和對應的特征表示，就可以通過匈牙利算法進行關聯從而得到最終的跟蹤軌跡了。

GCD

在上面的整體框架了解后，我們來看看GCD（Global Context Disentangling）模塊具體是如何實現特征圖解耦的。實際上，GCD分為兩個階段進行，首先是全局上下文向量的生成然后利用這個向量去解耦輸入特征圖，它的流程其實就是上圖的中間部分。

記$x={\left\{x_i\right\}}_{i=1}^{N_p}$為輸入的特征圖（就是backbone得到的，一般是64通道的），這里的$N_p$表示像素數目即$H^{\prime }\times W^{\prime }$，$H^{\prime }$和$W^{\prime }$分別表示特征圖的高和寬。首先，第一個階段先是計算全局上下文特征向量，可以用下面的式子表示，這里的$W_k$表示的是一個可學習的線性變換，文中采用1x1卷積實現。這個過程其實是一個空間注意力圖的形成。

$$z=\sum _{j=1}^{N_p}\frac{\exp \left(W_k{x}_j\right)}{{\sum }_{m=1}^{N_p}\exp \left(W_k{x}_m\right)}{x}_j$$

不過，作者這里似乎沒有刻意提及利用這個注意力圖更新原始輸入在進行通道注意力得到一個特征向量，這個向量才是后續兩個轉換層的輸入。（個人理解）

接著，進入第二個階段，兩個轉換層（對應上圖中間部分的上下對稱的兩個結構，由卷積、LayerNorm、ReLU和卷積構成），它將上一個階段的輸出$z$結構成兩個任務指定的特征向量，將這個向量和原始的特征圖broadcast之后相加則可以獲得檢測任務特定的embedding $d={\left\{d_i\right\}}_{i=1}^{N_p}$和ReID任務指定的$r={\left\{r_i\right\}}_{i=1}^{N_p}$。這個過程可以通過下面的式子描述，其中的$W_{d1},W_{d2},W_{e1}$ and $W_{e2}$均表示可學習的參數矩陣，$\mathrm{ReL}U(?)$和${\Psi }_{\ln }(?)$表示線性修正單元和層標準化操作。

$$\begin{array}{l}{d}_i=x_i+W_{d2}ReLU\left({\Psi }_{ln}\left(W_{d1}z\right)\right)\\ r_i=x_i+W_{r2}ReLU\left({\Psi }_{ln}\left(W_{r1}z\right)\right)\end{array}$$

如果考慮批量輸入$I$，它的shape為$\left(B^{\prime },H^{\prime },W^{\prime },C^{\prime }\right)$，則${\Psi }_{ln}(?)$這個標準化可以使用下面的式子定義，其中的$I_{bhwc}$和${\tilde{I}}_{bhwc}$是輸入和輸出在$(b,h,w,c)$處的元素。

$$\begin{array}{l}{\mu }_b=\frac{1}{H^{\prime }{W}^{\prime }{C}^{\prime }}{\sum }_1^{H^{\prime }}{\sum }_1^{W^{\prime }}{\sum }_1^{C^{\prime }}{I}_{bhwc}\\ {\sigma }_b^2=\frac{1}{H^{\prime }{W}^{\prime }{C}^{\prime }}{\sum }_1^{H^{\prime }}{\sum }_1^{W^{\prime }}{\sum }_1^{C^{\prime }}{\left(I_{bhwc}?{\mu }_b\right)}^2\\ {\tilde{I}}_{bhwc}=\frac{I_{bhwc}?{\mu }_b}{\sqrt{{\sigma }_b^2+?}}\end{array}$$

從上面第一個式子可以看到，$z$的計算與$i$的選擇是無關的，$d$和$r$的所有元素都可以通過同一個$z$計算得到。由此，其實GCD的復雜度只有$O\left(C^2\right)$，相比于此前那些$O\left(HW{C}^2\right)$復雜度的全局注意力方法，GCD是非常高效的，后面的實驗也證明了其有效性。

GTE

下面來看看GTE（Guided Transformer Encoder）模塊是如何實現的。事實上，注意力作為學習判別性特征的有效手段已經被廣泛使用，但是此前的方法都使用固定感受野的卷積操作來獲得注意力圖，這其實忽視了不同目標和背景區域之間的全局相關性。為了彌補這一點，每個像素之間的全局注意力是作者考慮采用的手段，但是常規的全局注意力太龐大了，對分辨率較高的特征圖難以進行。

為此，作者采用deformable attention來捕獲上下文的結構化信息，它只需要在query nodes和自適應選擇的關鍵樣本之間計算相似性而不需要使用所有特征圖上的樣本點，這個操作可以將復雜度從$O\left(H^2{W}^{2}C\right)$ 降到$O(HWC)$。

進一步，作者結合deformable attention和Transformer Encoder的優勢，形成了GTE模塊，如下圖所示。結合Transformer出色的推理能力和可變形注意力的自適應全局感受野，GTE產生了非常有效的embedding。

下面，對著上面的圖我們來闡述一下Transformer encoder和deformable
attention的細節。

如上圖所示，這里采用Transformer的encoder結構來進行特征的，它的結構和原始的Transformer的Encoder非常類似，我這里不多贅述，不過原始的Self-Attention操作計算量過大，作者這里采用Deformble Attention替換它。

deformable attention的思想如下圖，對于下圖a感興趣區域的每個query node，deformable attention自適應在整個圖上選擇有價值的key樣本點，如下圖b所示，然后query和key進行交互即可得到下圖c所示的注意力圖。deformable attention的具體工作流程如上圖的下半部分所示，給定輸入特征圖$I$，三個獨立的encoder ${\Phi }_a(?),{\Phi }_b(?)$和${\Phi }_c(?)$分別編碼生成offset map $F_a$、key map $F_b$以及query map $F_c$。若每個query選擇$N_k$個key樣本，那么$F_a$將包含$2N_k$個通道，分別表示$N_k$個key相對于query的橫向和縱向的偏移。因此，對每個query節點$q\in I$而言，它的坐標$Z_q$以及key相對于$Z_q$的$F_a$上的偏移$△Z_k={\left\{△Z_k^i\right\}}_{i=1}^{N_k}$是可以知道的。

接著，根據key的坐標$Z_k={\left\{Z_k^i\right\}}_{i=1}^{N_k}$以及key map $F_b$，可以獲得key 樣本向量$V_k={\left\{V_k^i\right\}}_{i=1}^{N_k}$，它進一步被${\Phi }_d(?)$轉換。根據$Z_k$也可以對來自$F_c$的query attention map $V_q={\left\{V_q^i\right\}}_{i=1}^{N_k}$進行裁剪。最終得到的特征圖$F_o$可以通過下面的式子計算得到，這里的$W_m$是可學習參數，$?$則是hadamard積。

$$F_o=W_m\sum _{i=1}^{N_k}{V}_q^i?F_c^i$$

Detection and Association

檢測分支思路和CenterNet是一致的，跟蹤方面也是和FairMOT一樣的匈牙利算法，不過這里采用了MAT的軌跡填充策略來平衡正負樣本。

Optimization objectives

兩個分支共同優化，損失函數加權求和，和FairMOT的優化方式幾乎一樣，如下所示，不詳細展開了。

實驗

實驗數據集是MOT16、MOT17和MOT20，額外數據集和FairMOT一致，包括了CrowdHuman，預訓練策略也和之前一樣。

各個模塊的消融實驗如下。

解耦前后特征圖可視化如下，解耦效果還是很明顯的。

下面這個可視化則證明了RelationTrack的魯棒性很強。

總結

針對目前JDE范式下MOT方法的主流問題，即分支矛盾采用了特征圖結構的策略進行緩解，利用Deformable DETR的思路進行reid的全局信息捕獲，工作量還是挺大的，在MOT領域是值得關注的工作。本文也只是我本人從自身出發對這篇文章進行的解讀，想要更詳細理解的強烈推薦閱讀原論文。最后，如果我的文章對你有所幫助，歡迎一鍵三連，你的支持是我不懈創作的動力。

總結

以上是生活随笔為你收集整理的RelationTrack解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。