CVPR2020行人重識別算法論文解讀

Cross-modalityPersonre-identi?cationwithShared-Speci?cFeatureTransfer

具有特定共享特征變換的跨模態行人重識別

摘要：

跨模態行人重識別對智能視頻分析是一個難點，而又關鍵的技術。過去的研究主要集中在，將嵌入式不同模態放到同一個特征空間中，來訓練常用的表現形式。但是，僅僅訓練這些常用的特性，意味著會丟失大量的信息，降低特征顯著性的上限。

本文中，通過推薦一個新的特定跨模態特征轉換算法（稱為cm-SSFT），探測模態共享信息和特定模態特性來克服這個限制，提升重識別的性能。依據不同模態特征示例內容，在不同模態之間轉換共享和特定特征。推薦輔助特征研究策略，包括模態適應性，目標對抗訓練，重構增強性能，分別學習每種形態的區別性和互補性的共同特征和具體特征。整個cm-SSFT算法能用端到端方式訓練。用綜合實驗驗證真個算法的優勢，以及各個環節的效果。這個算法在兩個主流數據集上將mAP分別提高22.5% 和 19.3%。

關注的任務是紅外線-RGB跨模態行人重識別。主要想解決的問題是：以往大部分跨模態行人重識別算法一般都只關注shared
feature learning，而很少關注Specific
feature。因為Specific
feature在對面模態中是不存在的。例如在紅外線圖片中是沒有彩色顏色信息的。反之在彩圖中也不會有熱度信息。而實際上做過ReID的都知道，傳統ReID之所以性能很高，很大程度上就是有些“過擬合”到了這些specific信息上。比如衣服顏色一直是傳統ReID的一個重要的cue。于是從這個角度出發，想試圖利用specific特征。主要思路是利用近鄰信息。思路（motivation）是這樣：給定一紅外線query。當搜索彩色target時，可以先找到一些簡單的置信度高的彩色樣本（這些樣本大概率是紅外線query的positive樣本），把這些彩色樣本的顏色特異特征給與紅外線query。做了這件事后，紅外線query樣本可以利用這些彩色信息再去搜索更難的彩色樣本。這樣做與傳統做法的對比如下：

圖1：motivation和與傳統基于特征學習的方法的對比

基于這個思路，參考了以往使用GCN做傳統ReID的一些方法。提出了自己的算法。本文會大致介紹一下該算法的流程。也會從介紹一些bad
case和問題。歡迎各位討論。整體pipeline如下：

shared and specific feature learning：

這里就是follow了以往的做法。現在主流工作都會有shared支路和specific支路去提取兩種特征。在兩個支路上進行訓練，會使得backbone的整體判別力（discriminative）很強。具體細節可以參考。這里也同樣follow了這個做法，使用two-stream網絡學習shared和specific特征。

2. Shared and Specific Transfer Network

這里的思路主要是借鑒自SGGCN和Spectral Feature Transfer。這兩篇工作使用GCN去做跨樣本特征融合，本質上是平滑了特征，挖掘了樣本間的聯系。而這種做法恰好與要做的事情很吻合。前面的思路，即利用近鄰關系將specific特征在樣本間進行傳遞，本質也是個message passing的過程，所以在這里也利用這種思維。pipeline如下：

首先將每個樣本的特征表示成三段式的形式：【RGB-sp,
sh, IR-sp】。

即認為每一個樣本都有RGB特異特征，shared特征和紅外線特異特征三段。只是對于RGB樣本，其紅外線特異部分是0。同樣對于紅外線樣本，RGB特異部分是零。這種表示會便利于矩陣運算。整體特征矩陣寫為：

之后使用特征計算出樣本間的相似度矩陣A。而后利用矩陣A進行跨樣本特征融合，會同時propagate三種特征，利用GCN公式進行特征傳播：

這塊的細節可以去參考原文，整體的思路就是利用近鄰關系進行信息傳遞。會補全每個樣本缺失的對面模態的specific
feature，而且GCN的平滑特性也會使得shared feature魯棒性有所提高。最后三段式feature會被fusion進行訓練。

3. Complementary Learning

這一段其實是當初投NIPS時被argue后加入的點。即有review認為specific和shared feature很容易學成一個feature，即實際上差不多。specific并不是真正的specific。所以這里利用了很多方式去給特征做解糾纏，這塊思路恰好與CVPR另一篇做本任務的算法類似。大家可以去閱讀那一篇。這里也示例下sh與sp特征是什么樣子，進行了可視化：

Bad case討論：實驗細節可以見原文。本文最大的bad case其實是，這種做法在testing的時候需要multi-query。因為訓練的時候其實每個batch內RGB和紅外線圖片有多張，但在測試時理論上query模態的圖片只有一張（query自己），這會引起模態不平衡。所以初始Test時也包含了其他的query圖片（當然是不會包含label的），但是這個做法實際上一定程度上違背了ReID的限制，即理論上不應該看見其他的query圖片（所以定義除了當前query圖片外的其他query圖片為輔助集）。在原文中同樣利用實驗證明了輔助集對性能的影響：

可見即便單query也是有提高的。這里單query提高的原因思考為。即便query模態圖片只有一張。但是gallery模態的圖片有多張，gallery模態特異信息同樣是有利用價值的。所以會帶來提高。而在實際應用中，輔助集其實容易獲得。庫存中很容易會留存以往被檢索過的query圖片，所以并不會阻礙實際的應用潛力。這個問題也是未來會嘗試解決的事情。

總結

以上是生活随笔為你收集整理的CVPR2020行人重识别算法论文解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。