Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification簡單翻譯理解

• Abstract
• Introduction
• Related Work
• The Proposed Method

Abstract

行人重識別(Re-ID)是一項具有挑戰性的任務，由于身份樣本和成像條件的高差異。盡管最近隨著在深度學習方面的進步已經在固定場景中取得了顯著的準確性，但是對于不可見的目標域，很少有作品能很好地推廣。一種常用的解決方法是通過聚類給未標記的目標圖像配上偽標簽，然后對模型進行再訓練。然而，聚類方法往往會引入有噪聲的標簽，丟棄作為離群值的低置信值樣本，這可能會阻礙再訓練過程，從而限制泛化能力。在本研究中，作者認為通過在聚類后明確地加入樣本過濾程序，可以更有效地使用挖掘的樣本。為此設計了一個非對稱協同教學框架，該框架通過協同兩個模型為對方選擇可能具有干凈標簽的數據來抵抗標簽噪聲。同時，一個模型接收盡可能純的樣本，而另一個模型接收盡可能多樣化的樣本。這個過程鼓勵選擇的訓練樣本既干凈又雜，并且這兩個模型可以迭代地相互促進。大量的實驗表明，所提出的框架可以一致地受益于大多數基于聚類的方法，并提高了最新的自適應精度。

Introduction

行人重識別的目標是通過給定的探測圖像在監控視頻中定位目標人物。隨著深度學習模型的快速發展，公共數據集中的person re-ID的準確性大大提高。然而，在源域上訓練的模型經常會受到域轉移的影響，從而導致在不同的目標域上性能下降。

為了緩解這一問題，近期的作品主要域自適應(UDA)是將知識從有標記的源域轉移到無標記的目標域。這些工作主要有兩個方面，分配對齊和目標偽標簽發現等。前者旨在減小共同空間中域之間的分布差距，如圖像級和屬性水平。后者試圖利用目標樣本之間的潛在關系，預測偽標簽用于模型再訓練，如基于聚類分配偽標簽。其中，基于聚類的方法報道了非常具有競爭性的準確性。這些方法通常采用一種迭代過程，根據聚類預測未標記目標樣本的偽身份，并利用這些預測樣本對模型進行微調。盡管基于聚類的方法取得了良好的效果，但主要存在兩個缺點。一方面，即使使用現代的聚類方法，也不能保證聚類的準確性，從而使聚類分配的偽標簽存在噪聲。用帶有噪聲的標簽的模型訓練錯誤的身份，無疑會損害識別性能。另一方面，大多數聚類方法傾向于將低置信值樣本作為離群值，不給它們分配聚類標簽，如DBSCAN。這些異常值通常是遇到高圖像變化的硬樣本。如果在訓練時不考慮這些樣本，模型可能會在識別高變異檢驗樣本時出現問題。但是，直接將它們分配到最近的聚類中會帶來更多的噪聲標簽，阻礙模型的再訓練。

協同教學(CT)是一種常用的帶噪標簽的訓練模型算法，它通過將一個網絡損失較小的樣本喂給另一個網絡來學習兩個網絡。然而，大多數的協同教學框架利用了兩個網絡的對稱輸入，這不能有效地應用于基于聚類的跨域行人重識別。這是因為置信度低的訓練樣本在訓練過程中損失較大。由于使用對稱輸入，模型總是選擇簡單的樣本，而忽略了小批量訓練中的低置信樣本。因此，上述第二個缺點仍然存在，將導致reID模型達到局部最小值。

圖1:提出的非對稱協同教學框架(ACT)。“M”和“C”分別表示主模型和協作模型。首先對源標記數據進行訓練，然后對聚類預測的偽標簽目標數據進行微調，得到“M”和“C”的初始權值。“M”接收來自inliers和outliers盡可能不同的樣本，而“C”在ACT期間從inliers接受盡可能純凈的樣本。這一過程促使兩種模式相互促進彼此的辨別能力。

首先選擇最先進的基于聚類的方法作為基準，并提出了一種非對稱協同教學框架，以消除上述兩個缺點帶來的負面影響。具體來說，我們首先根據聚類結果將目標樣本分為內群點和離群點(如圖1所示)。在本文中，我們將聚類方法識別的低置信樣本視為離群點，其余為內群點。然后，用兩個模型訓練我們的框架。第一種是主要模型，目的是從內群層點中推斷出損失較小的樣本;第二種是協作者模型，目的是從離群值中估計損失較小的樣本。選取由某一模型推斷/估計的樣本進行另一模型的訓練。這個訓練過程與傳統的協同教學相似，除了兩個模型的輸入是不對稱的，即兩個模型的訓練數據來自兩個不同的數據流。這樣，選擇損失較小的樣本，就可以保證用盡可能干凈的數據訓練模型。此外，這兩個模型是相互迭代推進的。一方面，主模型試圖從內群點中挖掘盡可能純粹的樣本，以維護協作者模型的基本表示。另一方面，合作者模型試圖從離群值中選擇盡可能多樣化的樣本，以進一步提高主模型的識別能力。我們的貢獻概括為三個方面:
介紹了在跨域人識別中采用協同教學技術來抵抗聚類產生的帶噪標簽。實驗表明，使用過濾后的數據進行學習可以持續提高自適應精度。
我們將未標記的目標數據劃分為inliers和outliers，并設計了一個非對稱協同教學(ACT)框架，使reid模型在適應的早期階段看到困難的樣本。實驗表明，非對稱方法在處理硬樣本時比對稱方法更有效。
在三個大規模數據集上的實驗表明，我們的方法可以應用于各種基于聚類的方法，并在person re-ID中產生最先進的自適應精度。

Related Work

最近關于跨域re-ID的研究主要可以歸結為分布對齊和基于聚類的改編。分布對齊試圖縮小公共空間的分布差距，這可以進一步概括為圖象層和屬性層。對于圖像級適應方法，PT-GAN使用cycleo -gan或Star-GAN將已標記源圖像的前景轉換為目標相機風格進行適應。類似地，SPGAN利用了Cycle-GAN和名為“自相似性”和“域不同”的附加約束來提高精確度。但是，由于生成的圖像與真實圖像相比還有很大的差距，圖像級自適應算法不能保證生成的圖像的身份。對于屬性級自適應方法，MMFA試圖通過最小化平均最大差異(mean maximum difference, MMD)來對齊不同數據集之間中層語義屬性的分布。TJ-AIDL利用多分支網絡，建立了對目標域最優的識別和屬性敏感的特征表示空間。這些工作需要對源數據進行屬性標注，在實際操作中很難獲得。

基于聚類的適應是適應reid模型的另一種直接的方法。Fan等人使用k-means預測未標記目標數據的偽標簽，用于模型微調。然而，在聚類中很難確定正確的k值。Song et al.提出了一種基于dbscan的自適應方法，該方法可以根據特征的密度來發現簇的數量。基于聚類的方法雖然可以獲得較高的領域適應reid精度，但大多數方法忽略了聚類結果中標注錯誤的樣本，直接使用它們進行訓練，這對模型的性能產生了負面影響。

最近關于跨域re-ID的研究主要可以歸結為分布對齊和基于聚類的改編。分布對齊試圖縮小公共空間的分布差距，這可以進一步概括為圖象層和屬性層。對于圖像級適應方法，PT-GAN使用cycleo-gan或Star-GAN將已標記源圖像的前景轉換為目標相機風格進行適應。類似地，SPGAN利用了Cycle-GAN和名為“自相似性”和“域不同”的附加約束來提高精確度。但是，由于生成的圖像與真實圖像相比還有很大的差距，圖像級自適應算法不能保證生成的圖像的身份。對于屬性級自適應方法，MMFA試圖通過最小化平均最大差異(mean maximum difference, MMD)來對齊不同數據集之間中層語義屬性的分布。TJ-AIDL利用多分支網絡，建立了對目標域最優的識別和屬性敏感的特征表示空間。這些工作需要對源數據進行屬性標注，在實際操作中很難獲得。

基于聚類的適應是適應reid模型的另一種直接的方法。Fan等人使用k-means預測未標記目標數據的偽標簽，用于模型微調。然而，在聚類中很難確定正確的k值。Song et al.提出了一種基于dbscan的自適應方法，該方法可以根據特征的密度來發現簇的數量。基于聚類的方法雖然可以獲得較高的領域適應reid精度，但大多數方法忽略了聚類結果中標注錯誤的樣本，直接使用它們進行訓練，這對模型的性能產生了負面影響。

The Proposed Method

設T為無標記目標訓練集，S為有標記源訓練集。無監督域自適應試圖同時利用T和S來學習一個能很好地推廣到目標測試集的reid模型。

提出的ACT就是為了解決這個問題，它包括三個階段:(1)源模型訓練。(2)Clustering-based適應。(3)適應的非對稱協同教學。前兩個階段的目標是通過對帶標記的源數據進行初始化，利用聚類生成的偽標簽對目標數據進行微調，得到具有基本判別能力的模型。第三階段通過第二階段自適應模型初始化的兩個模型相互協作來應對噪聲標簽。在第三階段，我們首先根據聚類結果將目標訓練集分割為inliers和outliers，然后用 /對小損失樣本從/訓練模型/ 。算法1說明了該方法的總體過程。接下來，我們將詳細描述所提出的方法。

Source Model Training
在我們的方法的第一階段，我們訓練源模型用標記的源數據集S，通過crossentropy loss和triplet loss。基于源數據的訓練模型具有基本的適應區分能力。

Clustering-based Adaptation
由于源數據集和目標數據集之間的域轉移，所得到的源數據集模型通常不能很好地推廣到新的數據集上。為了解決這一問題，我們遵循一個強健可靠的適應框架。采用Msrc(source model)提取目標圖像的pool -5特征，并根據DBSCAN的聚類結果將T劃分為inliers Ti和outliers To。進一步的培訓可以根據注釋的inliers Ti進行。通過引入聚類距離度量和損失函數，給出了自適應算法。

Distance metric for clustering.聚類的距離度量，選擇k–reciprocal編碼和Jaccard距離作為聚類的距離度量。其中，我們首先通過以下方法計算成對相似度矩陣M:
其中是樣本i和j之間通過使用pool -5特征的相似性，R?(i, k)是樣本i的改進的k-reciprocal集，它是通過添加一些具體的可靠約束得到的。得到相似度矩陣M后，Jaccard距離 (i, j)可計算由:

其中Ntis是目標訓練數據集的總圖像數。為了提高相似度，每個目標特征應該接近一些源特征，即。最小化:其中Ns(xi)是目標圖像i在源域內的最近鄰居，考慮dJ和dw，最終的聚類距離度量為:

其中，λ∈[0,1]為平衡因子，本研究中我們將其設為0.1。

Loss function.給定計算出的距離矩陣M，對未標記的目標數據集T執行DBSCAN，并將其劃分為inliers Ti和outliers To。Ti中的每個示例被分配到一個集群。因此，我們可以使用tir的偽標簽對Msrc進行微調，并根據優化后的msrcr迭代更新聚類結果。在Msrc的微調中，我們只使用了triplet loss。通過使用pool -5和fc-2048特征計算每個批次數據的三重損失:

其中Nb為訓練批大小，p和n是錨點圖像a中最不相似的正樣本和最相似的負樣本。xp, xn和xa表示對應的正樣本、負樣本和錨點樣本的特征。經過自適應，得到了一個更好的re-ID模型Mada。但是，如第1節所述，由于源和目標域分布不一致，模型提取的特征對于下游的聚類任務并不足夠可靠。因此，聚類結果可能會包含很多有噪聲的標簽。

Asymmetric Co-Teaching for Adaptation.最初的聯合教學部署了兩個網絡來尋找可能干凈的標簽，即，噪聲數據集中樣本損失小的。通過將一個網絡挖掘的樣本發送到另一個網絡進行優化，可以大大降低標簽錯誤的影響。然而，協同教學并不能有效地應用于跨領域的reid教學。一方面，選取的小損失樣本易于模型學習，對提高re-ID精度的積極作用有限。另一方面，在協同教學過程中難以考慮到損失值高的硬樣本，這可能限制了適應訓練樣本的多樣性。總之，傳統的協同教學容易使reid模型收斂到局部最小值，不利于網絡魯棒性的培養。

為了解決上述問題，我們在第三階段提出了一種新的無監督跨域reid的類似協同教學的框架。在該框架中，我們利用已有的Mada初始化了主模型mmainator和合作者模型mcoator。Mmainand Mcoare隨后接受了不對稱的訓練。mcotry從離群值中推斷出純數據用于Mmain的培訓，這鼓勵Mmain使用更可靠但多樣化的樣本進行培訓。mmain專注于從inliers中挖掘盡可能干凈的樣本進行Mco的訓練，確保Mcocan在保持基本表示的同時易于樣本聚類。

總結

以上是生活随笔為你收集整理的Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification简单翻译理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。