引言

傳統(tǒng)的無監(jiān)督領(lǐng)域自適應(yīng)方法（UDA）除了需要大量的源域數(shù)據(jù)（Source Data）外，還需要足夠數(shù)量的無標注目標域樣本（Target Data）進行訓(xùn)練，比如基于分布對齊、基于偽標簽提取和基于熵最小化的方法等均隸屬于此范疇。然而在實際場景中，除了數(shù)據(jù)標注費時費力，數(shù)據(jù)的采集本身也可能存在困難，比如因數(shù)據(jù)隱私保護、采集環(huán)境苛刻等造成的目標域數(shù)據(jù)稀缺。因此，即使能夠通過計算機生成無限量的虛擬數(shù)據(jù)，因為真實數(shù)據(jù)的稀缺，網(wǎng)絡(luò)也無法通過傳統(tǒng)的UDA方法進行正常訓(xùn)練。針對這種目標數(shù)據(jù)稀缺的現(xiàn)實而具有挑戰(zhàn)性的問題，本文提出了一種新的解決方法。文章假設(shè)我們只搜集到了一張來自于目標域的珍貴樣本，僅僅通過對該樣本的充分挖掘，使模型能夠感知到潛在的目標域分布，達到“一葉落知天下秋”的效果。原論文發(fā)表于NeurIPS2020，標題為 《Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation》，代碼已開源。論文第一作者羅亞威，博士畢業(yè)于華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，現(xiàn)任浙江大學(xué)計算機科學(xué)與技術(shù)學(xué)院博士后。

Paper：Adversarial Style Mining for One-shot Unsupervised Domain Adaptation

Code: RoyalVane/ASM

問題背景

圖1(a) 傳統(tǒng)的領(lǐng)域自適應(yīng)方法在源域/目標域數(shù)據(jù)充足的情況下能達到好的效果，但在目標域數(shù)據(jù)稀缺（如只有單個樣本）的情況下效果不佳。

Unsupervised Domain Adaptation (UDA)

深度學(xué)習(xí)方法在計算機視覺的多個任務(wù)中都取得了令人滿意的成果。然而，訓(xùn)練一個良好的神經(jīng)網(wǎng)絡(luò)往往需要海量的人工標注數(shù)據(jù)。當(dāng)前一個比較流行的思路是借助虛擬的合成數(shù)據(jù)進行模型訓(xùn)練，比如利用3D游戲截圖等等。然而，由虛擬數(shù)據(jù)訓(xùn)練出的網(wǎng)絡(luò)在真實數(shù)據(jù)上往往泛化能力不佳，而造成這一問題的主要原因被稱為域偏差（Domain Shift）。為了解決這一問題，研究者利用無監(jiān)督領(lǐng)域自適應(yīng)方法來緩解虛擬源域數(shù)據(jù)和真實目標域數(shù)據(jù)分布的差距，達到了比較好的效果，如圖1(a)左所示。

One-Shot Unsupervised Domain Adaptation (OSUDA)

傳統(tǒng)的無監(jiān)督領(lǐng)域自適應(yīng)方法除了需要大量的源域數(shù)據(jù)外，還需要足夠數(shù)量的無標注目標域樣本進行訓(xùn)練，比如基于分布對齊、基于偽標簽提取和基于熵最小化的方法等均隸屬于此范疇。然而在實際場景中，除了數(shù)據(jù)標注費時費力，數(shù)據(jù)的采集本身也可能存在困難，比如因數(shù)據(jù)隱私保護、采集環(huán)境苛刻等造成的目標域數(shù)據(jù)稀缺。因此，即使能夠通過計算機生成無限量的虛擬數(shù)據(jù)，因為真實數(shù)據(jù)的稀缺，網(wǎng)絡(luò)也無法通過傳統(tǒng)的UDA方法進行正常訓(xùn)練，如圖1(a)右所示。

針對這種目標數(shù)據(jù)稀缺的現(xiàn)實問題，本文提出了一種新的解決方法。文章假設(shè)我們只搜集到了一張來自于目標域的珍貴樣本，僅僅通過對該樣本的充分挖掘，使模型能夠感知到潛在的目標域分布，達到“一葉落知天下秋”的效果。

解決思路

圖1(b) ASM由風(fēng)格生成網(wǎng)絡(luò)G和任務(wù)網(wǎng)絡(luò)M組成。G通過采樣，將one-shot目標域樣本xt附近的風(fēng)格賦予源域圖片集合{Xs}，并在根據(jù)M的反饋在每次迭代中生成更多更難的潛在目標域風(fēng)格，而M則需要正確處理新生成的圖片，并將訓(xùn)練損失反饋給G。顯然，兩者形成了一個對抗的過程。

Domain Adaptive Semantic Segmentation問題假設(shè)源域和目標域具有相似的語義內(nèi)容，但圖片風(fēng)格不同。傳統(tǒng)基于風(fēng)格遷移的Domain Adaptation方法將源域圖片轉(zhuǎn)化到目標域圖片的風(fēng)格分布上進行訓(xùn)練，以此降低domain gap。然而，在只有一張目標域圖片的情況下，如果直接按照風(fēng)格遷移的思路，所有的源域圖片均會遷移到同一個單調(diào)的風(fēng)格上，造成過擬合。因此，這里我們將OSUDA的問題轉(zhuǎn)化為了風(fēng)格搜索問題，即如何從一個“孤點”風(fēng)格搜索出更多潛在的目標域風(fēng)格，形成“風(fēng)格分布”，從而讓領(lǐng)域自適應(yīng)變得可行。

到目前為止，One-shot setting下最大的難題還是沒有得到解決。因為只有一張圖片，潛在的目標域風(fēng)格分布是完全未知的。那么如何有效地搜索呢？我們的思路是這樣的。一方面，我們認為，潛在的目標域風(fēng)格雖然不可見，但大概分布在該one-shot風(fēng)格的附近。另一方面，我們應(yīng)該讓搜索出的風(fēng)格對模型的泛化能力有價值，即不能完全過擬合到one-shot的風(fēng)格。沿著這種思路，我們設(shè)計了ASM方法。

ASM方法以one-shot圖片提供的風(fēng)格作為“錨”風(fēng)格（anchored style），利用一個圖片生成網(wǎng)絡(luò)G在anchored style周圍采樣一個相似的風(fēng)格（該風(fēng)格離anchored style較近）進行圖片生成，然后將下一步的搜索方向確定為對當(dāng)前任務(wù)模型M最難的方向（利用梯度上升實現(xiàn)）進行搜索，從而生成更多更難風(fēng)格的圖像來提高任務(wù)特定模型 M 的泛化能力。另一方面，更新后的 M 為 G 提供動態(tài)反饋，以指導(dǎo)G下一步的搜索方向。顯然，M與G形成了一個對抗的過程。在這種對抗訓(xùn)練過程中，G逐步生成對于M來說更加困難的圖片，而M不斷地更新G的搜索方向。訓(xùn)練收斂后，M可以對anchored style周圍的所有風(fēng)格具有較強的泛化能力。

方法詳情

風(fēng)格生成網(wǎng)絡(luò)RAIN

根據(jù)解決思路中的描述，針對OSUDA問題，ASM算法需要一個根據(jù)M的訓(xùn)練loss而動態(tài)改變遷移風(fēng)格的模塊G，且模塊G需要具有采樣能力和端到端可導(dǎo)的搜索能力。基于AdaIN方法，我們設(shè)計了RAIN模塊。RAIN 在原始 AdaIN 的特征空間中額外裝備了一個變分自編碼器（稱為 style VAE）。style VAE將所有的風(fēng)格分布都編碼到了一個正態(tài)分布中，因此RAIN在訓(xùn)練完成后，不需要再像AdaIN一樣每次輸入風(fēng)格圖片進行風(fēng)格遷移，而是可以直接通過采樣進行隨機風(fēng)格遷移。通過改變采樣向量，生成的風(fēng)格也相應(yīng)的發(fā)生變化。因此，直接將梯度反傳至采樣向量即可完成端到端的對抗訓(xùn)練。RAIN module的詳情如圖2所示。

對抗風(fēng)格挖掘網(wǎng)絡(luò)ASM

有了可采樣可求導(dǎo)的風(fēng)格生成模塊G，ASM的實現(xiàn)也就水到渠成了。文章將預(yù)訓(xùn)練的G（也就是RAIN）的參數(shù)固定（可變的只有采樣向量），與M組成一個對抗網(wǎng)絡(luò)。這里的M以語義分割常用的FCN網(wǎng)絡(luò)為例，整體框架如圖3所示。

ASM的訓(xùn)練目標是優(yōu)化兩個損失函數(shù)。

任務(wù)損失：利用任務(wù)損失指導(dǎo) M 從（已經(jīng)過風(fēng)格化的）源域數(shù)據(jù)和標簽中學(xué)習(xí)知識。

一致性損失：為了進一步鼓勵 M 提取領(lǐng)域不變性特征，算法使用了一致性損失，定義如下。

其中

代表 M 中的深層特征, 代表一個 Batch 內(nèi)所有圖像的深層特征向量平均值。該損失函數(shù)的設(shè)計動機是因為領(lǐng)域自適應(yīng)問題假設(shè)源域和目標域共享相同的內(nèi)容空間，但是風(fēng)格不同，因此不同風(fēng)格化下的源圖像應(yīng)該在深層保持相似的語義信息。這種損失限制了具有相同內(nèi)容但不同風(fēng)格的批圖像之間的語義一致性，鼓勵了 M 僅僅提取語義信息這種領(lǐng)域間不變的特征，增強了模型的泛化能力。

綜上所述， ASM 模型的總體優(yōu)化目標為：

算法偽代碼：

實驗結(jié)果

本文分別在Classification和Segmentation的OSUDA任務(wù)上進行了實驗。

OSUDA Classification實驗

Classification實驗采用了經(jīng)典的MNIST-USPS-SVHN互相遷移的任務(wù)進行效果度量，結(jié)果如表1所示。

我們通過T-SNE圖進一步展示ASM的效果，如圖4所示。

圖4 tSNE 特征可視化（a）： Source only；（b）： CycleGAN；（c）： OST；（D）： ASM

OSUDA Segmentation實驗

OSUDA Segmentation實驗在GTA2Cityscapes和Synthia2Cityscapes兩個任務(wù)上進行測試，結(jié)果如表2所示。可以看到，在OSUDA setting下ASM獲得了SOTA的mIOU，并且在傳統(tǒng)的UDA setting下，ASM也能達到很好的效果。

圖5展示了OSUDA語義分割任務(wù)的可視化結(jié)果。

圖5 OSUDA語義分割可視化結(jié)果

消融實驗

消融實驗探究了consistency loss的重要性，如表3所示。

不同采樣策略的結(jié)果比較

該實驗比較了不同采樣類型的風(fēng)格生成結(jié)果，如表4所示。Anchor Sampling是完全在one-shot樣本附近的采樣策略（無對抗搜索過程），容易造成過擬合；而Random Sampling會生成對M無益的隨機風(fēng)格。ASM方法生成的樣本既保證了風(fēng)格符合潛在的目標域風(fēng)格分布，又保證了對任務(wù)模型的有效泛化能力。

不同采樣策略生成結(jié)果可視化，如圖6所示。

圖6 不同采樣策略的風(fēng)格遷移結(jié)果

結(jié)論

針對目標域數(shù)據(jù)可能稀缺的情況，本章提出了新的基于單目標域樣本的領(lǐng)域自適應(yīng)（One-shot Unsupervised Domain Adaptation，簡稱 OSUDA）問題場景，并針對此問題設(shè)計了對抗風(fēng)格挖掘（Adversarial Style Mining，簡稱 ASM）算法。 OSUDA 問題的困難之處在于，由于無法從單個目標域樣本推理目標域的真實分布，因此基于特征對齊、基于偽標簽生成和基于熵最小化的一些常見 UDA 方法都無法正常使用。本文所提出的 ASM 以對抗學(xué)習(xí)的方式將風(fēng)格轉(zhuǎn)換模塊和特定任務(wù)模塊相結(jié)合，迭代地、高效地搜索新的風(fēng)格化樣本，以幫助任務(wù)模型泛化到幾乎不可見的目標域。 ASM 可以被視為一種通用框架，因為特定于任務(wù)的子網(wǎng)絡(luò) M 可以根據(jù)不同的跨域任務(wù)進行更改。本章在分類和分割任務(wù)上的實驗結(jié)果表明了 ASM 針對 OSUDA 問題有效性。與其他領(lǐng)域自適應(yīng)方法相比，ASM 在目標域樣本稀缺的情境下具有最優(yōu)的性能。

OSUDA是一種非常現(xiàn)實卻極具挑戰(zhàn)性的問題環(huán)境，目前相關(guān)研究較少，特別是在語義分割任務(wù)上還有較大提升空間。

總結(jié)

以上是生活随笔為你收集整理的yzmcms图片自适应代码_[ NeurIPS 2020 ] 一叶知秋 —— 基于“单目标域样本”的领域自适应方法...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。