引言

傳統(tǒng)的無監(jiān)督領(lǐng)域自適應(yīng)方法（UDA）除了需要大量的源域數(shù)據(jù)（Source Data）外，還需要足夠數(shù)量的無標(biāo)注目標(biāo)域樣本（Target Data）進(jìn)行訓(xùn)練，比如基于分布對(duì)齊、基于偽標(biāo)簽提取和基于熵最小化的方法等均隸屬于此范疇。然而在實(shí)際場景中，除了數(shù)據(jù)標(biāo)注費(fèi)時(shí)費(fèi)力，數(shù)據(jù)的采集本身也可能存在困難，比如因數(shù)據(jù)隱私保護(hù)、采集環(huán)境苛刻等造成的目標(biāo)域數(shù)據(jù)稀缺。因此，即使能夠通過計(jì)算機(jī)生成無限量的虛擬數(shù)據(jù)，因?yàn)檎鎸?shí)數(shù)據(jù)的稀缺，網(wǎng)絡(luò)也無法通過傳統(tǒng)的UDA方法進(jìn)行正常訓(xùn)練。針對(duì)這種目標(biāo)數(shù)據(jù)稀缺的現(xiàn)實(shí)而具有挑戰(zhàn)性的問題，本文提出了一種新的解決方法。文章假設(shè)我們只搜集到了一張來自于目標(biāo)域的珍貴樣本，僅僅通過對(duì)該樣本的充分挖掘，使模型能夠感知到潛在的目標(biāo)域分布，達(dá)到“一葉落知天下秋”的效果。原論文發(fā)表于NeurIPS2020，標(biāo)題為 《Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation》，代碼已開源。論文第一作者羅亞威，博士畢業(yè)于華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，現(xiàn)任浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士后。

Paper：Adversarial Style Mining for One-shot Unsupervised Domain Adaptation

Code: RoyalVane/ASM

問題背景

圖1(a) 傳統(tǒng)的領(lǐng)域自適應(yīng)方法在源域/目標(biāo)域數(shù)據(jù)充足的情況下能達(dá)到好的效果，但在目標(biāo)域數(shù)據(jù)稀缺（如只有單個(gè)樣本）的情況下效果不佳。

Unsupervised Domain Adaptation (UDA)

深度學(xué)習(xí)方法在計(jì)算機(jī)視覺的多個(gè)任務(wù)中都取得了令人滿意的成果。然而，訓(xùn)練一個(gè)良好的神經(jīng)網(wǎng)絡(luò)往往需要海量的人工標(biāo)注數(shù)據(jù)。當(dāng)前一個(gè)比較流行的思路是借助虛擬的合成數(shù)據(jù)進(jìn)行模型訓(xùn)練，比如利用3D游戲截圖等等。然而，由虛擬數(shù)據(jù)訓(xùn)練出的網(wǎng)絡(luò)在真實(shí)數(shù)據(jù)上往往泛化能力不佳，而造成這一問題的主要原因被稱為域偏差（Domain Shift）。為了解決這一問題，研究者利用無監(jiān)督領(lǐng)域自適應(yīng)方法來緩解虛擬源域數(shù)據(jù)和真實(shí)目標(biāo)域數(shù)據(jù)分布的差距，達(dá)到了比較好的效果，如圖1(a)左所示。

One-Shot Unsupervised Domain Adaptation (OSUDA)

傳統(tǒng)的無監(jiān)督領(lǐng)域自適應(yīng)方法除了需要大量的源域數(shù)據(jù)外，還需要足夠數(shù)量的無標(biāo)注目標(biāo)域樣本進(jìn)行訓(xùn)練，比如基于分布對(duì)齊、基于偽標(biāo)簽提取和基于熵最小化的方法等均隸屬于此范疇。然而在實(shí)際場景中，除了數(shù)據(jù)標(biāo)注費(fèi)時(shí)費(fèi)力，數(shù)據(jù)的采集本身也可能存在困難，比如因數(shù)據(jù)隱私保護(hù)、采集環(huán)境苛刻等造成的目標(biāo)域數(shù)據(jù)稀缺。因此，即使能夠通過計(jì)算機(jī)生成無限量的虛擬數(shù)據(jù)，因?yàn)檎鎸?shí)數(shù)據(jù)的稀缺，網(wǎng)絡(luò)也無法通過傳統(tǒng)的UDA方法進(jìn)行正常訓(xùn)練，如圖1(a)右所示。

針對(duì)這種目標(biāo)數(shù)據(jù)稀缺的現(xiàn)實(shí)問題，本文提出了一種新的解決方法。文章假設(shè)我們只搜集到了一張來自于目標(biāo)域的珍貴樣本，僅僅通過對(duì)該樣本的充分挖掘，使模型能夠感知到潛在的目標(biāo)域分布，達(dá)到“一葉落知天下秋”的效果。

解決思路

圖1(b) ASM由風(fēng)格生成網(wǎng)絡(luò)G和任務(wù)網(wǎng)絡(luò)M組成。G通過采樣，將one-shot目標(biāo)域樣本xt附近的風(fēng)格賦予源域圖片集合{Xs}，并在根據(jù)M的反饋在每次迭代中生成更多更難的潛在目標(biāo)域風(fēng)格，而M則需要正確處理新生成的圖片，并將訓(xùn)練損失反饋給G。顯然，兩者形成了一個(gè)對(duì)抗的過程。

Domain Adaptive Semantic Segmentation問題假設(shè)源域和目標(biāo)域具有相似的語義內(nèi)容，但圖片風(fēng)格不同。傳統(tǒng)基于風(fēng)格遷移的Domain Adaptation方法將源域圖片轉(zhuǎn)化到目標(biāo)域圖片的風(fēng)格分布上進(jìn)行訓(xùn)練，以此降低domain gap。然而，在只有一張目標(biāo)域圖片的情況下，如果直接按照風(fēng)格遷移的思路，所有的源域圖片均會(huì)遷移到同一個(gè)單調(diào)的風(fēng)格上，造成過擬合。因此，這里我們將OSUDA的問題轉(zhuǎn)化為了風(fēng)格搜索問題，即如何從一個(gè)“孤點(diǎn)”風(fēng)格搜索出更多潛在的目標(biāo)域風(fēng)格，形成“風(fēng)格分布”，從而讓領(lǐng)域自適應(yīng)變得可行。

到目前為止，One-shot setting下最大的難題還是沒有得到解決。因?yàn)橹挥幸粡垐D片，潛在的目標(biāo)域風(fēng)格分布是完全未知的。那么如何有效地搜索呢？我們的思路是這樣的。一方面，我們認(rèn)為，潛在的目標(biāo)域風(fēng)格雖然不可見，但大概分布在該one-shot風(fēng)格的附近。另一方面，我們應(yīng)該讓搜索出的風(fēng)格對(duì)模型的泛化能力有價(jià)值，即不能完全過擬合到one-shot的風(fēng)格。沿著這種思路，我們?cè)O(shè)計(jì)了ASM方法。

ASM方法以one-shot圖片提供的風(fēng)格作為“錨”風(fēng)格（anchored style），利用一個(gè)圖片生成網(wǎng)絡(luò)G在anchored style周圍采樣一個(gè)相似的風(fēng)格（該風(fēng)格離anchored style較近）進(jìn)行圖片生成，然后將下一步的搜索方向確定為對(duì)當(dāng)前任務(wù)模型M最難的方向（利用梯度上升實(shí)現(xiàn)）進(jìn)行搜索，從而生成更多更難風(fēng)格的圖像來提高任務(wù)特定模型 M 的泛化能力。另一方面，更新后的 M 為 G 提供動(dòng)態(tài)反饋，以指導(dǎo)G下一步的搜索方向。顯然，M與G形成了一個(gè)對(duì)抗的過程。在這種對(duì)抗訓(xùn)練過程中，G逐步生成對(duì)于M來說更加困難的圖片，而M不斷地更新G的搜索方向。訓(xùn)練收斂后，M可以對(duì)anchored style周圍的所有風(fēng)格具有較強(qiáng)的泛化能力。

方法詳情

風(fēng)格生成網(wǎng)絡(luò)RAIN

根據(jù)解決思路中的描述，針對(duì)OSUDA問題，ASM算法需要一個(gè)根據(jù)M的訓(xùn)練loss而動(dòng)態(tài)改變遷移風(fēng)格的模塊G，且模塊G需要具有采樣能力和端到端可導(dǎo)的搜索能力。基于AdaIN方法，我們?cè)O(shè)計(jì)了RAIN模塊。RAIN 在原始 AdaIN 的特征空間中額外裝備了一個(gè)變分自編碼器（稱為 style VAE）。style VAE將所有的風(fēng)格分布都編碼到了一個(gè)正態(tài)分布中，因此RAIN在訓(xùn)練完成后，不需要再像AdaIN一樣每次輸入風(fēng)格圖片進(jìn)行風(fēng)格遷移，而是可以直接通過采樣進(jìn)行隨機(jī)風(fēng)格遷移。通過改變采樣向量，生成的風(fēng)格也相應(yīng)的發(fā)生變化。因此，直接將梯度反傳至采樣向量即可完成端到端的對(duì)抗訓(xùn)練。RAIN module的詳情如圖2所示。

對(duì)抗風(fēng)格挖掘網(wǎng)絡(luò)ASM

有了可采樣可求導(dǎo)的風(fēng)格生成模塊G，ASM的實(shí)現(xiàn)也就水到渠成了。文章將預(yù)訓(xùn)練的G（也就是RAIN）的參數(shù)固定（可變的只有采樣向量），與M組成一個(gè)對(duì)抗網(wǎng)絡(luò)。這里的M以語義分割常用的FCN網(wǎng)絡(luò)為例，整體框架如圖3所示。

ASM的訓(xùn)練目標(biāo)是優(yōu)化兩個(gè)損失函數(shù)。

任務(wù)損失：利用任務(wù)損失指導(dǎo) M 從（已經(jīng)過風(fēng)格化的）源域數(shù)據(jù)和標(biāo)簽中學(xué)習(xí)知識(shí)。

一致性損失：為了進(jìn)一步鼓勵(lì) M 提取領(lǐng)域不變性特征，算法使用了一致性損失，定義如下。

其中

代表 M 中的深層特征, 代表一個(gè) Batch 內(nèi)所有圖像的深層特征向量平均值。該損失函數(shù)的設(shè)計(jì)動(dòng)機(jī)是因?yàn)轭I(lǐng)域自適應(yīng)問題假設(shè)源域和目標(biāo)域共享相同的內(nèi)容空間，但是風(fēng)格不同，因此不同風(fēng)格化下的源圖像應(yīng)該在深層保持相似的語義信息。這種損失限制了具有相同內(nèi)容但不同風(fēng)格的批圖像之間的語義一致性，鼓勵(lì)了 M 僅僅提取語義信息這種領(lǐng)域間不變的特征，增強(qiáng)了模型的泛化能力。

綜上所述， ASM 模型的總體優(yōu)化目標(biāo)為：

算法偽代碼：

實(shí)驗(yàn)結(jié)果

本文分別在Classification和Segmentation的OSUDA任務(wù)上進(jìn)行了實(shí)驗(yàn)。

OSUDA Classification實(shí)驗(yàn)

Classification實(shí)驗(yàn)采用了經(jīng)典的MNIST-USPS-SVHN互相遷移的任務(wù)進(jìn)行效果度量，結(jié)果如表1所示。

我們通過T-SNE圖進(jìn)一步展示ASM的效果，如圖4所示。

圖4 tSNE 特征可視化（a）： Source only；（b）： CycleGAN；（c）： OST；（D）： ASM

OSUDA Segmentation實(shí)驗(yàn)

OSUDA Segmentation實(shí)驗(yàn)在GTA2Cityscapes和Synthia2Cityscapes兩個(gè)任務(wù)上進(jìn)行測試，結(jié)果如表2所示。可以看到，在OSUDA setting下ASM獲得了SOTA的mIOU，并且在傳統(tǒng)的UDA setting下，ASM也能達(dá)到很好的效果。

圖5展示了OSUDA語義分割任務(wù)的可視化結(jié)果。

圖5 OSUDA語義分割可視化結(jié)果

消融實(shí)驗(yàn)

消融實(shí)驗(yàn)探究了consistency loss的重要性，如表3所示。

不同采樣策略的結(jié)果比較

該實(shí)驗(yàn)比較了不同采樣類型的風(fēng)格生成結(jié)果，如表4所示。Anchor Sampling是完全在one-shot樣本附近的采樣策略（無對(duì)抗搜索過程），容易造成過擬合；而Random Sampling會(huì)生成對(duì)M無益的隨機(jī)風(fēng)格。ASM方法生成的樣本既保證了風(fēng)格符合潛在的目標(biāo)域風(fēng)格分布，又保證了對(duì)任務(wù)模型的有效泛化能力。

不同采樣策略生成結(jié)果可視化，如圖6所示。

圖6 不同采樣策略的風(fēng)格遷移結(jié)果

結(jié)論

針對(duì)目標(biāo)域數(shù)據(jù)可能稀缺的情況，本章提出了新的基于單目標(biāo)域樣本的領(lǐng)域自適應(yīng)（One-shot Unsupervised Domain Adaptation，簡稱 OSUDA）問題場景，并針對(duì)此問題設(shè)計(jì)了對(duì)抗風(fēng)格挖掘（Adversarial Style Mining，簡稱 ASM）算法。 OSUDA 問題的困難之處在于，由于無法從單個(gè)目標(biāo)域樣本推理目標(biāo)域的真實(shí)分布，因此基于特征對(duì)齊、基于偽標(biāo)簽生成和基于熵最小化的一些常見 UDA 方法都無法正常使用。本文所提出的 ASM 以對(duì)抗學(xué)習(xí)的方式將風(fēng)格轉(zhuǎn)換模塊和特定任務(wù)模塊相結(jié)合，迭代地、高效地搜索新的風(fēng)格化樣本，以幫助任務(wù)模型泛化到幾乎不可見的目標(biāo)域。 ASM 可以被視為一種通用框架，因?yàn)樘囟ㄓ谌蝿?wù)的子網(wǎng)絡(luò) M 可以根據(jù)不同的跨域任務(wù)進(jìn)行更改。本章在分類和分割任務(wù)上的實(shí)驗(yàn)結(jié)果表明了 ASM 針對(duì) OSUDA 問題有效性。與其他領(lǐng)域自適應(yīng)方法相比，ASM 在目標(biāo)域樣本稀缺的情境下具有最優(yōu)的性能。

OSUDA是一種非常現(xiàn)實(shí)卻極具挑戰(zhàn)性的問題環(huán)境，目前相關(guān)研究較少，特別是在語義分割任務(wù)上還有較大提升空間。

總結(jié)

以上是生活随笔為你收集整理的yzmcms图片自适应代码_[ NeurIPS 2020 ] 一叶知秋 —— 基于“单目标域样本”的领域自适应方法...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。