?作者 |?江俊廣

單位 |?清華大學

研究方向 |?遷移學習

本文主要介紹域自適應（Domain Adaptation）中的對抗域自適應方法（Domain Adversarial Learning）。

域自適應的算法不僅包括對抗域自適應方法，還包括：

• 統(tǒng)計距離（Statistics Matching）

• 假設對抗自適應（Hypothesis Adversarial）

• 數(shù)據(jù)域翻譯（Domain Translation）

• 自訓練（Self-Training）

• 自監(jiān)督學習（Self-supervised Learning）

這些在遷移學習文獻綜述 Transferability in Deep Learning: A Survey 中進行了詳細介紹，后續(xù)也會為這些方法推出相關的介紹文章。

對抗域自適算法的理論基礎可以參考姐妹篇文章遷移學習：域自適應理論簡介 Domain Adaptation Theory。

本文力求用通俗的語言介紹對抗域自適應方法最重要的幾個算法的設計以及它們的改進。因此，不了解域自適應理論不影響閱讀本文。

域自適應問題

域自適的核心問題是解決數(shù)據(jù)分布不一致對機器學習模型性能的影響。

1.1 問題背景

大部分機器學習模型通常會假設訓練集和測試集來自相同的數(shù)據(jù)分布，這在人工打標并處理過的數(shù)據(jù)集上通常是能滿足的。

然而如果讓我們的目光不再局限在各種已經(jīng)存在標注的數(shù)據(jù)后，而是擴展到全世界無數(shù)傳感器、攝像頭以及社交網(wǎng)絡用戶每天產(chǎn)生的海量數(shù)據(jù)時，我們就會發(fā)現(xiàn)標注數(shù)據(jù)是少數(shù)，與標注數(shù)據(jù)的分布不一致的無標注數(shù)據(jù)才是大部分數(shù)據(jù)的常態(tài)。

比如在野外部署了大量的攝像頭來檢測野生動物的行為?[1]，但是往往只有部分地區(qū)部分時間段的數(shù)據(jù)存在著標注。而在不同的數(shù)據(jù)中，攝像機角度、背景、植被、顏色和動物分布存在巨大差異，這導致在標注數(shù)據(jù)上訓練的模型無法很好地泛化到其他地區(qū)或者未來產(chǎn)生的數(shù)據(jù)上。

1.2 問題定義

上述場景的抽象描述就是無監(jiān)督域適應的學習設定。給定從不同的數(shù)據(jù)分布 和 中采樣得到的有標注數(shù)據(jù)集 和無標數(shù)據(jù)集 ，無監(jiān)督域自適應希望能學到一個在分布 上性能盡可能好的模型。

1.3 數(shù)據(jù)分布概念總結

以下簡單總結了域自適應的文獻中經(jīng)常會出現(xiàn)各種和分布相關的概念。區(qū)分這些定義可以幫助你更好地理解不同域自適應算法的動機以及它們的異同。

分布（Distribution）指的是數(shù)據(jù)所有可能出現(xiàn)的值，以及在這些值上出現(xiàn)的概率。

• 邊緣分布（Marginal Distribution）：在統(tǒng)計學中，指的是多維隨機變量中，部分變量的概率分布。而在域自適應中，一般指的是輸入數(shù)據(jù)或者是特征的分布，常常記作 。

• 聯(lián)合分布（Joint Distribution）：同時對輸入數(shù)據(jù) 和標簽 的概率分布 。聯(lián)合分布也可展開寫成 或者 。

• 條件分布（Conditional Distribution）：當已知 的取值為某個特定值 之時，輸入數(shù)據(jù)或者是特征的分布，常常記作 或者?。

• 標簽分布（Label Distribution）：標簽 的概率分布 。

分布偏移（Distribution Shift）指的是訓練集和測試集的分布 和 出現(xiàn)了差異，即 。常見的分布偏移可分為：

• 協(xié)變量偏移（Covariate Shift）：打標函數(shù) 固定，只有邊緣分布 隨著數(shù)據(jù)域發(fā)生變化，即

  402 Payment Required

  。統(tǒng)計學家稱之為協(xié)變量偏移，因為特征也叫做協(xié)變量。

• 標簽偏移（Label Shift）：條件分布 固定，只有標簽分布 隨著數(shù)據(jù)域發(fā)生變化，即

  402 Payment Required

  。

• 概念偏移（Concept Shift）：標簽的定義隨著數(shù)據(jù)域發(fā)生變化，即 。

目前學術界關注最多的就是協(xié)變量偏移和標簽偏移，因為它們相對容易解決。

在實際問題中出現(xiàn)的往往是上述情況的混合。比如在野生動物監(jiān)測應用中，不同攝像頭的拍攝背景和動物本身的分布都不同，此時邊緣分布 和標簽分布 都隨著數(shù)據(jù)域發(fā)生了變化。

對抗算法設計

對抗域自適應方法的核心想法是學習足夠好的表示（representation），使得在表示層面降低不同數(shù)據(jù)分布的差異。

2.1 邊緣分布的對齊

領域?qū)股窠?jīng)網(wǎng)絡 （Domain Adversarial Neural Network，DANN）[2] 是域自適應使用最為廣泛的方法之一。它的核心想法就是在表示層面減少邊緣分布 和 的差異。

生成對抗網(wǎng)絡 Generative Adversarial Net（GAN）[3] 引入了一個判別器來刻畫真實的數(shù)據(jù)分布和生成的數(shù)據(jù)分布之間的差異。受到 GAN 的啟發(fā)，DANN 使用域判別器（Domain Discriminator）D 來區(qū)分不同數(shù)據(jù)域產(chǎn)生的特征，

域判別器的準確率就刻畫了兩個數(shù)據(jù)域邊緣分布的差異，然后特征生成器（Feature Generator） 的目標就是努力欺騙域判別器，從而減少邊緣分布的差異。

DANN 隱含的假設是不同的數(shù)據(jù)域之間只存在協(xié)變量偏移 ，但是這是在許多實際問題中很難滿足的假設，因此后續(xù)不斷地提出改進（見本文的第 3 部分）。

需要指出的是，DANN 基于的理論是 -Divergence，而后者推導的前提是二分類問題以及 0-1 損失，因此直接將 DANN 推廣到多分類問題以及回歸問題是沒有理論保證的（詳細解釋參考遷移學習：域自適應理論簡介 Domain Adaptation Theory）。

2.2 條件分布的對齊

直觀地講，在多分類問題中使用 DANN 存在的問題是——即使判別器被成功地欺騙，依然無法保證源域和目標域的特征分布是對齊的。因為很可能是不同類的特征（比如源域上的狗和目標域上的貓的特征）被拉近，尤其是類別數(shù)較多的時候。

避免上述問題的一個直接思路是讓不同類的特征分別拉近，即顯式地減少條件分布 和 的距離。

然而目標域上的類別標簽是未知的。因此條件對抗神經(jīng)網(wǎng)絡 （Conditional Adversarial Neural Network，CDAN）[4] 在訓練域判別器的時候使用模型的預測 代替條件分布中的標簽，

讓域判別器看到模型的輸出，本質(zhì)上增強了域判別器的區(qū)分能力。而為了欺騙加強后的域判別器，特征生成器不得不將每個類別的特征分別拉近。因此 CDAN 在類別數(shù)多的分類問題上會獲得更好的遷移效果。

2.3 標簽分布的對齊

還有一種比較極端的拉近數(shù)據(jù)分布的方法，是直接對齊兩個數(shù)據(jù)域的輸出分布。

這里隱含的假設是標簽偏移完全不存在，即 。理想情況下，模型在不同數(shù)據(jù)域上的輸出分布也應該是一致的，但是由于源域和目標域之間存在的協(xié)變量偏移 ，使得模型的輸出分布并不一致。反過來思考，只要鼓勵模型在不同數(shù)據(jù)域上的輸出分布盡可能一致，就可以間接地拉近兩個數(shù)據(jù)域的邊緣分布。

在實際的分類應用中，數(shù)據(jù)域之間不存在標簽偏移的假設幾乎不可能成立。此外，相比于特征空間，輸出空間丟失了太多的信息，因此只是約束輸出空間的分布一致，并不能保證兩個數(shù)據(jù)域的邊緣分布被正確地拉近。因此，標簽空間的對齊在大部分任務中是不合適的。

但是也有例外的情況，比如實例分割（Semantic Segmentation）這種像素級別的分類任務。在這些任務中，輸出空間本身包含豐富的信息，例如相鄰的像素往往具有相同的類別，而這些信息在不同的數(shù)據(jù)域之間是相通的。因此，Adapt-SegMap?[5]?訓練域判別器來區(qū)分實例分割模型的輸出是來自源域還是來自目標域，同時鼓勵特征生成器對齊目標域和源域的輸出分布，這種方式反而比在特征空間進行對抗域自適應效果更好。

對抗的不足與改進

盡管對抗域自適應方法在常見的域自適應數(shù)據(jù)集上（Office-31，Office-Home 以及 VisDA2017）的效果很顯著， 但在實際應用中它依然存在著若干不足，這里簡單羅列四點。

3.1 魯棒性差

域自適應的效果非常依賴于特定的假設。Office-31 這種數(shù)據(jù)集是人為構造出來的干凈數(shù)據(jù)集，因此 Office-31很好地滿足了只存在協(xié)變量偏移的假設。但是在 IWILDCAM-WILDS [1]?這種真實應用的數(shù)據(jù)集上，無標注目標域是真的不存在人工標注，因此協(xié)變量偏移和標簽偏移的存在都是無法避免的。而當標簽分布不一致的時候，對抗訓練極容易將不同數(shù)據(jù)域的不同類別的特征拉近，導致對抗域自適應反而會起到負作用。

因此在介紹不同算法的過程中，我們總是強調(diào)了它所基于的假設。這也是機器學習中沒有免費午餐定理很好的一個例子——不同問題中的假設不同，因此沒有哪種域自適應算法可以在所有問題上都有最好的效果。

當數(shù)據(jù)中不滿足對抗域自適應算法所期望的假設時，一種直接的想法是，重新構造源域和目標域，使得它們盡可能滿足算法的假設。

比如重要性加權對抗網(wǎng)絡（Importance Weighted Adversarial Nets, IWAN）[6]?的動機就是挑選合適的數(shù)據(jù)參與對抗訓練。具體的，IWAN 訓練了兩個域判別器，一個依然是用來學習域無關的表征，另外一個用來挑選合適的數(shù)據(jù)。讓第二個域判別器感到困惑的數(shù)據(jù)往往屬于源域和目標域上共享的類，這些數(shù)據(jù)應該參與到域?qū)褂柧氈?#xff0c;而第二個域判別器能夠成功區(qū)分開的數(shù)據(jù)點很有可能屬于源域上才有的類別，因此不應該參與到域?qū)褂柧氈小?/p>

3.2 數(shù)據(jù)利用效率相對較低

相比于統(tǒng)計距離（比如 DAN?[7]，JAN 等），基于域判別器學習得到的距離需要更多的數(shù)據(jù)（不論是源域還是目標域）。因此在數(shù)據(jù)量相對較少的場景下，反而是基于統(tǒng)計距離的域自適應方法效果更好。強調(diào)相對的原因是，數(shù)據(jù)量相對的多少不僅取決于總的數(shù)據(jù)量，還取決于類別數(shù)，比如 DomainNet 數(shù)據(jù)量雖然大，但是類別數(shù)也多，導致在 DomainNet 上反而是 DAN 比 DANN 效果更好。

3.3 無法處理回歸問題

對抗域自適應在回歸問題上是沒有理論保證的（解釋見 Domain Adaptation Theory）。直觀上的理解是，回歸問題中，特征的分布在整個空間是離散且彌漫的，那么 即使判別器被成功地欺騙，依然無法保證源域和目標域的特征按照相同的標簽被拉近。

同時在實驗上，域?qū)棺赃m應的方法在回歸問題上表現(xiàn)也不好 [8]。

3.4 降低了模型的判別性

盡管對抗域自適應在特征空間減少了不同數(shù)據(jù)域的分布差異，從而增強了特征的遷移性（Transferability），但它可能犧牲掉特征的判別性（Discriminability）。比如在分類問題里，將對抗域自適應后的特征固定住，在其上訓練分類器的難度是增加的。

譜分析表明?[9]，對特征進行SVD分解后，最大的奇異值一般對應不同數(shù)據(jù)域之間共享的知識，而其他特征值則往往對應領域特定的知識。盡管這些特征向量可能會包含判別信息，但是依然會在域?qū)褂柧氈惺艿綉土P，從而削弱了判別性。為了權衡模型的判別性和遷移性，批量光譜懲罰（Batch Spectral Penalization）懲罰最大的奇異值，從而相對增強其他特征值來提高判別性。

在一些復雜的應用，上述幾個問題是同時存在的。比如在目標檢測的域自適應中

• 標簽偏移總是不可避免的，因此對抗域自適應的假設被破壞了

• 目標框的定位是一個回歸任務，對抗域自適應對此無能為力

• 域?qū)沟倪^程容易降低檢測器的判別性，導致其目標定位能力變差

因此在目標檢測中使用對抗域自適應需要一些特別的設計?[10]，我們會在下一篇文章中展開介紹。

本文主要參考 Transferability in Deep Learning: A Survey?[11]?中的章節(jié) 3.2.2 Domain Adversarial Learning。感興趣的讀者可以閱讀原文：

https://arxiv.org/abs/2201.05867

本文中提到的大部分算法都可以在下方鏈接找到代碼實現(xiàn)：

https://github.com/thuml/Transfer-Learning-Library/tree/master/examples/domain_adaptation/image_classification

鏈接

文獻綜述：

https://arxiv.org/pdf/2201.05867.pdf

Paper List：

https://github.com/thuml/Awesome-Transfer-Learning

算法庫Github：

https://github.com/thuml/Transfer-Learning-Library

算法庫網(wǎng)站：

https://transfer.thuml.ai/

參考文獻

[1] abSagawa, S., Koh, P. W., Lee, T., Gao, I., Xie, S. M., Shen, K., Kumar, A., Hu, W., Yasunaga, M., Marklund, H., Beery, S., David, E., Stavness, I., Guo, W., Leskovec, J., Saenko, K., Hashimoto, T., Levine, S., Finn, C., and Liang, P. Ex- tending the wilds benchmark for unsupervised adaptation. In NeurIPS Workshop on Distribution Shifts, 2021.

[2] Yaroslav Ganin and Victor Lempitsky. Unsupervised domain adaptation by backpropaga- tion. In ICML, 2015.

[3] Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial networks. In NeurIPS, 2014.

[4] Mingsheng Long, Zhangjie Cao, Jianmin Wang, and Michael I. Jordan. Conditional adver- sarial domain adaptation. In NeurIPS, 2018.

[5] Yi-Hsuan Tsai, Wei-Chih Hung, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang, and Manmohan Chandraker. Learning to adapt structured output space for semantic seg- mentation. In CVPR, 2018.

[6] Zhang, J., Ding, Z., Li, W., and Ogunbona, P. Importance weighted adversarial nets for partial domain adaptation. In CVPR, 2018.

[7] Mingsheng Long, Yue Cao, Jianmin Wang, and Michael I. Jordan. Learning transferable features with deep adaptation networks. In ICML, 2015.

[8] Junguang Jiang, Yifei Ji, Ximei Wang, Yufeng Liu, Jianmin Wang, and Mingsheng Long. Regressive domain adaptation for unsupervised keypoint detection. In CVPR, 2021

[9] Xinyang Chen, Sinan Wang, Mingsheng Long, and Jianmin Wang. Transferability vs. discriminability: Batch spectral penalization for adversarial domain adaptation. In ICML, 2019c.

[10] Junguang Jiang, Baixu Chen, Jianmin Wang, and Mingsheng Long. Decoupled adaptation for cross-domain object detection. In ICLR, 2022.

[11] Junguang Jiang, Yang Shu, Jianmin Wang, Mingsheng Long, Transferability in Deep Learning: A Survey?https://arxiv.org/abs/2201.05867

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的域对抗自适应算法的设计、不足与改进（Domain Adversarial Learning）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。