?PaperWeekly 原創(chuàng) ·?作者 | 張一帆

學(xué)校 | 中科院自動(dòng)化所博士生

研究方向 | 計(jì)算機(jī)視覺(jué)

Domain Adaptation 即在源域上進(jìn)行訓(xùn)練，在目標(biāo)域上進(jìn)行測(cè)試。

本文總結(jié)了近兩年 ICML/NeurIPS 的幾篇文章，分別覆蓋了幾種 DA 的新 setting 以及新的理論/方法。

CIDA

論文標(biāo)題：

Continuously Indexed Domain Adaptation

收錄會(huì)議：

ICML 2020 Oral

論文鏈接：

https://arxiv.org/abs/2007.01807

代碼鏈接：

https://github.com/hehaodele/CIDA

目前已有的 domain 劃分都是按類(lèi)別的，即每個(gè) domain 有一個(gè)固定的域標(biāo)簽。但是在日常生活中，domain 并不只是一個(gè)常數(shù)能夠代表的，比如 RGB 圖像和深度圖像。

很多實(shí)際問(wèn)題包含了連續(xù)變化的 domain，在醫(yī)藥領(lǐng)域，domain 可以是用戶的年齡，這是一個(gè)連續(xù)的值，在自動(dòng)駕駛領(lǐng)域場(chǎng)景的變化從白天到黑夜，是一個(gè)連續(xù)的過(guò)程。

先來(lái)看一個(gè)文中給出的簡(jiǎn)單樣例，以二分類(lèi)為例（紅色和藍(lán)色），給定六個(gè) source domain 和其他域的無(wú)標(biāo)簽數(shù)據(jù)，想要去盡可能的提升在其他目標(biāo)域的表現(xiàn)。

我們先來(lái)看一些傳統(tǒng)算法的表現(xiàn)，對(duì)于簡(jiǎn)單的 adversarial learning，他想要學(xué)得一個(gè) invariant representation 是的域分類(lèi)器無(wú)法判別樣本的來(lái)源，他學(xué)到的分類(lèi)面如下所示，泛化性能并不是很好。

作者表達(dá)了傳統(tǒng)方法在這種 setting 上不 work 的原因是不能有效地利用大量，連續(xù)變化的標(biāo)簽。本文的 intuition 是，對(duì)于上例，其實(shí)每個(gè) domain 對(duì)應(yīng)了一個(gè)旋轉(zhuǎn)角度，本文給出的模型實(shí)際上也很簡(jiǎn)單，如下所示，就是將 label 也作為 encoder 的輸入，在此基礎(chǔ)上執(zhí)行 adversarial training。

但是此時(shí)作者還觀察到一個(gè)現(xiàn)象，如果我們將前三個(gè) domain 拿出來(lái)單獨(dú)分析，會(huì)發(fā)現(xiàn)這三個(gè)domain拿來(lái)預(yù)測(cè)標(biāo)簽得到的分布不盡相同，他們可能只是均值相同，并不是很好的對(duì)齊了特征的預(yù)測(cè)分布。

本文給出了改進(jìn)方案，即我們直接對(duì)其輸出分布的數(shù)字特征：均值與方差，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)與損失如下所示。

本文的理論貢獻(xiàn)主要有三點(diǎn)：

1. 證明了 CIDA 方案收斂，當(dāng)且僅當(dāng) 對(duì)于任何 是相同的；

2. 證明了 PCIDA 方案收斂，當(dāng)且僅當(dāng)均值和方差對(duì)于任何 是相同的；

3. 證明了 的 two-player 博弈和 的 three-player 博弈全局最優(yōu)點(diǎn)一致。

展示一下 CIDA 在 Sine 數(shù)據(jù)集上得到的分類(lèi)面，可以看到比起 baseline，文中所提到的算法在 continuous index 的情況下取得了更平滑，效果更好的分類(lèi)面。

DSAN

論文標(biāo)題：

Domain Adaptation with Invariant Representation Learning: What Transformations to Learn?

收錄會(huì)議：

NeurIPS 2021

論文鏈接：

https://openreview.net/pdf?id=zdmF437BCB

代碼鏈接：

https://github.com/DMIRLAB-Group/DSAN

本文的 intuition 在于，以往的大多數(shù)方法使用同一個(gè) encoder 處理不同域的數(shù)據(jù)，這樣的做法在一些情況下不能學(xué)到一個(gè)對(duì)邊緣分布具有不變性的特征。也有一些工作選擇對(duì)源域和目標(biāo)域使用不同的 encoder，但是這種方法目前仍存在一定的問(wèn)題，比如（1）使用兩個(gè) encoder 的動(dòng)機(jī)尚不清楚；（2）目前 UDA 還沒(méi)有一個(gè)方法可以保證不變性特征 具有足夠的語(yǔ)義信息。

本文的符號(hào)和假設(shè)如下， 分別是圖像和標(biāo)簽， 是隱變量， 是一個(gè) nuisance，即 domain 間的風(fēng)格差異等。

本文首先給出了兩個(gè)特例，即下圖，左側(cè)源域是正態(tài)分布，目標(biāo)域是均勻分布而且二者有 overlap。然而在 overlap 的地方，兩個(gè)分布的密度并不相同。文章說(shuō)明了如果源域和目標(biāo)域有重疊而且在重疊區(qū)域密度不同，那么使用單一的一個(gè) encoder 不足以學(xué)到 invariant representation 。

本文給出了他們的解決方案，與傳統(tǒng)工作的不同點(diǎn)在于：

1. 將 建模為 domain index 的函數(shù)，因此 encoder 的輸入其實(shí)有兩個(gè)，其為 ；

2. 為了最小化 帶來(lái)的影響，文中額外添加了一個(gè) decoder 來(lái)約束，如下圖所示，就是會(huì)將 tgt/src domain 的 都給到 source domain 的隱變量，然后兩個(gè)重構(gòu)要讓我們的分類(lèi)器無(wú)法辨別來(lái)源于哪個(gè) domain；

3. 不同的 domain 對(duì)應(yīng)不同的 encoder。

展示一部分實(shí)驗(yàn)結(jié)果：

IDOL

論文標(biāo)題：

Gradual Domain Adaptation without Indexed Intermediate Domains

收錄會(huì)議：

NeurIPS 2021

論文鏈接：

https://papers.nips.cc/paper/2021/file/45017f6511f91be700fda3d118034994-Paper.pdf

代碼鏈接：

https://github.com/hongyouc/IDOL

當(dāng)目標(biāo)域和源域的差異很大的時(shí)候，UDA 算法的性能往往會(huì)很差，Gradual domain adaption（GDA）是一個(gè)解決方案，它可以利用每個(gè) domain 漸進(jìn)的偏移來(lái)提升 DA 的性能，但是往往需要額外域的標(biāo)簽，比如人的年齡信息，本文提出了一個(gè)更加 challenging 的 setting：如果沒(méi)有額外域的標(biāo)簽，我們?nèi)绾问褂?GDA 的算法。

那么公式化本文其實(shí)是要解決這樣一個(gè)問(wèn)題，即我們?cè)谠从虻哪Ｐ?，然后提出的 IDOL 模型將無(wú)標(biāo)簽的一大堆數(shù)據(jù)分成中間域 ，模型漸進(jìn)的在每個(gè)中間域 self-training，目標(biāo)是最終在目標(biāo)域取得不錯(cuò)的性能。

要直接完成這個(gè)任務(wù)是非常困難的，因?yàn)樵u(píng)估預(yù)測(cè)的多個(gè)域標(biāo)簽需要將整個(gè)流程跑一遍。因此本文提出了一個(gè)漸進(jìn)式的解決方案：

1. 首先給每個(gè) sample 一個(gè)分?jǐn)?shù) ，這個(gè)分?jǐn)?shù)大概確定了 在 src 到 tgt 的位置。有了這個(gè)分?jǐn)?shù)其實(shí)我們都可以將他們按序排列然后分到 個(gè) chunk 里即可；

2. 為了提升這個(gè)分配方式，進(jìn)一步考慮分組到同一領(lǐng)域的數(shù)據(jù)如何能夠集體地保存來(lái)自前一個(gè)領(lǐng)域的 discriminative knowledge。這里可能有點(diǎn)難以理解，下文介紹方法就明白了。

第一步的做法很簡(jiǎn)單，self-training 以及 OOD 樣本檢測(cè)都有如下的普遍現(xiàn)象：模型置信度越低，說(shuō)明樣本越有可能是 OOD 的，即 ，取類(lèi)中置信度最高的。這種方法的一個(gè)缺點(diǎn)是會(huì)大概率選中那些易于區(qū)分的樣本。本文也嘗試了其他方法，比如這里也會(huì)訓(xùn)練一個(gè) source 和 target 的域分類(lèi)器，來(lái)對(duì)之間的域進(jìn)行打分，

第二步稍微有些復(fù)雜，為了維持在上一個(gè) domain 學(xué)到的分類(lèi)信息，作者定義了 cycle-consistency 的損失函數(shù)。這個(gè)過(guò)程的 intuition 是這樣的，我們從如果我們?cè)?domain 0 上有一個(gè) train 好的模型，他在距離較近的 domain 1 上表現(xiàn)應(yīng)該也不錯(cuò)，那么我們漸進(jìn)的在 domain 1 上完成了 self-training，那他也應(yīng)該在 domain 0 上表現(xiàn)不錯(cuò)，這就是所謂的 cycle-consistency。

Implicit Semantic Response Alignment

論文標(biāo)題：

Implicit Semantic Response Alignment for Partial Domain Adaptation

收錄會(huì)議：

NeurIPS 2021

論文鏈接：

https://papers.nips.cc/paper/2021/file/731b03008e834f92a03085ef47061c4a-Paper.pdf

代碼鏈接：

https://github.com/implicit-seman-align/implicit-semantic-response-alignment

Partial Domain Adaptation（PDA）即目標(biāo)域的標(biāo)簽是源域標(biāo)簽的一部分，目前的大多數(shù)工作旨在對(duì)源域進(jìn)行加權(quán)以減小標(biāo)簽的不一致，本文相信來(lái)自這些額外類(lèi)別的樣本仍然包含有價(jià)值的信息，可以促進(jìn) PDA。例如，貓和狗有明顯的區(qū)分等級(jí)的特征；然而，它們也有許多共同的語(yǔ)義信息，包括皮毛、四條腿等等。因此，本文期望通過(guò)隱式語(yǔ)義來(lái)探討不同類(lèi)別之間的關(guān)系，并實(shí)現(xiàn)語(yǔ)義層次的對(duì)齊。

本文的結(jié)構(gòu)如下：

主要分為如下幾步：

1. implicit semantic discovery：將圖像通過(guò)一個(gè) class2vec 模塊轉(zhuǎn)化為一系列的語(yǔ)義信息（直觀來(lái)看就是一組 embedding，每一個(gè) embedding 對(duì)應(yīng)一種語(yǔ)義信息），這里通過(guò)一個(gè) auto-encoder 的重構(gòu)方式來(lái)訓(xùn)練 class2vec 模塊；

2. Topic attention reception：為了得到我們 backbone 特征和這些語(yǔ)義信息的關(guān)系，這里使用一個(gè) attention 模塊將計(jì)算每個(gè)特征對(duì)每個(gè)語(yǔ)義信息的相應(yīng)（一個(gè)權(quán)重），因此我們就可以得到每一個(gè)特征對(duì)語(yǔ)義信息們的權(quán)重向量（mask）；

3. Semantic topic alignment：使同一語(yǔ)義對(duì)應(yīng)的 src mask 和 tgt mask 向量盡可能相似，這使我們的模型能夠從特定語(yǔ)義上具有相似度的額外類(lèi)中遷移樣本所包含的相關(guān)語(yǔ)義信息。

看一部分實(shí)驗(yàn)效果：

BPDA

論文標(biāo)題：

The balancing principle for parameter choice in distance-regularized domain adaptation

收錄會(huì)議：

NeurIPS 2021

論文鏈接：

https://proceedings.neurips.cc/paper/2021/file/ae0909a324fb2530e205e52d40266418-Paper.pdf

代碼鏈接：

https://github.com/Xpitfire/bpda

傳統(tǒng) UDA 算法通常由一個(gè)分類(lèi)損失和一個(gè)正則化損失組成，但是如何選擇二者的 tradeoff parameter 是一個(gè)仍未解決的問(wèn)題，因?yàn)槲覀儾](méi)有 tgt domain 的 label，因此無(wú)法對(duì)每個(gè)參數(shù)帶來(lái)的性能進(jìn)行驗(yàn)證，在實(shí)驗(yàn)中現(xiàn)有工作往往將其作為一個(gè)超參數(shù)。本文從理論出發(fā)，找到了一個(gè)設(shè)置最優(yōu) tradeoff parameter 的方法。

其實(shí)算法很簡(jiǎn)單就是通過(guò) DA bound 的那一套理論推出了如下的方法，給一組 和相應(yīng)的模型 ，根據(jù)算法中的條件進(jìn)行選擇。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫(xiě)，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

·

·

·

·

·

總結(jié)

以上是生活随笔為你收集整理的从近年顶会论文看领域自适应（Domain Adaptation）最新研究进展的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。