?PaperWeekly 原創(chuàng) ·?作者?|?張一帆

學(xué)校?|?中科院自動(dòng)化所博士生

研究方向?|?計(jì)算機(jī)視覺

這篇文章介紹一篇 ICCV 2021 的工作：Generalized Source-free Domain Adaptation。這篇文章和傳統(tǒng) DA 的 setting 關(guān)注點(diǎn)有以下一些不同：

模型在 source/target domain 上都要有不錯(cuò)的表現(xiàn)；

在 adaptation 的時(shí)候，我們只能得到目標(biāo)域的無標(biāo)簽數(shù)據(jù)和在源域預(yù)訓(xùn)練好的模型，而不能獲取源域的訓(xùn)練數(shù)據(jù)。

我們首先介紹一下本文的 setting，然后細(xì)節(jié)的介紹一下本文的方法，最后看一下實(shí)驗(yàn)和結(jié)論。

論文標(biāo)題：

Generalized Source-free Domain Adaptation

論文鏈接：

https://arxiv.org/abs/2108.01614

項(xiàng)目地址：

https://github.com/Albert0147/G-SFDA

Problem Setting and Notations

公式化的描述本文所謂的 source-free domain adap-tation（G-SFDA）setting。給定源域數(shù)據(jù) 和目標(biāo)域數(shù)據(jù) ，總共類別有 類。模型分為兩部分，分別是特征提取器 和一個(gè)全連接層組成的目標(biāo)分類器 ，網(wǎng)路的輸出定義為 C。

源域數(shù)據(jù) 只能在模型預(yù)訓(xùn)練時(shí)使用，文中提出的方法只是基于一個(gè)預(yù)訓(xùn)練好的模型加上數(shù)據(jù)集 。

本文方法主要由以下兩部分組成，LSC 模塊負(fù)責(zé)在不使用源域數(shù)據(jù)的情況下提升 DA 性能，SDA 模塊負(fù)責(zé)避免對(duì)源域數(shù)據(jù)的遺忘造成的在源域的性能下降。

Local Structure Clustering (LSC)

可以注意到的是，傳統(tǒng) DA 的理論大部分是基于最小化 source-target domain divergence 的，但是這里我們的得不到源域數(shù)據(jù)，因此 DA 那一套的大部分方法無法正常使用。

本文方法背后的主要思想是，雖然目標(biāo)域和源域的是有 distribution shift 的，但是目標(biāo)域的各個(gè)類的特征依然聚在一起（如下圖），而且和源域的類的特征距離較近。

所以直觀的想法是給目標(biāo)域來個(gè)聚類，將這個(gè)類和其距離最近的源域的類進(jìn)行匹配，這就得到了他的標(biāo)簽。我們從 LSC 所使用的 loss 出發(fā)分析這個(gè)模塊的作用：

首先作者維護(hù)一個(gè) memory bank 來存儲(chǔ)目標(biāo)域的特征和一個(gè) 來存儲(chǔ)上述特征得到的預(yù)測(cè)概率分布。對(duì)每個(gè)數(shù)據(jù)點(diǎn) ，我們找到它的 -近鄰（根據(jù)特征的余弦相似度），來最小化預(yù)測(cè)分布 和他最近鄰預(yù)測(cè)分布 的點(diǎn)乘的負(fù)對(duì)數(shù)值，這一步鼓勵(lì)模型對(duì) 和他的最近鄰做出一樣的預(yù)測(cè)。除此之外還有一個(gè)正則項(xiàng)，這一項(xiàng)鼓勵(lì)預(yù)測(cè)類的平衡，防止目標(biāo)域的數(shù)據(jù)高度不平衡導(dǎo)致的推化解。 是這一個(gè) batch 里屬于 類的平均概率。

Sparse Domain Attention (SDA)

這個(gè)模塊受到持續(xù)學(xué)習(xí)（CL）方法的啟發(fā)，對(duì)每一層都施加了限制，以便留出容納新任務(wù)的能力，并防止忘記之前的任務(wù)。主要的思路是，對(duì)于不同的 domain，我們只激活其相應(yīng)的特征通道，即全部特征 的一部分，也就是對(duì)于源域的特征通道我們盡可能保存，而使用其他的特征通道來對(duì)目標(biāo)域進(jìn)行適應(yīng)。

這里我們需要一個(gè)稀疏域注意力向量 ，這些向量了大都是接近 0,1 的值，使用它來對(duì)特征進(jìn)行 mask。公式化定義這些向量為：

這里的 是 embedding layer 的輸出， 是 sigmoid 函數(shù)，常量 100 是為了保證一個(gè)接近 0-1 的輸出。 都是在源域上進(jìn)行訓(xùn)練的，在 adaptation 的時(shí)候 fix 住。那么源域上是如何進(jìn)行訓(xùn)練的呢？如下圖（a）所示，和傳統(tǒng)方法的不同之處就在于 之間加了一個(gè) 而已。target domain 的 forward 亦是如此，但是 backward 的時(shí)候就有一些特殊了，如下圖（c），在 中出現(xiàn)的特征都不選擇更新。這樣就做到了保留 source domain 的信息了。

那么總體的訓(xùn)練算法就出來了：

Experiments?

本文的實(shí)驗(yàn)使用了 Office-Home 和 VisDA 兩個(gè)數(shù)據(jù)集。在 VisDA 上使用resent101 backbone 的結(jié)果如下，在沒有 source data 的情況下做到了 SOTA ?的性能。

而對(duì)于 source-domain 的性能，文章采取了 0.9/0.1 的數(shù)據(jù)集分割策略，可以看到本文的方法在目標(biāo)域的效果顯著，同時(shí)在源域也有非常不錯(cuò)的性能。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的ICCV 2021 | G-SFDA：无需源数据的领域自适应方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。