在碎片化閱讀充斥眼球的時代，越來越少的人會去關(guān)注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?60?篇文章

本期推薦的論文筆記來自 PaperWeekly 社區(qū)用戶 @jindongwang。本文是伍倫貢大學(xué)（University of Wollongong）發(fā)表于 CVPR 2018 的工作，作者團隊將樣本權(quán)重應(yīng)用于對抗 Partial Transfer 中。

如果你對本文工作感興趣，點擊底部的閱讀原文即可查看原論文。

關(guān)于作者：王晉東，中國科學(xué)院計算技術(shù)研究所博士生，研究方向為遷移學(xué)習(xí)和機器學(xué)習(xí)。

■?論文 | Importance Weighted Adversarial Nets for Partial Domain Adaptation

■ 鏈接 | https://www.paperweekly.site/papers/1805

■ 作者 | Jing Zhang / Zewei Ding / Wanqing Li / Philip Ogunbona

背景

我們目前接觸過的絕大部分遷移學(xué)習(xí)問題情景都是：源域和目標域的特征空間與類別空間一致，只是數(shù)據(jù)的分布不一致，如何進行遷移。也就是說，源域和目標域要是幾類，都是幾類。

但是這種情況顯然具有很大的限制性：在真實應(yīng)用中，我們往往不知道目標域的類別，更無法獲知它是否和源域的類別完全一樣。這就極大地限制了它的應(yīng)用。

遷移學(xué)習(xí)的目標就是利用大量有標注的源域數(shù)據(jù)來對目標域數(shù)據(jù)進行建模。如果我們假設(shè)已有的源域數(shù)據(jù)很豐富，它本身就包含了目標域的類別，那么問題會不會看起來更具一般性？

形式化來講，我們用 Ys 和 Yt 分別表示源域和目標域的類別空間，那么部分遷移學(xué)習(xí)就是 Y???Yt。這種情況比通常意義下的遷移學(xué)習(xí)更有挑戰(zhàn)性。

論文動機

作者的 motivation 很直觀：如果在源域類別比目標域多的情況下無法直接進行遷移，那我們就先選擇出源域中與目標域那部分類別最接近的樣本，給它們賦予高權(quán)重，然后再進行遷移。?

基于這個想法，作者設(shè)計了一個兩階段的深度對抗網(wǎng)絡(luò)。我們都知道對抗網(wǎng)絡(luò)主要由特征提取器（feature extractor）和領(lǐng)域分類器（domain classifier）組成。特征提取器用于進取樣本的公共特征，領(lǐng)域分類器用于判別兩個領(lǐng)域是否相似。

已有工作通常會對源域和目標域采用一個公共的特征提取器。但是在部分遷移學(xué)習(xí)中，源域和目標域的類別往往不同，因此作者提出對它們分別采用不同的特征提取器進行。這樣做還有一個好處就是，不同的特征提取器可以針對各自的 domain 學(xué)習(xí)到各自的表征性特征。?

在學(xué)習(xí)時，固定源域的特征提取器不變，只學(xué)習(xí)目標域的特征，這更符合原始 GAN 的理論。

方法

作者提出了一個深度加權(quán)對抗網(wǎng)絡(luò)（Importance Weighted Adversarial Nets）。這個網(wǎng)絡(luò)的示意圖如下圖所示。

網(wǎng)絡(luò)的主要部分為：分別作用于源域和目標域的兩個特征提取器（分別叫做 Fs 和 Ft)，以及兩個領(lǐng)域分類器（分別叫做 D 和 D0）。

第一個領(lǐng)域分類器用來篩選出源域中與目標域相似的那部分樣本（或者源域中與目標領(lǐng)域共享的那部分類別），第二個領(lǐng)域分類器進行正常的 Domain Adaptation。

相應(yīng)地，方法主要分為兩個部分：1）篩選出源域中與目標域?qū)儆谙嗤悇e的樣本，2）綜合學(xué)習(xí)。

樣本篩選

此部分是該論文的核心創(chuàng)新點。主要思路是，由 Fs 和 Ft 產(chǎn)生的源域和目標域特征 Zs 和 Zt，通過一個領(lǐng)域分類器 D，判別樣本是來自于源域還是目標域。

這個 D 是一個二類分類器，如果 D=1，表示樣本來自源域；否則，樣本則來自目標域。那么，如何才能知道樣本是否屬于源域和目標域的公共類別，而不是特異于源域的類別（作者叫它們 outlier）？

如果 D(z)≈1，那么就表示 z 這個樣本是來自于源域。更進一步分析，為什么這部分樣本只是來自源域？那是因為這部分樣本是源域獨有的。否則的話，它就同樣來自目標域了。

從另一個角度說，如果 D(z)≈0，則表示這部分樣本來自目標域。同時，也表示它可能來自源域中與目標領(lǐng)域共享的類別。因為兩部分的類別是共享的。

這個簡單而直觀的道理指導(dǎo)著我們設(shè)計不同的權(quán)重。我們的目標是，對于篩選出的那部分與目標域?qū)儆谙嗤悇e的源域樣本，給它們賦予大權(quán)重；另一部分源域特有的樣本，權(quán)重調(diào)小。該權(quán)重可以被表示為：

這里的 D?(z) 表示的是領(lǐng)域分類器 D 的最優(yōu)值，它可以通過求導(dǎo)得出：

從這個式子可以看出，如果 D?(z)?值較大，則表示樣本更可能是 outlier，那么權(quán)重值就會變小；反之，如果 D?(z)?值較小，則表示樣本更可能是源域和目標域共同部分，那么權(quán)重值就會變大。這個方法很好地對源域和目標域中的共同類別的樣本完成了篩選工作。

作者還對源域部分的權(quán)重進行了歸一化，以更加明確樣本的從屬關(guān)系。加入權(quán)重以后，優(yōu)化目標變成了：

下一步工作是處理領(lǐng)域分類器 D0。D0 也可以以同樣的求導(dǎo)方式得到。

綜合學(xué)習(xí)

綜合學(xué)習(xí)之前，作者還加了一個熵最小化項用于對目標域的樣本屬性進行約束，這也是比較常見的做法。熵最小化可以被表示為：

其中的 H(?) 就是熵的表達形式。C(?) 是分類器。現(xiàn)在，總的學(xué)習(xí)目標就是：

實驗

部分遷移學(xué)習(xí)實驗主要在傳統(tǒng)的 Office-Caltech 以及 Office-31 上做。不過實驗任務(wù)與之前的遷移學(xué)習(xí)有所不同：源域的類別比目標域多。

作者和一些最新的遷移學(xué)習(xí)方法進行了對比，表明了所提方法的優(yōu)勢。

作者還特別做了一個實驗：當(dāng)目標域的類別個數(shù)逐漸變多時，精度如何變化？結(jié)論是，隨著目標域類別個數(shù)的減少，精度逐漸增加。這表明知識在進行遷移時，源域知識越多，通過篩選，對目標越有效。

具體實驗設(shè)定、結(jié)果、以及其他的可視化結(jié)果可以參照原文。

總結(jié)

本文核心創(chuàng)新點是，從任務(wù)出發(fā)，直觀地構(gòu)造出兩階段式對抗網(wǎng)絡(luò)，對源域中與目標域共享的類別樣本進行有效篩選。

另一個與已有工作不同的地方是，作者分別對源域和目標域采用了不同的特征提取器。其實這一點與作者發(fā)表在 CVPR-17 的 JGSA [1]?方法很像。可以參考學(xué)習(xí)。

參考文獻

[1] Zhang J, Li W, Ogunbona P. Joint geometrical and statistical alignment for visual domain adaptation[J]. arXiv preprint arXiv:1705.05498, 2017.

[2] 與本文相關(guān)的另一篇部分遷移學(xué)習(xí)工作：

https://zhuanlan.zhihu.com/p/32161502

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區(qū)！

點擊標題查看更多論文解讀：?

• ??腦洞大開的機器視覺多領(lǐng)域?qū)W習(xí)模型結(jié)構(gòu)

• ??新型RNN：將層內(nèi)神經(jīng)元相互獨立以提高長程記憶

• CycleGAN：圖片風(fēng)格，想換就換

• 基于GAN的字體風(fēng)格遷移

• 基于置信度的知識圖譜表示學(xué)習(xí)框架

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

??我是彩蛋?

解鎖新功能：熱門職位推薦！

PaperWeekly小程序升級啦

今日arXiv√猜你喜歡√熱門職位√

找全職找實習(xí)都不是問題

?

?解鎖方式?

1. 識別下方二維碼打開小程序

2. 用PaperWeekly社區(qū)賬號進行登陸

3. 登陸后即可解鎖所有功能

?職位發(fā)布?

請?zhí)砑有≈治⑿?#xff08;pwbot02）進行咨詢

?

長按識別二維碼，使用小程序

*點擊閱讀原文即可注冊

? ? ? ? ???

? ? ? ? ???

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看原論文

總結(jié)

以上是生活随笔為你收集整理的用于部分迁移学习的加权对抗网络 | CVPR 2018论文解读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。