各位知乎兒大家好，這是<EYD與機器學習>專欄遷移學習系列文章的第四篇文章，在上次的文章中我們介紹了一個遷移學習與對抗網絡結合的算法框架（笨笨：<EYD與機器學習>遷移學習：DANN域對抗遷移網絡），這次我們依舊為大家介紹一篇關于對抗網絡和遷移學習結合的論文：Partial Transfer Learning with Selective Adversarial Networks（SAN）[1]。這篇文章是由清華大學的龍明盛老師發表的，文中要解決的問題和我們之前介紹的論文的工作都有所不同，下面我來詳細為大家介紹。

一、簡介

之前介紹的遷移學習方法的前提是源域標記空間和目標域標記空間相同，也就是說源域和目標域的類別數量和內容都是相同的，但是在如今這個大數據時代這個假設過于嚴格了。網絡上或者數據庫里的數據是很豐富的，類別通常都會遠遠超過目標域的類別數量。例如我們想要構建一個圖像的分類器，對一百類圖像進行分類。當訓練數據不足時我們可以借用ImageNet里的圖片進行預訓練，這就是一個遷移學習的過程，但是問題是ImageNet中有那么多類圖像，到底哪些可以拿來進行預訓練呢？一般情況下我們都是根據自己的經驗為當前的目標任務選擇可以遷移的源域，但是我們只能是以各種距離或者相似度來作為選擇源域的依據，這樣不僅會有很大誤差，而且還會丟掉很多有用的信息。

針對上述問題，作者提出了選擇式對抗網絡，讓網絡能夠自己為目標域選擇合適的源域類別進行遷移。 不再假設源域和目標域的標記空間相同，而是假設目標域的標記空間是源域標記空間的一個子空間。如下圖所示：

圖 1 PTL的假設前提

下面我們來學習一下PTL的具體工作原理。

二、Partial Transfer Learning with Selective Adversarial Networks（SAN）

選擇式對抗網絡（SAN）屬于無監督遷移學習，即訓練時目標域無帶標記樣本，但是源域有豐富的帶標記樣本，同時目標域的類別是源域類別的子集。其符號定義如下：

• ：表示源域數據
• ：表示目標域數據
• ：表示特征提取器
• ：表示類別預測器
• ：表示域判別器
• ：表示源域中的類別數
• ：表示目標域中的類別數

下面是SAN的網絡結構：

圖 2 選擇式對抗網絡

在圖中

，表示源域的類別數，雖然這K個類別都屬于源域，但是作者依然針對每個源域設計了一個域判別器。這樣做的目的是不將目標域和源域看做兩個整體，而是將兩個域中的各個類當做單獨的個體進行遷移。

當

中的第 個樣本 進入網絡時，每個域判別器都會產生一個判別結果，那么K個域判別器中哪一個的結果會對前面的特征提取器的訓練產生影響呢？這時就要引入類別預測器的信息了，預測器會對 進行預測，并輸出 K 個概率值，分別表示 屬于源域的每一類的概率。那么這 K 個概率就可以對之前的域判別器的結果進行加權，第 類概率越大，則對應的那個域判別器的損失對于前面特征提取器的訓練影響就越大。因此，域判別器的損失函數為：

從上述過程中可以看出，在訓練時是很依賴對目標域的預測結果的，然而目標域本身又是無標記的，無法直接訓練，所以為了提高目標域預測結果的準確性，作者提出了條件熵這一損失函數：

在上式中，樣本

的預測結果記為 ,則有：

因為

是一個常數，所以：

最小化條件熵的目的是讓當前的預測結果

更加依賴當前的樣本 ，這樣可以近似有監督的訓練過程，從而提高預測結果的可靠性。

此外，和上一篇文章介紹的相同，源域數據是有標記的所以在訓練類別預測器的時候是一個有監督過程，因此整個網絡的損失函數為：

由于是對抗網絡，所以在訓練時還是分成兩步：

訓練終止時會達到兩個效果：第一，域判別器不能判斷出輸入給網絡的樣本時源域還是目標域；第二，類別預測器可以同時對源域樣本和目標域樣本進行分類。

SAN對于源域類別對于目標域類別的情況比其他遷移學習網絡確實好了很多，下面是作者的實驗結果：

圖中藍色點表示目標域樣本，紅色點表示源域樣本，可以看出源域的類別比目標域多（簇的數量表示類別數量），SAN的適配結果是最好的。

三、總結

可以看出，SAN的本質和之前介紹的DANN區別不大，不過它在對抗網絡這個框架下引入了源域類別選擇的功能，能夠在無目標域標記的情況下自主選擇源域對應的樣本進行遷移，為每個類別分別構建域判別器，不再將整個源域的各個類混在一起，剔除了源域中的不相關類，減少了負遷移。但是SAN由于設計了多個對抗網絡（每個類一個域判別器），導致算法在類別比較多的時候沒有辦法很好的收斂。

本次文章中如果有哪些錯誤或者不嚴謹的地方，希望大家批評指正，后續我們會繼續向大家介紹關于遷移學習的文章。

——Double編輯

參考文獻

[1]

https://arxiv.org/pdf/1707.07901.pdf?arxiv.org

總結

以上是生活随笔為你收集整理的基于特征的对抗迁移学习论文_lt;EYD与机器学习gt;迁移学习：PTL选择式对抗网络...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。