本文都是李宏毅老師課堂上的總結

背景和意義：

通常在實際生活中我們的訓練集和測試集有很大的差異，例如下圖左邊為你的訓練集，而真正讓你進行檢測和預測的確是右邊的圖片。

1. Domain Adaptaion 與 transformer learing的區別

Domain Adaptation 是 transformer learing 的一個子部分

如上圖所示
就是只有source domain 有label ，在不同的domain 中預測相同的任務

2.什么是domain？

按照數據分類（例如：我們舉出的背景例子中的兩個數據可以理解為兩個不同的domain）

按照任務分類（例如：分割任務，分類任務）

Source domain（S）： 主要是指我們的訓練集 這里每個數據都有相應的label
Target domain（T）： 主要是預測集 沒有label 而且與S 是不同的domain

3.運用

例如 使用gta5 的街景數據，幫助真實世界的街道數據分割之類的任務，因為gta是電腦生成的很容易獲取位置

4.原理

Features： 這里就是指的提取出的特征，例如通過resnet 或者vgg提取出的特征 如下圖所示

我們可以將特征假設在一個向量空間中 ，我們可以看出s和t的特征分布的差別非常的大，所以我們希望可以將這兩個向量空間的映射到一個相似的區間之內。

希望得到的：

5.實現方法

主要的實現方法分為三類：

Discrepancy-base methods

Adversarial-based methods

Reconstruction-based methods

我個人認為 2 和 3的主要區別在于是否分解 3是對數據的分解而2主要是讓網絡提取 S和T的特征分布相似。

1. Discrepancy-base methods
主要通過一些統計量，計算Target domain 和 Source domain的距離，希望他們統計量上的分布式非常接近的.
樣例paper：Deep Domain Confusion：Maximizing for Domain Invariance

上圖可以看出該種方法的思想：中左側可以看出 S：中可以對數據進行分類，但是T和S 的分布差距比較大，后來經過處理之后得到右側的圖片，S和T的分布相似，而且可以通過S的分布和判斷標準實現對T的分類。

實現方法如上圖所示：就是在Φ 上抽出features 計算距離，計算的方式就是Maximum Mean Discrepancy。

2. Adversarial-based Approaches
Domain Classifier：判斷圖片來自T 還是 S

Simultaneous Deep Transfer Across Domains and Tasks 開山之作
假設：

paper：的主要內容

Maximu Domain Confusion

類似于GAN的思想：首先希望classifer可以正確分類，然后將classifer的參數不變，修改feature extractor希望他可以騙過classifer

Transfer Label Correlation

讓判斷東西可能性 也是相符合，class 與 class 之間的關系也作為一個特征。

在實現上述之前 為了突出class之間的關系 我們將Harder lablel 轉為 Soft label


Pixel Level：使用GAN 進行對于原圖生成神奇寶貝 然后交給鑒別器鑒別，最后用來分類。
文章為什么叫做Pixel level：其實默認s和t之間high level的性質差不多，但是low-level的差別較大。

3. Reonstruction-based
Deep Spearation Networks

解釋：

因為我們的目標是分離出特征 所以希望Private Target Encoder 和 Shared Encoder 得出的feature 越不相似越好 所以我們做的就是通過讓他們得出的feature 相乘等于0 等于相互獨立

Frobenius norm(Frobenius 范數)

拉近相似度的距離：

L （reconstruction）為了訓練出來的不是垃圾 可以重新生成之后和原本的數據非常相似。

Feature Disentanglement：例子：InfoGAN，ACGAN

他和其他gan 不同的地方在于有C(latent) 是可解釋的

他的C（class）使得可以生成不同class 的照片

總結

以上是生活随笔為你收集整理的Domain Adaptation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。