1. Motivation

2017年ICCV上發表了一篇題為$OpenSetDomainAdaptation$[1]的論文說：一般我們所講的領域適應(domain adaptation)是在一個閉集(close set)的前提條件下進行的，即源域和目標與擁有相同的標簽類別。但是在大多數的實際情況中，源域和目標域可能只共享了一部分相同類別。如圖1所示（圖片來源于文獻[1]），在Close set domain adaptation問題中，目標與中出現的標簽類別全在源域中出現了，而在Open set domain adaptation問題中，目標域中出現的摩托車、電視、飛機等均未在源域中出現；相反，源域中出現的鳥、筆記本、杯子也未在目標域中出現。

顯然domain adaptation in close set中的方法不能用于解決domain adaptation in open set問題，在進行特征對齊的時候只能對其已知的類別，不能對齊未知的類別。

隨后，在2018年ECCV上有一篇論文Open Set Domain Adaptation by Backpropagation，對Open-set domain adaptation進行了重新定義，

2. Method

為解決Open Set問題，作者提出了Open Set Domain Adaptation方法，步驟如下：
( a ) 源域中包含已知帶標簽的樣本（分別用紅、藍、綠以及不同形狀表示）和未知樣本（灰色表示），而目標域中不包含任何標簽信息；
( b ) 首先，我們為一些目標樣本分配類別標簽，留下未標記的異常樣本；
( c ) 通過減小標記為同一類別的源域和目標域數據之間的距離，我們可以學習到從源域到目標域的映射關系。將( b )和( c )反復迭代，直到源域與目標域之間的距離收斂到局部最小值；
( d ) 為了個目標域的樣本打上標簽（紅色，綠色，藍色和灰色（未知類別）），我們在已經映射到目標域的源域數據上學習分類器，并用它來分類目標域樣本。

####2.1 Unsupervised Domain Adaptation
源域數據：$C$個類別，其中$\left|C?1\right|$個已知，1個未知
目標域數據：$\mathcal{T}=\left\{T_1,T_2,...,T_{\mathcal{T}}\right\}$
目標：給目標域中的每一個數據$\mathcal{T}$打上標簽$c\in C$
損失函數：將目標域樣本$T_t$標記為標簽$c$的損失函數記為：$d_{ct}={\Vert S_c?T_t\Vert }_2^2$，其中$T_t$是目標域樣本t的特征表達，$S_c$是源域中標簽為$c$的樣本的均值。這里采用的是樣本一階矩來度量兩個分布間差異，當然我們是希望$d_{ct}$越小越好，表明給目標域數據$T_c$的標簽越接近真實標簽。

為了增加模型的魯棒性，這里并不會為目標域中的沒有一個樣本都分配一個標簽$c$，而是引入了異常值$o_t$，整個模型的優化目標如下：

其中$x_{ct}$和$o_t$是兩個二值變量，他們要么是0要么是1。當$x_{ct}$為0 ，$o_t$為1表明目標域中的該樣本為異常值，反之亦然。第二個約束條件確保至少有一個樣本被標記為了標簽$c$。所以最終的目標是確保目標域中所有樣本的$d_{ct}$與$o_t$的和最小。

2.2 Semi-supervised Domain Adaptation

當目標域有一小部分標記數據之后無監督問題可以變成一個半監督問題。要處理semi-supervised情況，只需要在現有的unsupervised情況下，添加那些有label的target的約束信息。作者為了達到這個目的，引入了一個新的變量$x_{{\hat{c}}_{t}t}=1,?(t,{\hat{c}}_t)\in \mathcal{L}$，其中$\mathcal{L}$表示帶目標域帶標簽樣本集，${\hat{c}}_t$表示目標域樣本$t$的標簽。該項表示所有已有標簽的目標域樣本不改變其標簽。目標函數就變成了：

其中，$d_{c{c}^{\prime }}={\Vert S_c?S_{c^{\prime }}\Vert }_2^2$，它表示當樣本$t$的臨近點 中有臨近點$N_t$被分配到另一類的時候，額外加上一個類間的距離差作為損失。

2.3 Mapping

我們假設有一個線性變換，可以估計出源域到目標域的映射關系，用一個矩陣$W\in {\mathbb{R}}^{D\times D}$。損失函數如下：

對$W$求偏導可以求出使$f(W)$最小的$W$。

本文原載于我的簡書

References:

[1] Busto, P. P. , and J. Gall . “Open Set Domain Adaptation.” IEEE International Conference on Computer Vision IEEE, 2017.
[2] 《小王愛遷移》系列之九：開放集遷移學習(Open Set)

總結

以上是生活随笔為你收集整理的Open Set Domain Adaptation 开集领域适应的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。