開放域適應文章專題

2018 ECCV論文 開放域適應專題，后續也會陸續更新新的論文閱讀的解析

論文鏈接 ：https://github.com/zhaoxin94/awesome-domain-adaptation/blob/2f39423e584378e435b81ad972913c3c9445d5ba/README.md#open-set-da

本文不全是翻譯，會附帶作者的一些個人論文理解

---

文章目錄

• 開放域適應文章專題
• 摘要
• Introduction
• method
• • Overall Idea
  • Training Procedure
• 4. 實驗部分
• • 4.1 實現細節：
• 總結

---

摘要

主要講的是：現在有很多的遷移學習算法被提出，從label信息充足的 Source 域遷移到label信息匱乏的 Target 域，但是這些都是閉集的場景： Source 域與 Target 域共享label空間。論文提出了一種新的場景，在Target域中不僅包含 Source 域的已知類別的樣本，更有未知類的一些樣本,具體的描述如下圖所示。

Introduction

提出問題：
開集域適應存在兩個問題：
1.我們沒有這些未知類的先驗知識，所有無法將未知類剝離出target 目標域
2. 域的差異性無法解決，因為兩個域之間存在一定的漂移，所以無法使用域特征對齊的方法解決問題（bp，mmd）

為了解決這些問題，作者使用了對抗學習的思想解決問題：我們假設我們的方法存在兩個結構：一個是特征提取器，另一個是分類器，特征提取器輸出為一個圖片的特征向量，而分類器輸出一個 k+1維的向量， k指的是已知類的分類概率，而最后1維是未知類的概率，如果大于0.5即被認為是未知類；
分類器希望將目標域和源域的數據分開，特征提取器希望將數據的分布一致，這樣就構成了一種對抗關系。
這樣特征提取器有兩種方法可以是源域與目標域的分布一致，將目標域數據與源域已知數據特征對齊，另一種方式就是將部分目標域數據識別為未知類，這樣就可以實現兩域的數據分布一致。

本文的三大貢獻：
1.提出開集域適應；
2.使用對抗學習的思想將目標域中已知類和未知類分開；
3.驗證該方法在數據集上的有效性。

method

Overall Idea

為了將目標域中的已知類和未知類進行劃分，我們需要首先設置一個邊界，由于沒有未知類的信息，我們還是沒有辦法提供一個十分準確的邊界。所以提出了一個偽邊界，我們使用分類器來實現下面的這樣一個目標函數，讓所有輸入的目標域樣本的概率為 $t$, 然后訓練特征提取器來欺騙它，最大化分類的誤差。

特征提取器：為了增大誤差，可以提高未知類的概率，即將該樣本從已知類中分離出去；
舉個例子，如果 $t$ 非常小，特征提取器會很容易將樣本屬于未知類的概率變大，而非變小來 將分類與$t$差異變大。意思是特征提取器將會選擇增大概率（將樣本拒絕為未知類樣本）或者降低概率（將樣本與源域樣本特征對齊）的方法增大分類器的誤差。
$t$ 的大小是可以變化的，我們后續分析它的變化對方法的影響。

Training Procedure

首先需要在 source 數據集上預訓練分類模型，針對 K 種源數據集中的樣本，將其可以很好的分類出來使用以下公式，公式（1）是source數據集中的損失函數，（2）是source數據樣本前向傳播得到的分類概率向量。

為了滿足輸入target數據集后樣本的概率是 $t$, 我們選擇使用交叉損失熵來作為損失函數，如下公式所示：

對于分類器，首先對于source數據要做優化，使得分類效果達到最好；對于target域的數據他想要將其概率固定為$t$,所以最小化器loss函數

對于特征提取器，首先對于source數據要要做優化，使得分類效果達到最好；對于target域的數據他想要將其概率遠離為$t$,所以最大化器loss函數

---

提示：以下是本篇文章正文內容，下面案例可供參考

4. 實驗部分

4.1 實現細節：

網絡結構與： 使用在 ImageNet上的 AlexNet 和VGGNet 預訓練模型進行訓練，
數據集 ： Office， VisDA， digits datasets.

三個對比方法：

open set SVM:
它使用source 域中的已知類樣本，為所有已知類建立一個分類閾值，在target數據集中直接測試，如果低于閾值即判定為未知類；

MMD - OSVM
先使用MMD將其對齊，然后再使用 OSVM 的方法做未知類的拒絕；

BP - OSVM
使用BP神經網絡提取特征，然后再使用OSVM做未知類的拒絕。

總結

提示：這里對文章進行總結：

例如：以上就是今天要講的論文，本文主要講述了使用對抗學習做開集域適應的問題，通過對抗學習，將目標域的已知類數據樣本和源域的數據樣本對齊，同時分離出目標域中未知類的樣本。

總結

以上是生活随笔為你收集整理的Open Set Domain Adaptation by Backpropagation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。