????????研究發現，隨著domain之間差異性的增大，高層特征的可遷移性顯著下降。作者針對這種情況，提出了“多核”和“多層”的想法，“多核”是指使用了多核MMD，“多層”是指適配了多層特征。

摘要

????????深度神經網絡可以學習可遷移特征，這些特征用于域適應時在新的任務上表現出很好的泛化能力。但是特征的遷移性在高層明顯下降，并增加域差異。因此論文的motivation是formally reduce the dataset bias and enhance the transferability in task-specific layers，即形式化地減少數據集偏差，增強任務特定層的可移植性。

? ? ? ? 論文提出一個Deep AdaptationNetwork (DAN) 結構（深度自適應網絡結構），將深度卷積神經網絡推廣到領域自適應場景，DAN中所有任務層的隱藏表示都能嵌入到Hilber空間中。

1.Introduction

????????對圖片學習，transfer learning很重要，如果能從有訓練數據的數據集中學到的特征知識遷移到沒有足夠訓練數據的數據集中應用，即將已有的經驗應用到新的任務重去，這可以節省相當大的成本。建立知識轉移（knowledge transfer）的主要方法之一是從數據中學習域不變模型，該模型可以在同構的潛在特征空間中架起源域和目標域之間的橋梁。
????????DAN聯合卷積神經網絡，減小域差異來實現。（域差異指的是源域和目標域的差異）DAN網絡可以學習可跨越域差異的可遷移特性。

????????本文的貢獻總結如下：

提出了一種新的領域自適應深度神經網絡結構，該結構中與任務特定特征對應的所有層都是分層自適應的，從而從深度自適應中獲益。

探索多內核自適應深度表示，與單一內核方法相比，大大提高了自適應效率。該模型可以產生無偏的深層特征與統計保證。

2. Related Work?

3. Deep Adaptation Networks

????????在無監督域自適應中，給出了帶個標記的源域，帶個標記的目標域。源域和目標域分別用概率分布和表示。我們的目標是構建一個深層神經網絡能夠學習transferable features，并構建一個分類器，可以使用使用源域監督來最小化目標風險。在半監督自適應中，當目標域有少量帶標記的例子時，我們用中的表示源域和目標域的注釋的例子。

3.1. Model

????????源域和目標域的數據都放在一起，通過AlexNet來訓練，前三層frozen，第四層第五層fine-tuning，當到后面幾層時，source data和target data分開，然后通過MK-MMD方法來計算兩個域的距離，并且通過損失函數來進行優化，最后當損失函數優化到設定的閾值時，就可進行最終的分類。

????????因為特征的可遷移性隨著層數的加深而顯著下降，可以理解為前幾層提取的是general的特征，越往后就會提取出更針對當前任務的specific的特征。對于下圖中的網絡在?conv4?-?conv5?處，特征可遷移性變差，在fc6?-?fc8處，特征可遷移性顯著變差，所以需要對較深的多層全部進行適配而不是只針對其中的某一層。所以和DDC不同，DAN對?fc6?到?fc8?的全連接層都通過MK-MMD進行了適配。

圖1：用于學習可轉移特性的DAN體系結構。由于深度特征最終沿著網絡過渡從一般到具體,(1)由卷積特征提取層conv1 conv3處于淺層,因此這些層被凍結,(2)由特征提取層conv4和conv5這些層都經過了微調，(3)全連接層fc6-fc8量身定做符合特定的任務，因此他們應與MK-MMD自適應

3.2? 優化目標

?

?

總結

以上是生活随笔為你收集整理的Learning Transferable Features with Deep Adaptation Networks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。