[1]A Survey on Transfer Learning:CUHK的楊強教授于2010年發表在IEEE的Transactions on knowledge and data engineering上關于遷移學習的綜述性論文。

在許多機器學習和數據挖掘算法中，一個主要的假設是訓練和未來的數據必須在相同的特征空間中，并且具有相同的分布。然而，在許多實際應用程序中，這種假設可能不成立。例如，我們有時在一個感興趣的領域中有一個分類任務，但是在另一個感興趣的領域中我們只有足夠的訓練數據，在另一個領域中，后者可能位于不同的特征空間或遵循不同的數據分布。

在這種情況下，如果成功地進行知識遷移，就可以避免昂貴的數據標記工作，從而大大提高學習性能。近年來，遷移學習作為一種新的學習框架應運而生。本研究的重點是分類和回顧目前遷移學習在分類、回歸和聚類問題上的進展。在本研究中，我們討論了遷移學習與其他相關機器學習技術的關系，如領域適應domain adaptation、多任務學習multitask learning、樣本選擇偏差sample selection bias以及co-variate shift。同時，我們也探討了遷移學習研究中一些潛在的未來問題。
?

[2]Domain Adaptation via Transfer Component Analysis:CUHK的楊強教授于2011年發表在AAAI的提出的應用在Domain Adaption上的TCA。

領域自適應Domain Adaptation通過利用不同但相關的源領域中的訓練數據來解決目標領域中的學習問題。直觀地說，發現一個好的特征表示是至關重要的。在本文中，我們提出了一種新的學習方法，遷移成分分析Transfer Component Analysis(TCA)來尋找這種表示形式，用于Domain Adaptation。

TCA嘗試使用最大平均偏差Maximum Mean Discrepancy(MMD)學習在一個可復制核希爾伯特空間Reproducing Kernel Hilbert Space(RKHS)中跨域的Transfer Component。在這些傳輸分量所張成的子空間中，不同區域的數據分布比較接近。因此，利用該子空間中的新表示，我們可以應用標準的機器學習方法來訓練源域中的分類器或回歸模型，以便在目標域中使用。研究的主要貢獻是提出了一種新的特征表示方法，該方法利用特征提取方法，通過新的參數核進行域自適應，將數據投影到所學習的Transfer Component上，極大地減小了域分布之間的距離。此外，我們的方法可以處理大型數據集，并自然地導致樣本外泛化。通過跨域室內WiFi定位和跨域文本分類兩個實際應用的實驗，驗證了該方法的有效性和有效性。

?

[3]Transfer Feature Learning with Joint Distribution Adaptation：JDA方法首次發表于2013年的ICCV，它的作者是清華大學的博士生（現為清華大學助理教授）龍明盛。本篇介紹的JDA相當于TCA的增強算法。前作：Domain Adaptation via Transfer Component Analysis。

遷移學習是一種有效的計算機視覺技術，它利用源域中豐富的標記數據為目標域構建精確的分類器。然而，以往的方法并沒有同時減小域間的邊界分布和條件分布的差異。在本文中，我們提出了一種新的遷移學習方法，稱為Joint Distribution Adaptation聯合分布適配(JDA)。具體地說，JDA的目標是在一個有原則的降維過程中，聯合適配jointly adapt邊緣分布和條件分布，并構造新的特征表示，對于較大的分布差異，該特征表示是有效和魯棒的。大量的實驗證明，JDA在四種類型的跨域圖像分類問題上可以顯著優于幾種最先進的方法。

?

[4]How transferable are features in deep neural networks?：發表于NIPS 2014，本篇論文的作者是Jason Yosinski博士（當時是康奈爾大學的博士生），Uber AI聯合創始人。同時三作是Yoshua Bengio，也是剛剛獲得了圖靈獎。

許多以自然圖像為訓練對象的深度神經網絡都表現出一個奇怪的共同現象：在第一層，它們學習到類似Gabor過濾器和色塊的特征。這些第一層特性似乎不是特定于特定的數據集或任務，而是通用的，因為它們適用于許多數據集和任務。特性最終必須由網絡的最后一層從一般特性過渡到特定特性，但是這種過渡還沒有得到廣泛的研究。本文對深卷積神經網絡各層神經元的通用性和特異性進行了實驗量化，得到了一些令人驚訝的結果。可遷移性受到兩個不同問題的負面影響：

較高層次神經元對其原始任務的專門化，以犧牲目標任務的性能為代價，這是預期的；
與共適應神經元之間的網絡分裂相關的優化困難，這是預期不到的。在一個基于ImageNet的示例網絡中，我們演示了這兩個問題中的一個可能占主導地位，這取決于特性是從網絡的底部、中部還是頂部傳輸的。
我們還記錄了隨著基本任務和目標任務之間距離的增加，特征的可移植性降低，但是即使是從遙遠的任務遷移特征也比使用隨機特征要好。最后一個令人驚訝的結果是，初始化一個具有幾乎任意層傳輸的特性的網絡可以提高泛化能力，即使在對目標數據集進行微調之后，泛化仍然存在。
?

[5]Domain Adaptive Neural Networks for Object Recognition：PRICAI 2014的DaNN（Domain Adaptive Neural Network）。

提出了一種簡單的神經網絡模型來處理目標識別中的Domain Adaptive問題。我們的模型將Maximum Mean Discrepancy(MMD)作為正則化方法引入監督學習中，以減少潛在空間中源域和目標域的分布不匹配。從實驗中，我們證明MMD正則化是一種有效的工具同時在SURF選取特征和原始圖像像素的一個特定的圖像數據集上，來提供良好的領域適應模型。我們還表明，提出的模型中，之前denoising auto-encoder預訓練，達到更好的性能比最近的基準模型在相同的數據集。這項工作代表了在神經網絡背景下對MMD測量的首次研究。

?

[6]Deep domain confusion: Maximizing for domain invariance：來自來自加州大學伯克利分校的Eric Tzeng等人發表在arXiv 2014的DDC（Deep Domain Confusion）。DDC針對預訓練的AlexNet（8層）網絡，在第7層（也就是feature層，softmax的上一層）加入了MMD距離來減小source和target之間的差異。這個方法簡稱為DDC。

最近的報告表明，在大規模數據集上訓練的通用監督深度CNN模型減少了(但沒有消除)標準benchmark上的數據集bias。在一個新的領域中對深度模型進行微調可能需要大量的數據，而對于許多應用來說，這些數據是不可用的。我們提出一種新的CNN架構，它引入了一個適應層和一個額外的domain confusion損失，以學習一個語義上有意義和域不變的表示。此外，我們還展示了一個domain confusion度量可以用于模型選擇，以確定自適應層的維數和該層在CNN體系結構中的最佳位置。我們提出的適應方法提供了經驗的表現，這超過了以前發表的標準benchmark視覺領域適應任務的結果。

?

[7]Learning Transferable Features with Deep Adaptation Networks：清華大學助理教授Mingsheng Long (龍明盛)發表在國際機器學習頂級會議JMLR 2015上的深度適配網絡(Deep Adaptation Network, DAN)。前作DDC：Deep domain confusion: Maximizing for domain invariance。

最近的研究表明，深度神經網絡可以學習可轉移的特征，這些特征可以很好地推廣到新的領域適應任務。然而，隨著深度特征在網絡中最終由一般特征向特定特征過渡，隨著domain差異的增大，深度特征在更高層次上的可移植性顯著下降。因此，形式化地減少數據集偏差，增強任務特定層的可移植性是非常重要的。

本文提出了一種新的深度自適應網絡(DAN)結構，將深度卷積神經網絡推廣到領域自適應場景。在DAN中，所有特定于任務的層的隱藏表示都嵌入到一個可復制的內核Hilbert空間中，在這個空間中可以顯式匹配不同域分布的平均嵌入。采用均值嵌入匹配的多核優化選擇方法，進一步減小了domain間的差異。DAN可以在有統計保證的情況下學習可轉移的特性，并且可以通過核嵌入的無偏估計進行線性擴展。大量的經驗證據表明，該架構在標準域適應基準上產生了最先進的圖像分類錯誤率。

?

[8]Geodesic flow kernel for unsupervised domain adaptation：2012年發表在CVPR，GFK作為子空間變換方面是最為經典的遷移學習方法，它建立在2011年發表在ICCV上的另一篇開創性質的文章（SGF）。

在視覺識別的實際應用中，許多因素，如姿態、光照或圖像質量，都可能導致訓練分類器的源域與應用分類器的目標域之間的嚴重不匹配。因此，分類器在目標域中的性能通常很差。Domain Adaption技術旨在糾正這種不匹配。現有的方法側重于學習跨域不變的特性表示，它們通常不直接利用許多視覺數據集固有的低維結構。

在本文中，我們提出了一種新的基于核的方法來利用這種結構。我們的測地線流內核Geodesic flow kernel通過集成無窮多個子空間來模擬域的移動，這些子空間描述了從源到目標域的幾何和統計特性的變化。我們的方法在計算上是有利的，自動推斷重要的算法參數，而不需要廣泛的交叉驗證或來自任何領域的標記數據。我們還引入了一個可靠的度量方法來度量一對源域和目標域之間的適應性。對于給定的目標域和多個源域，可以使用該度量自動選擇最優的源域，以適應和避免不太理想的源域。對標準數據集的實證研究表明，我們的方法優于競爭的方法。

?

[9]Conditional Adversarial Domain Adaptation：清華大學助理教授Mingsheng Long (龍明盛)發表在國際機器學習頂級會議Neural2018上提出的新的Domain Adaptation的條件對抗網絡。

對抗性學習已被嵌入到深層網絡中，用于學習解糾纏和可轉移的領域適應表示。在分類問題中，現有的對抗性域自適應方法可能無法有效地對齊多模態分布的不同域。在本文中，我們提出了一個條件對抗性域適應的原則框架，該框架對分類器預測中所傳遞的判別信息建立了對抗性適應模型。條件域對抗性網絡(CDANs)采用了兩種新的條件調節策略：多線性條件調節和熵條件調節。前者通過捕獲特征表示與分類器預測之間的交叉方差來提高分類器的識別率，后者通過控制分類器預測的不確定性來保證分類器的可移植性。有了理論保證和幾行代碼，這種方法在5個數據集上已經超過了最先進的結果。

?

[10]Transfer Learning via Learning to Transfer：最近有一篇叫做《Learning To Transfer》的文章火了，被ICML 2018接收。后來一篇《Transfer Learning via Learning to Transfer》被PMLR2018接受。

在遷移學習中，要解決的兩個主要問題是什么和如何遷移，因為在源域和目標域之間應用不同的遷移學習算法會導致不同的知識遷移，從而提高目標域的性能。確定最大限度地提高性能的最佳方案需要進行徹底的探索或大量的專業知識。同時，教育心理學普遍認為，人類通過對歸納遷移學習實踐的元認知反思，提高了決定遷移內容的遷移學習技能。

基于此，我們提出了一種新的遷移學習框架，即學習遷移(learning to transfer, L2T)，通過利用以前的遷移學習經驗，自動確定什么遷移是最好的，以及如何遷移。我們建立了L2T框架，分兩個階段進行:

通過從經驗中加密遷移學習技巧，學習一個反射函數，；
通過對反射函數的優化，推導出未來一對域的最佳傳輸方式和最佳傳輸方式。從理論上分析了L2T算法的穩定性和推廣界，并通過實驗證明了其相對于幾種最先進的遷移學習算法的優越性。
?

[11]Open Set Domain Adaptation：本專欄專門講Domain Adaptation的第一篇論文。這篇文章是接受于ICCV 2017，文章的setting是特別新穎的，獲得了ICCV Marr Prize 提名。所以很值得一看。

當訓練和測試數據屬于不同的領域時，對象分類器的精度會顯著降低。因此，為了減少數據集之間的域轉移，近年來提出了幾種算法。然而，所有可用的域適應評估協議都描述了一個封閉的集合識別任務，其中兩個域，即源和目標，都包含完全相同的對象類。在這項工作中，我們還探索了開放集中的域適應領域，這是一個更現實的場景，其中源數據和目標數據之間只共享幾個感興趣的類別。因此，我們提出了一種同時適用于閉集和開集場景的方法。該方法通過聯合解決一個賦值問題來學習從源到目標域的映射，該問題為那些可能屬于源數據集中出現的感興趣類別的目標實例貼上標簽。全面的評估表明，我們的方法優于最先進的。
?

[12]Partial Transfer Learning with Selective Adversarial Networks：清華大學助理教授Mingsheng Long (龍明盛)發表在國際機器學習頂級會議CVPR2018。

對抗性學習已經成功地嵌入到深度網絡中，以學習可遷移的特征，從而減少源域和目標域之間的分布差異。現有的域對抗網絡假設跨域完全共享標簽空間。在大數據的存在下，將分類和表示模型從現有的大規模域遷移到未知的小規模域具有很強的動力。引入部分遷移學習，將共享標簽空間的假設松弛為目標標簽空間僅是源標簽空間的一個子空間。以往的方法一般都是將整個源域與目標域匹配，對于局部遷移問題，容易產生負遷移。我們提出了選擇性對抗性網絡Selective Adversarial Networks(SAN)，它通過選擇離群源類來避免負遷移，通過最大程度匹配共享標簽空間中的數據分布來促進正遷移。實驗表明，我們的模型在多個基準數據集上的局部遷移學習任務的性能優于最先進的結果。

?

[13]Importance Weighted Adversarial Nets for Partial Domain Adaptation：計算機視覺頂會CVPR 2018接收：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者團隊來自澳大利亞臥龍崗大(University of Wollongong)

本文提出了一種基于權重加權對抗網絡的無監督域自適應方法，特別適用于目標域類數少于源域的局部域自適應。以往的領域自適應方法一般采用相同的標簽空間，從而減小了分布的差異，實現了可行的知識遷移。然而，在更現實的場景中，這種假設不再有效，該場景需要從更大、更多樣化的源域適應到更小、類數更少的目標域。本文擴展了基于對抗性網絡的域自適應方法，提出了一種新的基于對抗性網絡的局部域自適應方法來識別可能來自異常類的源樣本，同時減少了域間共享類的遷移。

?

[14]DANN：Unsupervised Domain Adaptation by Backpropagation：發表在ICML15上。論文提出了用對抗的思想進行domain adaptation，該方法名叫DANN(或RevGrad)。核心的問題是同時學習分類器??、特征提取器?以及領域判別器?。通過最小化分類器誤差，最大化判別器誤差，使得學習到的特征表達具有跨領域不變性。

高性能的深層體系結構是針對大量標記數據進行訓練的。在缺少特定任務的標記數據的情況下，域自適應通常提供了一個有吸引力的選項，因為具有類似性質但來自不同域的標記數據(例如合成圖像)是可用的。在此，我們提出了一種在深層體系結構中進行域自適應的新方法，該方法可以訓練來自源域的大量標記數據和來自目標域的大量未標記數據(不需要標記的target domain數據)。

隨著訓練的進行，該方法促進了

• 對源域上的主要學習任務具有鑒別性的深層特征的出現
• 關于域之間的遷移具有不變性

我們證明，這種自適應行為幾乎可以在任何前饋模型中實現，通過增加幾個標準層和一個簡單的新的梯度逆轉層。生成的增強體系結構可以使用標準的反向傳播進行訓練。

總的來說，使用任何深度學習包都可以輕松地實現該方法。該方法在一系列的圖像分類實驗中取得了良好的效果，在存在較大的域遷移的情況下，取得了較好的自適應效果，在Office數據集上的性能優于以往的先進方法。
?

[15]Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach：由Yoshua Bengio領導完成發表在ICML2011上，引用量超1000+的論文，算是domain adaptation發表較早的論文。

在線評論online reviews和推薦recommendations的指數增長使得情感分類成為學術和工業研究中一個有趣的話題。評審可以跨越許多不同的領域，因此很難為所有這些領域收集帶注釋的訓練數據。因此，本文研究了情緒分類器的域適配問題，在此基礎上，設計了一個基于一個源域的帶標記評論訓練系統，并將其應用于另一個源域。我們提出了一種深度學習方法，該方法學習以一種無監督的方式為每個評審提取有意義的表示。在一個由4種亞馬遜產品評論組成的基準測試中，使用這種高級特征表示訓練的情感分類器明顯優于最先進的方法。此外，該方法具有良好的可擴展性，使我們能夠在22個域的更大的工業強度數據集上成功地進行域適應。

?

[16]Domain Adaptation for Object Recognition: An Unsupervised Approach：由馬里蘭大學帕克分校完成發表在ICCV2011上，引用量超600+的論文，算是domain adaptation發表較早的論文。

將訓練在源域上的分類器用于識別來自新目標域的實例是最近受到關注的一個重要問題。在本文中，我們提出了在對象識別上下文中關于無監督域適應的首批研究之一，其中我們只標記了來自源域的數據(因此沒有跨域的對象類別之間的對應關系)。出于增量學習,我們創建中介表示兩個域之間的數據通過查看生成子空間維度(相同的)從這些領域創建點Grassmann歧管,沿著測地線和采樣點之間獲取子空間,提供一個有意義的描述底層域的轉變。然后我們得到標記源域數據在這些子空間上的投影，從中學習一個判別分類器對目標域上的投影數據進行分類。我們討論了我們的方法的擴展，用于半監督自適應，以及用于多個源和目標域的情況，并在標準數據集上報告競爭結果。

?

[17]Deep CORAL: Correlation Alignment for Deep Domain Adaptation

深度神經網絡能夠從大量標記的輸入數據中學習強大的表示，但是它們不能很好地概括輸入分布的變化。提出了一種域自適應算法來補償由于域移動而導致的性能下降。在本文中，我們解決了目標域未標記的情況，需要無監督的自適應。CORAL[1]是一種非常簡單的無監督域自適應方法，它用線性變換對源和目標分布的二階統計量進行對齊。在這里，我們將CORAL擴展到學習一個非線性轉換，該轉換將深層神經網絡(deep CORAL)中的層激活關聯對齊。在標準基準數據集上的實驗顯示了最先進的性能。
?

[18]Simultaneous Deep Transfer Across Domains and Tasks：由Eric Tzeng, Judy Hoffman等完成發表在ICCV2016上，引用量高達400+，也算是遷移學習領域相當高引的一篇好文章。

最近的報告表明，一個訓練在大規模數據集上的通用監督深度CNN模型減少了數據集bias，但沒有完全消除。在一個新領域中對深度模型進行微調可能需要大量的標記數據，這對于許多應用程序來說根本不可用。我們提出一種新的CNN架構來利用未標記和稀疏標記的目標域數據。我們的方法同時對域不變性進行優化，以方便域遷移，并使用軟標簽分布匹配soft label distribution matching損失在任務之間傳遞信息。我們提出的適應方法提供了經驗性能，超過了之前發表的兩個標準基準視覺領域適應任務的結果，評估跨監督和半監督適應設置。

?

[19]Domain-Adversarial Training of Neural Networks

提出了一種新的領域適應表示學習方法，即訓練和測試時的數據來自相似但不同的分布。我們的方法直接受到域適應理論的啟發，該理論認為，要實現有效的域轉移，必須基于不能區分訓練(源)域和測試(目標)域的特征進行預測。

該方法在神經網絡體系結構的上下文中實現了這一思想，神經網絡體系結構的訓練對象是源域的標記數據和目標域的未標記數據(不需要標記目標域數據)。隨著培訓的進展，該方法促進了(i)對源領域的主要學習任務具有任意的特征的出現，(ii)對域之間的轉換具有不加區別的特征。

我們證明，這種自適應行為幾乎可以在任何前饋模型中實現，通過增加幾個標準層和一個新的梯度反轉層。生成的增強架構可以使用標準的反向傳播和隨機梯度下降進行訓練，因此可以使用任何深度學習包輕松實現。我們證明了我們的方法成功地解決了兩個不同的分類問題(文檔情感分析和圖像分類)，其中在標準基準上實現了最先進的領域適應性能。我們還驗證了描述符學習任務在人員再識別應用中的方法。

總結

以上是生活随笔為你收集整理的Domain Adaptation论文合集的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。