最近調研了不少遷移學習的工作，本文選取7種常見的遷移學習分享給大家。因為我感覺遷移學習在NLP領域的很多任務中有很大的利用價值，畢竟高質量的標注數據是很少的，而人工標注費時費力，而且質量不一定好。

1. Domain Adaptation 領域自適應

1.1 動機

領域自適應是一種遷移學習，它將不同源領域的數據或特征映射到同一個特征空間，以便于利用其源領域數據或特征來增強目標領域的訓練，進而達到更好的訓練效果。領域自適應學習不要求訓練數據和測試數據一定具有相同的分布。

1.2 目的

利用數據或特征更多的源領域來提升數據或特征相對較少的目標領域的模型性能。

1.3論文和代碼

論文：https://arxiv.org/abs/1707.05956，ICCV 2017

代碼：https://github.com/poppinace/TAISL

推薦理由：無監督的領域自適應和張量表示。傳統的領域自適應一般是針對向量的本文換了一種方式，值得借鑒。

論文遷移學習在對話系統領域論文也不少，簡單推薦幾篇：

https://arxiv.org/abs/1609.02846

https://arxiv.org/abs/1808.02586

http://www.aclweb.org/anthology/C18-1103

https://arxiv.org/abs/1111.0048

http://ttic.uchicago.edu/~klivescu/papers/margolis_etal_danlp2010.pdf

2. Online transfer learning 在線遷移學習

在線遷移學習的框架

2.1 動機

把在線學習和遷移學習相結合，用于訓練的源領域的數據在開始訓練前并不是全部確定的，而是隨著時間的推移而不斷增加。

2.2 目的

充分理由源領域的數據進行訓練，以便于更好的遷移到目的領域。

2.3 論文和代碼

論文：https://icml.cc/Conferences/2010/papers/219.pdf，AIJ 2014.

代碼：http://stevenhoi.org/otl

推薦理由：把在線學習和遷移學習相結合，這更符合很實際情況下源領域數據一點一點源源不斷的積累的情況。這是在線遷移學習的第一個公開的研究成果，也是目前最值得學習的研究成果。

3. Lifelong transfer learning 終身遷移學習

?

3.1動機

不再單單是在特定領域終身學習，而是通過終身不斷的學習來提升源領域到目標領域的遷移效果。

3.2 目的

通過終身不斷的學習來增強源領域到目標領域的遷移。

3.3 論文和代碼

論文：http://www.cis.upenn.edu/~eeaton/papers/BouAmmar2015Autonomous.pdf， IJCAI 2015.

代碼：https://github.com/haithamb/pginterella

推薦理由：終身策略梯度強化學習與自主跨領域知識轉移相結合，很適合缺少訓練數據的決策類任務，比如任務型對話系統中的DPL（對話策略學習）。目前這方面工作極少，感覺很適合研究。

4. Heterogeneous Transfer Learning 異構遷移學習

?

4.1 動機

遷移學習一般不要求訓練數據和測試數據有相同的分布，而異構遷移學習連訓練數據和測試數據的特征維度也不再要求一樣。

4.2 目的

訓練數據和測試數據的特征維度也允許不同，這樣更有利于擴大遷移學習的適用范圍。

4.3 論文和代碼

論文：http://proceedings.mlr.press/v95/shen18b/shen18b.pdf， ACML 2018。

代碼：https://github.com/Isilendil/OSTL

推薦理由：基于稀疏特征變換的無監督異構域自適應，用稀疏特征變換來做異構遷移學習很貼近實際情況。

5. Deep Transfer Learning 深度遷移學習

?

5.1 動機

深度學習具有非常強的數據擬合能力，可學習到泛化能力更強的特征表達，而遷移學習能學習到領域無關的特征表達。如果通過深度神經網絡利用其他領域的知識，能充分利用神經網絡來學習所有領域共同具有的特征表示。

5.2 目的

將深度學習與遷移學習相結合，同時利用深度學習和遷移學習的優勢。

5.3 論文和代碼

論文：https://arxiv.org/abs/1608.06019，NIPS 2016。

代碼：https://github.com/tensorflow/models/tree/master/research/domain_adaptation

推薦理由：

6. Reinforcement Transfer Learning 強化遷移學習

?

6.1 動機

強化學習需要多步決策，其實在決策時如果數據較少，可能可以嘗試策略的遷移學習。

6.2 目的

將強化學習與遷移學習相結合，同時利用強化學習和遷移學習的優勢。

6.3 論文和代碼

論文：https://arxiv.org/abs/1810.06667，arXiv 1810.06667。

代碼：https://github.com/yaserkl/TransferRL

推薦理由：深度學習+強化學習+遷移學習做文本的自動摘要，充分理由三者的優勢互補，很適合學習。

7. Adversarial transfer learning 對抗遷移學習

?

7.1 動機

遷移學習一般是單向的遷移，那么如果雙向進行對抗的遷移學習的話，效果可能會更好，因為可以互相遷移而共享共有的數據和特征。

7.2 目的

雙向對抗的遷移學習，盡最大努力的充分利用源領域和目標領域的數據和特征。

7.3 論文和代碼

論文：https://arxiv.org/abs/1712.02560

代碼：

推薦理由：無監督領域自適應的最大分類器差異，讓分類器之間不斷對抗遷移，以便于提升效果。

開通贊賞不是為這點小錢，已經手動調低金額。等贊賞積累到夠買書了，我就買AI相關的書找作者簽字，然后郵寄給一些幸運者（比如關注時間長、平時活躍等）。

總結

以上是生活随笔為你收集整理的7种常见的迁移学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。