遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，就是把為任務(wù) A 開發(fā)的模型作為初始點(diǎn)，重新使用在為任務(wù) B 開發(fā)模型的過程中。遷移學(xué)習(xí)是通過從已學(xué)習(xí)的相關(guān)任務(wù)中轉(zhuǎn)移知識(shí)來改進(jìn)學(xué)習(xí)的新任務(wù)，雖然大多數(shù)機(jī)器學(xué)習(xí)算法都是為了解決單個(gè)任務(wù)而設(shè)計(jì)的，但是促進(jìn)遷移學(xué)習(xí)的算法的開發(fā)是機(jī)器學(xué)習(xí)社區(qū)持續(xù)關(guān)注的話題。

深度學(xué)習(xí)中在計(jì)算機(jī)視覺任務(wù)和自然語言處理任務(wù)中將預(yù)訓(xùn)練的模型作為新模型的起點(diǎn)是一種常用的方法，通常這些預(yù)訓(xùn)練的模型在開發(fā)神經(jīng)網(wǎng)絡(luò)的時(shí)候已經(jīng)消耗了巨大的時(shí)間資源和計(jì)算資源，遷移學(xué)習(xí)可以將已習(xí)得的強(qiáng)大技能遷移到相關(guān)的的問題上。

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的方法，指的是一個(gè)預(yù)訓(xùn)練的模型被重新用在另一個(gè)任務(wù)中。

遷移學(xué)習(xí)與多任務(wù)學(xué)習(xí)以及概念飄移這些問題相關(guān)，它不是一個(gè)專門的機(jī)器學(xué)習(xí)領(lǐng)域。

然而，遷移學(xué)習(xí)在某些深度學(xué)習(xí)問題中是非常受歡迎的，例如在具有大量訓(xùn)練深度模型所需的資源或者具有大量的用來預(yù)訓(xùn)練模型的數(shù)據(jù)集的情況。僅在第一個(gè)任務(wù)中的深度模型特征是泛化特征的時(shí)候，遷移學(xué)習(xí)才會(huì)起作用。

深度學(xué)習(xí)中的這種遷移被稱作歸納遷移。就是通過使用一個(gè)適用于不同但是相關(guān)的任務(wù)的模型，以一種有利的方式縮小可能模型的搜索范圍。

以下是兩個(gè)常用的方法：

??? 開發(fā)模型的方法
??? 預(yù)訓(xùn)練模型的方法

開發(fā)模型的方法

??? 選擇源任務(wù)。你必須選擇一個(gè)具有豐富數(shù)據(jù)的相關(guān)的預(yù)測建模問題，原任務(wù)和目標(biāo)任務(wù)的輸入數(shù)據(jù)、輸出數(shù)據(jù)以及從輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的映射中學(xué)到的概念之間有某種關(guān)系，
??? 開發(fā)源模型。然后，你必須為第一個(gè)任務(wù)開發(fā)一個(gè)精巧的模型。這個(gè)模型一定要比普通的模型更好，以保證一些特征學(xué)習(xí)可以被執(zhí)行。
??? 重用模型。然后，適用于源任務(wù)的模型可以被作為目標(biāo)任務(wù)的學(xué)習(xí)起點(diǎn)。這可能將會(huì)涉及到全部或者部分使用第一個(gè)模型，這依賴于所用的建模技術(shù)。
??? 調(diào)整模型。模型可以在目標(biāo)數(shù)據(jù)集中的輸入-輸出對(duì)上選擇性地進(jìn)行微調(diào)，以讓它適應(yīng)目標(biāo)任務(wù)。

預(yù)訓(xùn)練模型方法

??? 選擇源模型。一個(gè)預(yù)訓(xùn)練的源模型是從可用模型中挑選出來的。很多研究機(jī)構(gòu)都發(fā)布了基于超大數(shù)據(jù)集的模型，這些都可以作為源模型的備選者。
??? 重用模型。選擇的預(yù)訓(xùn)練模型可以作為用于第二個(gè)任務(wù)的模型的學(xué)習(xí)起點(diǎn)。這可能涉及到全部或者部分使用與訓(xùn)練模型，取決于所用的模型訓(xùn)練技術(shù)。
??? 調(diào)整模型。模型可以在目標(biāo)數(shù)據(jù)集中的輸入-輸出對(duì)上選擇性地進(jìn)行微調(diào)，以讓它適應(yīng)目標(biāo)任務(wù)。

第二種類型的遷移學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域比較常用。

總結(jié)

以上是生活随笔為你收集整理的迁移学习简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。