遷移學(xué)習(xí)

總結(jié)一下，什么時(shí)候遷移學(xué)習(xí)是有意義的？如果你想從任務(wù)A學(xué)習(xí)并遷移一些知識(shí)到任務(wù)B，那么當(dāng)任務(wù)A和任務(wù)B都有同樣的輸入時(shí)，遷移學(xué)習(xí)是有意義的。在第一個(gè)例子中，A和B的輸入都是圖像，在第二個(gè)例子中，兩者輸入都是音頻。當(dāng)任務(wù)A的數(shù)據(jù)比任務(wù)多得多時(shí)，遷移學(xué)習(xí)意義更大。所有這些假設(shè)的前提都是，你希望提高任務(wù)B的性能，因?yàn)槿蝿?wù)B每個(gè)數(shù)據(jù)更有價(jià)值，對(duì)任務(wù)A來說通常任務(wù)的數(shù)據(jù)量必須大得多，才有幫助，因?yàn)槿蝿?wù)A里單個(gè)樣本的價(jià)值沒有比任務(wù)B單個(gè)樣本價(jià)值大。然后如果你覺得任務(wù)A的低層次特征，可以幫助任務(wù)B的學(xué)習(xí)，那遷移學(xué)習(xí)更有意義一些。

遷移學(xué)習(xí)最有用的場(chǎng)合是，如果你嘗試優(yōu)化任務(wù)B的性能，通常這個(gè)任務(wù)數(shù)據(jù)相對(duì)較少，例如，在放射科中你知道很難收集很多X射線掃描圖來搭建一個(gè)性能良好的放射科診斷系統(tǒng)，所以在這種情況下，你可能會(huì)找一個(gè)相關(guān)但不同的任務(wù)，如圖像識(shí)別，其中你可能用1百萬張圖片訓(xùn)練過了，并從中學(xué)到很多低層次特征，所以那也許能幫助網(wǎng)絡(luò)在任務(wù)B在放射科任務(wù)上做得更好，盡管任務(wù)B沒有這么多數(shù)據(jù)。遷移學(xué)習(xí)什么時(shí)候是有意義的？它確實(shí)可以顯著提高你的學(xué)習(xí)任務(wù)的性能，但我有時(shí)候也見過有些場(chǎng)合使用遷移學(xué)習(xí)時(shí)，任務(wù)A實(shí)際上數(shù)據(jù)量比任務(wù)B要少，這種情況下增益可能不多。

多任務(wù)學(xué)習(xí)

在遷移學(xué)習(xí)中，你的步驟是串行的，你從任務(wù)A里學(xué)習(xí)知識(shí)然后遷移到任務(wù)B。在多任務(wù)學(xué)習(xí)中，你是同時(shí)開始學(xué)習(xí)的，試圖讓單個(gè)神經(jīng)網(wǎng)絡(luò)同時(shí)做幾件事情，然后希望這里每個(gè)任務(wù)都能幫到其他所有任務(wù)。

我們來看一個(gè)例子，假設(shè)你在研發(fā)無人駕駛車輛，那么你的無人駕駛車可能需要同時(shí)檢測(cè)不同的物體，比如檢測(cè)行人、車輛、停車標(biāo)志，還有交通燈各種其他東西。比如在左邊這個(gè)例子

那么多任務(wù)學(xué)習(xí)什么時(shí)候有意義呢？當(dāng)三件事為真時(shí)，它就是有意義的。

第一，如果你訓(xùn)練的一組任務(wù)，可以共用低層次特征。對(duì)于無人駕駛的例子，同時(shí)識(shí)別交通燈、汽車和行人是有道理的，這些物體有相似的特征，也許能幫你識(shí)別停車標(biāo)志，因?yàn)檫@些都是道路上的特征。

第二，這個(gè)準(zhǔn)則沒有那么絕對(duì)，那個(gè)小任務(wù)的平均數(shù)據(jù)量差不多。

吳教主深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)課程總綱

總結(jié)

以上是生活随笔為你收集整理的3.2.4 迁移学习和多任务学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。