1.遷移學習

?比如要訓練一個放射科圖片識別系統，但是圖片非常少，那么可以先在有大量其他圖片的訓練集上進行訓練，比如貓狗植物等的圖片，這樣訓練好模型之后就可以轉移到放射科圖片上，模型已經從其他圖片中學習到了低層的特征，可能會對當前訓練系統產生幫助。但要保證其他圖片的量很多。

對遷移的模型只要修改輸出層，進行重新訓練最后一層或者最后一兩層的參數即可，或者還可以在最后層進行添加神經網絡層。?

任務A和B有相同的輸入x;

對任務A比任務B有更多的數據；

A的低層特征對學習B有幫助。

2 多任務學習

對于遷移學習來說是串行的，現在其他數據集上學習，之后再遷移到當前數據集上。

在自動駕駛上的例子，一張圖片中有車輛，人行道，停止標志，交通燈等，那么這些就可以構成一個特征，(0,1,1,0)。

多任務學習就是訓練一個足夠大的神經網絡來識別所有的物體，替代方案是，訓練多個NN分別識別汽車、交通燈、人行道等等。

此處的損失函數，是對結果向量中的每一個得分都求和，和softmax回歸不同，此時一個圖片可能有多個標記。

1.訓練的任務能夠有共享的低層特征

2.通常，對每個任務的數據量是相似的

3.能夠訓練一個足夠大的網絡來做好所有的任務。

通常遷移學習比多任務學習應用更多，因為條件2比較難滿足。

轉載于:https://www.cnblogs.com/BlueBlueSea/p/10469913.html

總結

以上是生活随笔為你收集整理的DLNg[结构化ML项目]第二周迁移学习+多任务学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。