一、遷移學習：

1、從字面意義上理解是知識轉移的學習方法，指一種學習方法；類比機器學習、深度學習等等概念； 2、把已訓練好的模型參數(shù)遷移到新的模型來幫助新模型訓練

二、微調(diào)：

1、從字面意義上理解是小小的調(diào)整；指的是一種實現(xiàn)技術或者工具 2、對訓練好的模型的參數(shù)進行小小的調(diào)整；

三、遷移學習與微調(diào)的關系

在遷移學習過程中，直接拿來在新場景中使用，取得更優(yōu)的效果，是需要作相應的處理，而微調(diào)是實現(xiàn)遷移學習中的一種工具；處理主要分為兩類：

1、Extract Feature Vector：bert論文中(亦稱feature-based)先計算出預訓練模型對所有訓練和測試數(shù)據(jù)的特征向量，然后拋開預訓練模型，然后基于已經(jīng)提取出來的特征向量設計新的分類模型 2、fine-tune:對預訓練模型作些小小的調(diào)整；預訓練模型可以作為新場景下的訓練初始參數(shù)，也可以凍結部分層，其他參數(shù)可以在訓練中進行改變；也可以為預訓練模型增加一個全連接層，在訓練過程中，僅僅更新新層參數(shù)

總結

以上是生活随笔為你收集整理的迁移学习与微调的区别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。