迁移学习与微调的区别
生活随笔
收集整理的這篇文章主要介紹了
迁移学习与微调的区别
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、遷移學習:
1、從字面意義上理解是知識轉移的學習方法,指一種學習方法;類比機器學習、深度學習等等概念; 2、把已訓練好的模型參數遷移到新的模型來幫助新模型訓練二、微調:
1、從字面意義上理解是小小的調整;指的是一種實現技術或者工具 2、對訓練好的模型的參數進行小小的調整;三、遷移學習與微調的關系
在遷移學習過程中,直接拿來在新場景中使用,取得更優的效果,是需要作相應的處理,而微調是實現遷移學習中的一種工具;處理主要分為兩類:
1、Extract Feature Vector:bert論文中(亦稱feature-based)先計算出預訓練模型對所有訓練和測試數據的特征向量,然后拋開預訓練模型,然后基于已經提取出來的特征向量設計新的分類模型 2、fine-tune:對預訓練模型作些小小的調整;預訓練模型可以作為新場景下的訓練初始參數,也可以凍結部分層,其他參數可以在訓練中進行改變;也可以為預訓練模型增加一個全連接層,在訓練過程中,僅僅更新新層參數總結
以上是生活随笔為你收集整理的迁移学习与微调的区别的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: lightgbm中的feval参数使用明
- 下一篇: bert模型训练的两种方式