日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

迁移学习与微调的区别

發(fā)布時間:2025/3/19 编程问答 30 豆豆
生活随笔 收集整理的這篇文章主要介紹了 迁移学习与微调的区别 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

一、遷移學習:

1、從字面意義上理解是知識轉移的學習方法,指一種學習方法;類比機器學習、深度學習等等概念; 2、把已訓練好的模型參數(shù)遷移到新的模型來幫助新模型訓練

二、微調(diào):

1、從字面意義上理解是小小的調(diào)整;指的是一種實現(xiàn)技術或者工具 2、對訓練好的模型的參數(shù)進行小小的調(diào)整;

三、遷移學習與微調(diào)的關系

在遷移學習過程中,直接拿來在新場景中使用,取得更優(yōu)的效果,是需要作相應的處理,而微調(diào)是實現(xiàn)遷移學習中的一種工具;處理主要分為兩類:

1、Extract Feature Vector:bert論文中(亦稱feature-based)先計算出預訓練模型對所有訓練和測試數(shù)據(jù)的特征向量,然后拋開預訓練模型,然后基于已經(jīng)提取出來的特征向量設計新的分類模型 2、fine-tune:對預訓練模型作些小小的調(diào)整;預訓練模型可以作為新場景下的訓練初始參數(shù),也可以凍結部分層,其他參數(shù)可以在訓練中進行改變;也可以為預訓練模型增加一個全連接層,在訓練過程中,僅僅更新新層參數(shù)

總結

以上是生活随笔為你收集整理的迁移学习与微调的区别的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。