預(yù)訓(xùn)練和微調(diào)概念

1.pre?training/trained

• 你需要搭建一個(gè)網(wǎng)絡(luò)模型來完成一個(gè)特定的圖像分類的任務(wù)。首先，你需要隨機(jī)初始化參數(shù)，然后開始訓(xùn)練網(wǎng)絡(luò)，不斷調(diào)整直到網(wǎng)絡(luò)的損失越來越小。在訓(xùn)練的過程中，一開始初始化的參數(shù)會(huì)不斷變化。當(dāng)你覺得結(jié)果很滿意的時(shí)候，你就可以將訓(xùn)練模型的參數(shù)保存下來，以便訓(xùn)練好的模型可以在下次執(zhí)行類似任務(wù)時(shí)獲得較好的結(jié)果。這個(gè)過程就是pre-training。

2.finetuning

• 之后，你又接收到一個(gè)類似的圖像分類的任務(wù)。這時(shí)候，你可以直接使用之前保存下來的模型的參數(shù)來作為這一任務(wù)的初始化參數(shù)，然后在訓(xùn)練的過程中，依據(jù)結(jié)果不斷進(jìn)行一些修改。這時(shí)候，你使用的就是一個(gè)pre?trained 模型，而過程就是 fine tuning。

3.總結(jié)

• 所以，預(yù)訓(xùn)練 就是指預(yù)先訓(xùn)練的一個(gè)模型或者指預(yù)先訓(xùn)練模型的過程；微調(diào) 就是指將預(yù)訓(xùn)練過的模型作用于自己的數(shù)據(jù)集，并使參數(shù)適應(yīng)自己數(shù)據(jù)集的過程

4.預(yù)訓(xùn)練和微調(diào)的作用

• 在CNN 領(lǐng)域中，實(shí)際上，很少人自己從頭訓(xùn)練一個(gè)CNN網(wǎng)絡(luò)。主要原因是自己很小的概率會(huì)擁有足夠大的數(shù)據(jù)集，基本是幾百或者幾千張，不像ImageNet 有 1200 萬張圖片這樣的規(guī)模。擁有的數(shù)據(jù)集不夠大，而又想使用很好的模型的話，很容易會(huì)造成過擬合。
• 所以，一般的操作都是在一個(gè)大型的數(shù)據(jù)集上（ImageNet）訓(xùn)練一個(gè)模型，然后使用該模型作為類似任務(wù)的初始化或者特征提取器。比如VGG，Inception等模型都提供了自己的訓(xùn)練參數(shù)，以便人們可以拿來微調(diào)。這樣既節(jié)省了時(shí)間和計(jì)算資源，又能很快的達(dá)到較好的效果。

參考：https://blog.csdn.net/abc13526222160/article/details/89320108

總結(jié)

以上是生活随笔為你收集整理的预训练 微调的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。