文章目錄

• 一：過擬合
• • 1.1 直接finetune
  • 1.2 layer finetune
  • 1.3ULMFiT
• 2 Bert節(jié)省內(nèi)存
• 3 Bert蒸餾
• 4.post train

一：過擬合

1.1 直接finetune

容易過擬合

1.2 layer finetune

拷貝部分預(yù)訓(xùn)練參數(shù)，而其他隨機初始化

兩部分一同訓(xùn)練：提升（左下線5）

只訓(xùn)練隨機初始化的部分：破壞（左下線2），但在此基礎(chǔ)上再解凍剩余部分會恢復(fù)（左下線3）

李宏毅transfer learning.
How transferable are features in deep neural networks? 論文筆記
How transferable are features in deep neural networks?

1.3ULMFiT

Universal Language Model Fine-tuning for Text Classification
從最后一層到前層，逐層解凍

2 Bert節(jié)省內(nèi)存

以時間節(jié)省內(nèi)存

3 Bert蒸餾

Bert短路–>加速了

4.post train

不是很懂，大體是對已經(jīng)與訓(xùn)練過的模型，使用新的數(shù)據(jù)集進一步預(yù)訓(xùn)練，之后再做finetune。 疫情期間微博數(shù)據(jù)情感分析的任務(wù)中，第一名（還是第三名？）用這個方法進行進一步預(yù)訓(xùn)練，數(shù)據(jù)集大小10w

總結(jié)

以上是生活随笔為你收集整理的finetune与Bert的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。