文章目錄

• 一：過擬合
• • 1.1 直接finetune
  • 1.2 layer finetune
  • 1.3ULMFiT
• 2 Bert節省內存
• 3 Bert蒸餾
• 4.post train

一：過擬合

1.1 直接finetune

容易過擬合

1.2 layer finetune

拷貝部分預訓練參數，而其他隨機初始化

兩部分一同訓練：提升（左下線5）

只訓練隨機初始化的部分：破壞（左下線2），但在此基礎上再解凍剩余部分會恢復（左下線3）

李宏毅transfer learning.
How transferable are features in deep neural networks? 論文筆記
How transferable are features in deep neural networks?

1.3ULMFiT

Universal Language Model Fine-tuning for Text Classification
從最后一層到前層，逐層解凍

2 Bert節省內存

以時間節省內存

3 Bert蒸餾

Bert短路–>加速了

4.post train

不是很懂，大體是對已經與訓練過的模型，使用新的數據集進一步預訓練，之后再做finetune。 疫情期間微博數據情感分析的任務中，第一名（還是第三名？）用這個方法進行進一步預訓練，數據集大小10w

總結

以上是生活随笔為你收集整理的finetune与Bert的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。