??與CV不同的是，NLP的微調是建立在大量無標記的數據當中的，比如維基百科。因此NLP上的預訓練語言模型大多采用的是自監督的方式完成訓練，具體方式有LM（language mode，即預測下一個單詞）和MLM（Masked language model）隨機遮蓋一個詞，通過周圍的單詞完成對中性詞的預測，其中，GPT采用的是LM，因此更適用于預測下一句的任務，而BERT則采用后者，11個NLP任務的SOTA。
??原始的文章中對于BERT的微調的描述是有一些誤區的。

原始的BERT是在大量的數據（>3B）上進行訓練的，顯然我們的數據集沒有那么多，所以訓練師的學習率（lr）不可調的太大比如e-5的量級，其次優化器最好選擇完整版的Adam（原始BERT用的不是完整版的Adam，去除了對參數的偏差校正）

3輪的話其實可能對于參數的收斂是不夠的，5輪較為適宜。 當然更多的技巧還可以看How to fine-tune Bert for text classification這篇文章詳細介紹了文本分類任務領域中BERT的使用。

參考連接：11.2NLP中的微調【斯坦福21秋季：實用機器學習中文版】
https://www.bilibili.com/video/BV1bq4y1y7tg?spm_id_from=333.999.0.0
文章How to Fine-Tune BERT for Text Classification?

總結

以上是生活随笔為你收集整理的BERT微调误区的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。