@Author：Runsen

2018 年，谷歌發表了一篇題為《Pre-training of deep bidirectional Transformers for Language Understanding》的論文。

在本文中，介紹了一種稱為BERT（帶轉換器Transformers的雙向編碼Encoder 器表示）的語言模型，該模型在問答、自然語言推理、分類和通用語言理解評估或 (GLUE)等任務中取得了最先進的性能.

BERT全稱為Bidirectional Encoder Representation from Transformers[1]，是一種用于語言表征的預訓練模型。

它基于谷歌2017年發布的Transformer架構，通常的Transformer使用一組編碼器和解碼器網絡，而BERT只需要一個額外的輸出層，對預訓練進行fine-tune，就可以滿足各種任務，根本沒有必要針對特定任務對模型進行修改。

BERT將多個Transformer編碼器堆疊在一起。Transformer基于著名的多頭注意力（Multi-head Attention）模塊，該模塊在視覺和語言任務方面都取得了巨大成功。

在本文中，我們將使用 PyTorch來創建一個文本分類的Bert模型。

筆者介今天紹一個python庫 — simpletransformers，可以很好的解決高級預訓練語言模型使用困難的問題。

simpletransformers使得高級預訓練模型（BERT、RoBERTa、XLNet、XLM、DistilBERT、ALBERT、CamemBERT、XLM-RoBERTa、FlauBERT）的訓練、評估和預測變得簡單，每條只需3行即可初始化模型。

數據集來源：https://www

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【小白学习PyTorch教程】十五、BERT：通过PyTorch来创建一个文本分类的Bert模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。