哈工大訊飛聯(lián)合實(shí)驗(yàn)室(HFL)在前期陸續(xù)發(fā)布了多個(gè)中文預(yù)訓(xùn)練模型，目前已成為最受歡迎的中文預(yù)訓(xùn)練資源之一。為了進(jìn)一步方便廣大用戶的使用，借助Transformers平臺(tái)可以更加便捷地調(diào)用已發(fā)布的中文預(yù)訓(xùn)練系列模型。

自定義預(yù)訓(xùn)練模型

近日，目前NLP領(lǐng)域非常流行的預(yù)訓(xùn)練模型工具包Transformers(https://github.com/huggingface/transformers)迎來(lái)新版本更新。Transformers工具包研發(fā)團(tuán)隊(duì)Huggingface在Twitter上發(fā)布Transformers v2.2.2已支持上傳第三方的預(yù)訓(xùn)練模型。

快速加載

為了方便廣大用戶的使用，我們將哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的所有中文預(yù)訓(xùn)練模型上傳至Transformers平臺(tái)。相關(guān)模型以及對(duì)應(yīng)的分詞器會(huì)自動(dòng)從Transformers平臺(tái)中下載，確保數(shù)據(jù)準(zhǔn)確無(wú)誤。在使用Transformers工具包時(shí)，僅需在調(diào)用時(shí)使用如下代碼。對(duì)于BERT以及RoBERTa系列模型，請(qǐng)使用：

# 加載分詞器

tokenizer = BertTokenizer.from_pretrained("MODEL_NAME")

# 加載模型

model = BertModel.from_pretrained("MODEL_NAME")
對(duì)于XLNet系列模型，請(qǐng)使用：

# 加載分詞器

tokenizer = XLNetTokenizer.from_pretrained("MODEL_NAME")

# 加載模型

model = XLNetModel.from_pretrained("MODEL_NAME")
其中MODEL_NAME和已發(fā)布的中文預(yù)訓(xùn)練模型的對(duì)應(yīng)關(guān)系如下：模型名MODEL_NAME

RoBERTa-wwm-ext-large	hfl/chinese-roberta-wwm-ext-large
RoBERTa-wwm-ext	hfl/chinese-roberta-wwm-ext
BERT-wwm-ext	hfl/chinese-bert-wwm-ext
BERT-wwm	hfl/chinese-bert-wwm

模型名MODEL_NAME

XLNet-mid	hfl/chinese-xlnet-mid
XLNet-base	hfl/chinese-xlnet-base

例如，如果要調(diào)用RoBERTa-wwm-ext-large模型：

# 加載分詞器

tokenizer = BertTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext-large")

# 加載模型

model = BertModel.from_pretrained("hfl/chinese-roberta-wwm-ext-large")

CLUE

哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的相關(guān)模型經(jīng)過(guò)了第三方中文基準(zhǔn)測(cè)試CLUE(https://github.com/CLUEbenchmark/CLUE)的驗(yàn)證。CLUE基準(zhǔn)測(cè)試包含了6個(gè)中文文本分類數(shù)據(jù)集和3個(gè)閱讀理解數(shù)據(jù)集，其中包括哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的CMRC 2018閱讀理解數(shù)據(jù)集。在目前的基準(zhǔn)測(cè)試中，哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的RoBERTa-wwm-ext-large模型在分類和閱讀理解任務(wù)中都取得了當(dāng)前最好的綜合效果。

分類任務(wù)：

閱讀理解任務(wù)：

相關(guān)資源地址

• 中文BERT、RoBERTa系列模型

  • https://github.com/ymcui/Chinese-BERT-wwm

• 中文XLNet系列模型

  • https://github.com/ymcui/Chinese-PreTrained-XLNet

• CLUE基準(zhǔn)測(cè)試

  • https://github.com/CLUEbenchmark/CLUE

延伸閱讀

• 哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布中文RoBERTa-large預(yù)訓(xùn)練模型

• 哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布中文RoBERTa-wwm-ext預(yù)訓(xùn)練模型

• 哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布中文XLNet預(yù)訓(xùn)練模型

• 哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布中文BERT-wwm-ext預(yù)訓(xùn)練模型

• 哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布基于全詞覆蓋的中文BERT預(yù)訓(xùn)練模型

?原文、編輯：HFL編輯部

總結(jié)

以上是生活随笔為你收集整理的bert中文预训练模型_HFL中文预训练系列模型已接入Transformers平台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。