機(jī)器之心報(bào)道

作者：思源

自 BERT 打破 11 項(xiàng) NLP 的記錄后，可應(yīng)用于廣泛任務(wù)的 NLP 預(yù)訓(xùn)練模型就已經(jīng)得到大量關(guān)注。最近微軟推出了一個(gè)綜合性模型，它在這 11 項(xiàng) NLP 任務(wù)中超過了 BERT。目前名為「Microsoft D365 AI & MSR AI」的模型還沒有提供對應(yīng)的論文與項(xiàng)目地址，因此它到底是不是一種新的預(yù)訓(xùn)練方法也不得而知。

BERT 和微軟新模型都采用了通用語言理解評(píng)估（GLUE）基準(zhǔn)中的 11 項(xiàng)任務(wù)，并希望借助 GLUE 展示模型在廣泛自然語言理解任務(wù)中的魯棒性。其中 GLUE 基準(zhǔn)并不需要知道具體的模型，因此原則上任何能處理句子和句子對，并能產(chǎn)生相應(yīng)預(yù)測的系統(tǒng)都能參加評(píng)估。這 11 項(xiàng)基準(zhǔn)任務(wù)重點(diǎn)衡量了模型在跨任務(wù)上的能力，尤其是參數(shù)共享或遷移學(xué)習(xí)的性能。

從微軟新模型在 GLUE 基準(zhǔn)的表現(xiàn)上來看，至少它在 11 項(xiàng) NLP 任務(wù)中比 BERT-Large 更高效。這種高效不僅體現(xiàn)在 81.9 的總體任務(wù)評(píng)分，同時(shí)還體現(xiàn)在參數(shù)效率上。微軟的新模型只有 1.1 億的參數(shù)量，遠(yuǎn)比 BERT-Large 模型的 3.35 億參數(shù)量少，和 BERT-Base 的參數(shù)量一樣多。下圖展示了 GLUE 基準(zhǔn)排名前 5 的模型：

在「Microsoft D365 AI & MSR AI」模型的描述頁中，新模型采用的是一種多任務(wù)聯(lián)合學(xué)習(xí)。因此所有任務(wù)都共享相同的結(jié)構(gòu)，并通過多任務(wù)訓(xùn)練方法聯(lián)合學(xué)習(xí)。此外，這 11 項(xiàng)任務(wù)可以分為 4 類，即句子對分類 MNLI、QQP、QNLI、STS-B、MRPC、RTE 和 SWAG；單句子分類任務(wù) SST-2、CoLA；問答任務(wù) SQuAD v1.1；單句子標(biāo)注任務(wù)（命名實(shí)體識(shí)別）CoNLL-2003 NER。

其中在句子對分類任務(wù)中，有判斷問答對是不是包含正確回答的 QNLI、判斷兩句話有多少相似性的 STS-B 等，它們都用于處理句子之間的關(guān)系。而單句子分類任務(wù)中有判斷語句中情感趨向的 SST-2 和判斷語法正確性的 CoLA 任務(wù)，它們都在處理句子內(nèi)部的關(guān)系。

在 SQuAD v1.1 問答數(shù)據(jù)集中，模型將通過問題檢索段落中正確回答的位置與長度。最后在命名實(shí)體識(shí)別數(shù)據(jù)集 CoNLL 中，每一個(gè)時(shí)間步都會(huì)預(yù)測它的標(biāo)注是什么，例如人物或地點(diǎn)等。

如下所示為微軟新模型在不同任務(wù)中的得分：

目前微軟新模型的性能還非常少，如果經(jīng)過多任務(wù)預(yù)訓(xùn)練，它也能像 BERT 那樣用于更廣泛的 NLP 任務(wù)，那么這樣的高效模型無疑會(huì)有很大的優(yōu)勢。

總結(jié)

以上是生活随笔為你收集整理的继BERT之后，这个新模型再一次在11项NLP基准上打破纪录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。