BERT和ERNIE，NLP領域近來最受關注的2大模型究竟怎么樣？

剛剛有人實測比拼了一下，結果在中文語言環境下，結果令人意外又驚喜。

具體詳情究竟如何？不妨一起圍觀下這篇技術評測。

寫在前面

隨著2018年ELMo、BERT等模型的發布，NLP領域終于進入了“大力出奇跡”的時代。采用大規模語料上進行無監督預訓練的深層模型，在下游任務數據上微調一下，即可達到很好的效果。曾經需要反復調參、精心設計結構的任務，現在只需簡單地使用更大的預訓練數據、更深層的模型便可解決。

隨后在2019年上半年，百度的開源深度學習平臺PaddlePaddle發布了知識增強的預訓練模型ERNIE，ERNIE通過海量數據建模詞、實體及實體關系。相較于BERT學習原始語言信號，ERNIE直接對先驗語義知識單元進行建模，增強了模型語義表示能力。

簡單來說，百度ERNIE采用的Masked Language Model是一種帶有先驗知識Mask機制。可以在下圖中看到，如果采用BERT隨機mask，則根據后綴“龍江”即可輕易預測出“黑”字。引入了詞、實體mask之后，“黑龍江”作為一個整體被mask掉了，因此模型不得不從更長距離的依賴（“冰雪文化名城”）中學習相關性。

除此之外，百度ERNIE還引入了DLM（對話語言模型）任務，通過這種方式來學習相同回復對應的query之間的語義相似性。實驗證明DLM的引入對LCQMC（文本相似度計算）系列任務帶來了較大的幫助。最終ERNIE采用多源訓練數據，利用高性能分布式深度學習平臺PaddlePaddle完成預訓練。

親測

到底百度ERNIE模型所引入訓練機制有沒有起到作用，只有實踐了以后才知道。為此，我親自跑了BERT和ERNIE兩個模型，在下面的幾個場景中得到了預測結果。

完形填空

完形填空任務與預訓練時ERNIE引入的知識先驗Mask LM任務十分相似。從下圖的比較中我們可以看到，ERNIE對實體詞的建模更加清晰，對實體名詞的預測比BERT更準確。例如BERT答案“周家人”融合了相似詞語“周潤發”和“家人”結果不夠清晰；“市關村”不是一個已知實體；“菜菜”的詞邊界是不完整的。ERNIE的答案則能夠準確命中空缺實體。

NER (命名實體識別)

在同樣為token粒度的NER任務中，知識先驗Mask LM也帶來了顯著的效果。對比MSRA-NER數據集上的F1 score表現，ERNIE與BERT分別為93.8%、92.6%。在PaddleNLP的LAC數據集上，ERNIE也取得了更好的成績，測試集F1為92.0%，比BERT的結果90.3%提升了1.7%。分析二者在MSRA-NER測試數據中二者的預測結果。可以觀察到：

1.）ERNIE對實體理解更加準確：“漢白玉”不是實體類型分類錯誤；

2.）ERNIE對實體邊界的建模更加清晰：“美國法律所”詞邊界不完整，而“北大”、“清華”分別是兩個機構。

Case對比：摘自MSRA-NER數據測試集中的三段句子。B_LOC/I_LOC為地點實體的標簽，B_ORG/L_ORG為機構實體的標簽，O為無實體類別標簽。下表分別展現了 ERNIE、BERT模型在每個字上的標注結果。

相似度

ERNIE在訓練中引入的DLM能有效地提升模型對文本相似度的建模能力。因此，我們比較文本相似度任務LCQMC數據集上二者的表現。從下表的預測結果可以看出，ERNIE學習到了中文復雜的語序變化。最終ERNIE與BERT在該任務數據的預測準確率為87.4%、87.0%.

分類

最后，比較應用最廣泛的情感分類任務。經過預訓練的ERNIE能夠捕捉更加細微的語義區別，這些句子通常含有較委婉的表達方式。下面展示了PaddleNLP情感分類測試集上ERNIE與BERT的打分表現：在句式“不是很…”中含有轉折關系，ERNIE能夠很好理解這種關系，將結果預測為“消極”。在ChnSentiCorp情感分類測試集上finetune后ERNIE的預測準確率為95.4%，高于BERT的準確率（94.3%）。

從以上數據我們可以看到，ERNIE在大部分任務上都有不俗的表現。尤其是在序列標注、完形填空等詞粒度任務上，ERNIE的表現尤為突出，一點都不輸給Google的BERT。有興趣的開發者可以一試：

https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE

?

長按識別下方二維碼

免費申請Tesla V100算力卡

配合PaddleHub讓模型原地起飛

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的我跑了ERNIE和BERT两个模型，结果出乎意料......的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。