前言

基于飛槳開源的持續學習的語義理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0預訓練模型，在共計16個中英文任務上超越了BERT和XLNet, 取得了SOTA效果。本文帶你進一步深入了解ERNIE的技術細節。

一：ERNIE 簡介

1.1 簡介

Google 最近提出的 BERT 模型，通過隨機屏蔽15%的字或者word，利用 Transformer 的多層 self-attention 雙向建模能力，在各項nlp 下游任務中(如 sentence pair classification task, singe sentence classification task, question answering task) 都取得了很好的成績。但是，BERT 模型主要是聚焦在針對字或者英文word粒度的完形填空學習上面，沒有充分利用訓練數據當中詞法結構，語法結構，以及語義信息去學習建模。比如 “我要買蘋果手機”，BERT 模型 將 “我”，“要”， “買”，“蘋”， “果”，“手”， “機” 每個字都統一對待，隨機mask，丟失了“蘋果手機” 是一個很火的名詞這一信息，這個是詞法信息的缺失。同時 我 + 買 + 名詞 是一個非常明顯的購物意圖的句式，BERT 沒有對此類語法結構進行專門的建模，如果預訓練的語料中只有“我要買蘋果手機”，“我要買華為手機”，哪一天出現了一個新的手機牌子比如栗子手機，而這個手機牌子在預訓練的語料當中并不存在，沒有基于詞法結構以及句法結構的建模，對于這種新出來的詞是很難給出一個很好的向量表示的，而ERNIE 通過對訓練數據中的詞法結構，語法結構，語義信息

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（八十一）-NLP预训练模型ERNIE实战应用案例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。