漫画解读ERNIE:能和BERT一较高下的知识增强语义表示模型
—————? 五分鐘后 —————
ERNIE 是百度開源深度學(xué)習(xí)平臺飛槳(PaddlePaddle)推出的知識增強語義表示模型,通過海量數(shù)據(jù)建模詞、實體及實體關(guān)系。相較于 BERT 學(xué)習(xí)原始語言信號,ERNIE 直接對先驗語義知識單元進行建模,增強了模型語義表示能力。簡單來說,ERNIE 采用的 Masked Language Model 是一種帶有先驗知識 Mask 機制。
?
除此之外,ERNIE 采用多源訓(xùn)練數(shù)據(jù),利用高性能分布式深度學(xué)習(xí)平臺飛槳完成預(yù)訓(xùn)練。
?
ERNIE 經(jīng)過 1500 萬篇文章,700 萬對話的訓(xùn)練,尤其在語言推斷、語義相似度、命名實體識別、情感分析、問答匹配等自然語言處理(NLP)各類中文任務(wù)上都有不俗的表現(xiàn)。下面我們一起來看看 ERNIE 的應(yīng)用效果:
完型填空
相似度
情感分類
?
了解ERNIE更多信息,點擊閱讀原文或查看以下鏈接:
http://github.com/PaddlePaddle/LARK/tree/develop/ERNIE
?
長按識別下方二維碼
免費申請Tesla V100算力卡
配合PaddleHub讓模型原地起飛
?
現(xiàn)在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?|?了解ERNIE
總結(jié)
以上是生活随笔為你收集整理的漫画解读ERNIE:能和BERT一较高下的知识增强语义表示模型的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 清华大学人工智能研究院成立自然语言处理与
- 下一篇: 中国学霸们被世界名校集体退学,原因竟然是