?

本文主要幫助讀者超短時間內理解 ERNIE 核心思想，適合正在準備面試百度的同學 (如果需要內推可以找我)。如果想要細致了解 ERNIE 的各個細節，建議讀原論文：ERNIE1.0 和 ERNIE2.0

?

本文假設讀者對 Transformer 以及 BERT 有一定的了解。

ERNIE 1.0

「ERNIE1.0 主要是改進了 BERT 的 MLM 任務。」 我們看圖說話，

從圖中，我們很容易發現 ERNIE1.0 對于 BERT 的改進是在 MLM 任務。在論文，作者闡述了三種不同的 mask 技巧：

• 基礎 mask：任意 mask 一個單詞 (BERT 所采用的 mask 類型)

• 短語 mask：不是將單詞看成一個整體，而是將短語看成一個整體；(比如上圖中，mask 了 a series of 而不僅僅是 of)

• 實體 mask：mask 一個實體名。(比如上圖中，mask 的是 J.K.Rowling，而不是 K.)

好了，這樣子最初版的 ERNIE 就講完了。下面我們開始講 ERNIE2.0.

ERNIE 2.0

「ERNIE2.0 主要是在 ERNIE1.0 的基礎上，使用了新的多任務訓練的框架。」 BERT 的預訓練中，采用了 MLM 和 NSP 兩種任務，目的是為了讓模型能夠學出更好的詞表示向量，以及句子之間的關系。對于這樣的多任務訓練，ERNIE2.0 系統化的提出了 3 大類任務，并讓 ERNIE 基于這三大類任務進行學習。我們先看圖：

我們首先介紹這三大類任務，然后再介紹任務訓練的方式。

預訓練的三大任務

• 單詞層面預訓練任務：

• 知識 mask：ERNIE1.0 介紹的 mask；

• 單詞 - 文章關系：預測一個單詞是否會出現在一篇文章中，可以讓模型抓住文章主旨；

• 首字母大寫預測：一般實體的首字母得大寫，所以這個任務有助于 NER 任務

• 結構層面預訓練任務：

• 文章句子排序：將一組亂序的句子，重新排序成一個段落；

• 句子距離預測：3 分類任務，“0” 表示是一個文章中緊挨著的句子，“1” 表示是一個文章中的句子，但不是緊挨著的，“2” 表示不是一個文章中的句子

• 語義層面預訓練任務：

• 語義關系：預測兩個句子之間的語義關系或者修辭關系

• 信息檢索相關性：預測 query 和 title 是否相關的 3 分類任務。“0” 表示強相關，“1” 表示若相關，“2” 表示完全不相關。

訓練方式

ERNIE2.0 采用的是序列多任務學習 (Sequential Multi-task Learning)。這樣學習是為了讓模型鞏固之前的任務所學到的知識。

最終，ERNIE2.0 預訓練的整體框架為：

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【NLP】5 分钟理解百度 ERNIE 核心思想的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。