大家還記得2019年底首次將GLUE榜單分數刷過90大關的百度ERNIE模型嗎？

在隨后一年多的時間里，又陸續出現了GPT-3、Switch Transformer等一眾靠模型體量取勝的千億乃至萬億參數規模的超大預訓練模型，似乎新訓一個預訓練模型沒有個千億參數都不好意思拿出來吹。

但是，萬事都是有天花板的。參數規模的提升，不僅使得模型訓練變得極其困難，而且應用部署也變的更加棘手，更為讓人忍不住思考的問題是：難道預訓練就沒有一條更加光明的道路了嗎？

近期，筆者從百度新發布的ERNIE 3.0模型上看到了新的希望——ERNIE 3.0沒有選擇一味的比拼模型規模，而是巧妙地將包含5000萬+實體知識的大規模知識圖譜融合到百億級參數規模的超大規模模型中，并通過數據規模、多樣性、質量的提升，以及模型結構與訓練方式的框架級改進，使得模型全面屠榜了各大中文NLP任務！還順便登頂了GLUE、SuperGLUE兩大NLP權威榜單...

論文鏈接：
https://arxiv.org/pdf/2107.02137.pdf

權威榜單雙榜首，刷爆50+中文任務

提到預訓練模型的效果測評，就不得不提到 SuperGLUE Benchmark 。

SuperGLUE是由谷歌DeepMind、Facebook 研究院、紐約大學、華盛頓大學等多個權威機構聯合發布的復雜語言理解任務評測，旨在解決常識推理、因果判斷、上下文消歧、指代消解等對于人工智能系統更為復雜任務，相對于GLUE等權威經典評測挑戰更大。

在這份業界公認的“地獄級GLUE榜單”上，百度ERNIE3.0以 90.6 的分數擊敗Google T5、微軟DeBERTa、OpenAI的GPT-3等強隊，以超越人類水平0.8個百分點的成績成功實現登頂！

▲ERNIE 3.0登頂 SuperGLUE 榜首

除了SuperGLUE榜單外，筆者還注意到在NLP經典權威榜單GLUE上，百度ERNIE同樣穩居第一：

可以說一舉實現了權威自然語言理解評測的雙榜首。

不僅如此，為了證明模型的通用性，ERNIE 3.0竟然一口氣刷新了50多個中文NLP任務。。。其中涵蓋了情感分析、觀點抽取、閱讀理解、文本摘要、對話生成等NLP經典任務，筆者也是被震驚到了。

例如，基于ERNIE 3.0進行下游任務finetune后，有20幾個NLP任務取得了3%以上的顯著提升：

▲ERNIE 3.0在 Fine-tuning 范式下的任務效果

甚至在zero-shot的設定下，ERNIE 3.0 在大多數任務上相對已有的中文超大模型也取得了顯著的效果提升。

▲ERNIE 3.0在零樣本學習下的效果

中文創作能力出眾

如果說SuperGLUE證明了ERNIE 3.0的自然語言理解能力，50+中文NLP任務證明了ERNIE 3.0的魯棒性和通用性，那ERNIE 3.0的中文創作能力的沖擊就更加直觀了，下面直接上case！

古文創作

歌詞創作

筆者特意搜了一下，發現模型確實不是暴力記憶了互聯網上的歌詞，而是有改編和創作成分在里面

科技文稿創作

對對聯

作詩

續寫小說

這段小說的文字水平顯然已經超越了筆者的高考作文

此外，由于ERNIE 3.0在預訓練階段引入了大規模知識圖譜，因此在需要依賴知識的文本生成任務上同樣表現出眾，比如生成式問答：

更多腦（tiao）洞（xi），歡迎通過demo傳送門進行試用：

https://wenxin.baidu.com/wenxin/ernie

如何做到的？

首先，是基于海量文本和大規模知識圖譜的平行預訓練技術！

文本與知識的平行預訓練

數據方面，ERNIE 3.0使用了多達 4TB 的中文數據，而且在文本的多樣性和質量方面也做了大量優化，如下表所示，數據來源包含11個大類：

此外，4TB數據中還包含了 5千萬知識圖譜三元組 同時輸入到預訓練模型之中進行聯合掩碼訓練。大規模知識圖譜的融入有效促進了結構化知識和無結構文本之間的信息共享，大幅提升了模型對于知識的記憶和推理能力。

文本與知識的平行預訓練方法如下圖所示：

▲ERNIE 3.0中的文本與知識平行預訓練

那么模型吃掉了這么多的知識，有什么用呢？

在論文的ablation study章節，可以看到引入大規模知識圖譜后，最直觀的就是對信息抽取這類知識驅動任務的性能提升：

此外，如前述case所示，在KBQA任務以及zero shot的生成式問答方面，ERNIE 3.0具備顯著優勢。

模型結構改進

在結構方面，ERNIE 3.0基于Transformer-XL作為模型backbone，使得模型天然具備長文本處理能力。

此外，為了減小預訓練與微調階段的gap，提升模型的zero-shot能力，ERNIE 3.0還增加了task-specific的表示模塊，如圖所示：

底層參數共享的shared backbone網絡和上層參數不共享的任務網絡均采用Transformer模型結構。backbone網絡對所有任務均為可學習，而每個任務網絡只對某一種任務進行學習。

此外，而為了更好的融合知識，讓模型同時具備語言理解和語言生成的能力，ERNIE 3.0還融合了自編碼和自回歸兩種范式進行統一預訓練，使得模型兼具語言理解、生成與知識記憶能力。ERNIE 3.0也延續了ERNIE 2.0使用的持續學習范式，整個框架可通過引入新的預訓練任務和新的任務模型網絡，實現模型持續學習，進而解決新的任務。

由此可見，ERNIE 3.0框架的提出證明了預訓練問題在模型規模之外依然存在很大的探索空間，包括但不限于大規模知識圖譜的融合學習、數據多樣性與質量優化、結構與訓練方式改進等，提升參數規模絕對不是當下預訓練問題的唯一解！

但從另一個角度來說，未來的ERNIE模型進化到千億、萬億乃至十萬億參數規模后，又會帶給業界怎樣的驚喜呢？讓我們拭目以待吧！

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的NLP界新SOTA！吸纳5000万级知识图谱，一举刷爆54个中文任务！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。