簡介： 7月8日，中文語言理解權威評測基準CLUE公開了中文小樣本學習評測榜單最新結果，阿里云計算平臺PAI團隊攜手達摩院智能對話與服務技術團隊，在大模型和無參數限制模型雙賽道總成績第一名，決賽答辯總成績第一名。

作者 | 同潤、歸雨、熊兮

來源 | 阿里技術公眾號

一 概述

7月8日，中文語言理解權威評測基準CLUE公開了中文小樣本學習評測榜單最新結果，阿里云計算平臺PAI團隊攜手達摩院智能對話與服務技術團隊，在大模型和無參數限制模型雙賽道總成績第一名，決賽答辯總成績第一名。

中文語言理解權威評測基準CLUE自成立以來發布了多項NLP評測基準，包括分類榜單，閱讀理解榜單和自然語言推斷榜單等，在學術界、工業界產生了深遠影響。其中，FewCLUE是CLUE最新推出的一項中文小樣本學習評測基準，用來評估機器學習模型是否能夠通過極少樣本的學習來掌握特定的自然語言處理任務。基于這項評估，科研人員可以更精準的衡量機器學習訓練出來的模型的泛化性和準確率。比如智能客服場景中的用戶意圖識別，僅需人工標注幾十條樣本，就能讓意圖識別的準確率達到90%。

眾所周知，大規模預訓練模型雖然在各大任務里面取得非常大的效果，但是在特定的任務上，還是需要許多標注數據。由于收集和標注模型需要的訓練的數據收集成本昂貴，所以需要攻關小樣本學習技術，使用遠小于經典深度學習算法需要的數據量，接近甚至超越經典深度學習算法的精度。此次，阿里云PAI團隊攜手達摩院提出了一套大模型+小樣本的聯合方案，在大規模通用預訓練基礎之上，結合了基于知識的預訓練和Fuzzy-PET少樣本學習，一舉取得了優異的成績。甚至在一個小樣本學習任務上的精準度超過了人類。

二 賽題分析 & 建模思路

比賽數據集總體特點如下：

• 小樣本：訓練集和檢驗集均為每個類別16shot，考驗算法在小樣本情境下的魯棒性
• 泛化性：任務特征差異明顯，需要模型有較好的泛化能力
• 無標簽數據：多數任務提供了數量可觀的無標簽數據，可以嘗試continued pretrain和self-training

基于對賽題的解讀，我們設計了三段式的建模方法：

• 通用領域數據的從頭預訓練：借助PAI-Rapidformer提供的各種加速策略以及預訓練套件，我們從頭預訓練了3億量級和15億量級的中文預訓練模型，預訓練過程采用融入知識的預訓練算法(詳見3.2)。
• 多任務的繼續預訓練：目的是進一步強化雙句匹配任務（OCNLI, BUSTM, CSL）的Performance。我們將分類任務轉化為文本蘊含任務，使用文本蘊含數據進行Continued Pretrain。例如 [CLS]I like the movie[SEP]This indicates positive user sentiment[EOS]
• 針對每個任務進行小樣本算法微調：選擇PET（Pattern-Exploiting Training）作為下游微調的核心方法, 開發Fuzzy-PET算法，減少了PET算法標簽詞人工選擇帶來的波動，并且在任務上帶來效果提升。同時使用了self-training 的半監督方法，在下游微調階段利用上半監督學習（詳見3.3）

三 核心技術

1. PyTorch大模型訓練加速

自從2020年推出PAI-EasyTransfer面向NLP和遷移學習的框架之后，PAI團隊開發了PyTorch版本的EasyTransfer，命名為EasyTexMiner。比賽所用的模型，是通過EasyTexMiner的高性能分布式預訓練完成的。EasyTexMiner的分布式訓練有機整合了微軟的DeepSpeed和英偉達的Megatron優點，整體框圖如下：

EasyTexMiner的分布式訓練融合了以下核心的技術：

1）激活檢查點（Activation Checkpoint）

在神經網絡中間設置若干個檢查點(checkpoint)，檢查點以外的中間結果全部舍棄，反向傳播求導數的時間，需要某個中間結果就從最近的檢查點開始計算，這樣既節省了顯存，又避免了從頭計算的繁瑣過程。

2）梯度累積 (Gradient Accumulation)

以batch_size=16為例，可以每次算16個樣本的平均梯度，然后緩存累加起來，算夠了4次之后，然后把總梯度除以4，然后才執行參數更新，這個效果等價于batch_size=64。這是一種有效的增加Batch Size的方法。通過該策略可以將每個step的batch size擴充到很大，結合LAMB優化器會提升收斂速度。

3）混合精度訓練（Mixed Precision Training）

采用混合精度訓練的好處主要有以下兩點：

• 減少顯存占用，由于FP16的內存占用只有FP32的一半，自然地就可以幫助訓練過程節省一半的顯存空間。
• 加快訓練和推斷的計算，FP16除了能節約內存，還能同時節省模型的訓練時間。具體原理如下圖所示，核心是在反向傳播參數更新的時候需要維護一個FP32的備份來避免舍入誤差，另外會通過Loss Scaling來緩解溢出錯誤。

4）即時編譯JIT

當PyTorch在執行一系列element-wise的Tensor操作時，底層Kernel的實現需要反復地讀寫訪存，但是只執行少量的計算，其中大部分時間開銷并不在計算上，而在訪存讀寫上。比如，實現一個帶有N個元素的Tensor的乘/加法Kernel，需要N次加計算，2N次讀和N次寫訪存操作。我們稱計算少, 訪存次數多的Kernel為訪存Bound。為了避免這種反復的讀寫，以及降低Kernel Launch的開銷，可以采用Kernel Fusion。訪存Bound的Kernel Fusion的核心原理是通過訪存的局部性原理，將多個element-wise的Kernel自動合并成一個Kernel，避免中間結果寫到內存上，來提高訪存的利用率；同時由于多個Kernel合并成一個Kernel，Kernel launch開銷也減少到了1次。

5）3D并行

3D并行策略指的是：數據并行，模型并行，流水并行三種策略的混合運用，以達到快速訓練百億/千億量級模型的目的。該項技術最早由DeepSpeed團隊研發，可以加速大模型的訓練。

6）CPU Offload

反向傳播不在GPU上計算，而是在CPU上算，其中用到的中間變量全部存儲在內存中，這樣可以節省下GPU的顯存占用，用時間換空間，以便能放到更大尺寸的模型。

7）Zero顯存優化器

ZeRO（The Zero Redundancy Optimizer）是一種用于大規模分布式深度學習的新型內存優化技術。ZeRO具有三個主要的優化階段：

• 優化器狀態分區(Pos) ：減少了4倍的內存，通信容量與數據并行性相同；
• 增加梯度分區(Pos+g) ：8x內存減少，通信容量與數據并行性相同；
• 增加參數分區(Pos+g+p) ：內存減少與數據并行度和復雜度成線性關系。

吞吐性能評測

本次發布使用了最新的阿里云EFLOPS AI集群系統，使用NVIDIA A100 GPU和 100Gbps Mellanonx CX6-DX網卡，結合全系統拓撲感知的高性能分布式通信庫ACCL 和 EFLOPS集群多軌網絡能力，實現無擁塞通信，大幅加速了模型的訓練速度。如下圖所示：

可擴展性評測

我們采用比BertLarge更大一點的單卡放不下的模型來做模型并行下的可擴展性評測。具體配置是 num-layers=24，hidden-size=2048，num-attention-heads=32，該模型的參數總量大約是1.2B。我們分別在8/16/32/64卡上進行來吞吐評測，從下圖的指標來看，隨著卡數的增加，吞吐幾乎是近線性的提升。

2. 融入知識的預訓練算法KGBERT

在通用預訓練模型基礎之上，我們考慮融入知識的預訓練來提升預訓練模型的效果。

數據和知識：通過與達摩院NLP數據團隊合作，獲取了大規模、高質量且具備多樣性的數據與知識。

• 大規模：5億中文圖譜知識，通過遠監督獲取2億 Sentence-SPO Pair；
• 高質量：針對原始語料龐雜，存在大量冗余、噪聲的問題，通過DSGAN知識降噪算法，精選上億高質量Sentence-SPO，用于模型訓練；
• 多樣性：FewCLUE數據集除了通用領域，還包含電商、旅游、教育、金融等垂直行業，而這部分數據和知識比較稀缺，為此我們構建了一套高效的知識生產系統，能夠對各類垂直行業的文檔、網頁進行自動三元組抽取，從而極大的提升了知識的豐富度。

模型和預訓練任務

為了高效的利用知識，我們基于“Sentence-正向SPO-負向SPO”對齊語料，設計了多粒度語義理解預訓練任務：

• Mention Detection：增強模型對核心實體Mention的理解；
• Sentence-SPO joint Mask：將大規模文本數據及其對應的SPO知識同時輸入到預訓練模型中進行預聯合訓練，促進結構化知識和無結構文本之間的信息共享，提升模型語義理解能力；
• SPO Margin Magnify：設計對比學習的預訓練任務，拉開Sentence相關SPO與無關SPO語義間隔，使其具備更強的語義區分能力。

技術創新：知識篩選與融入機制

1）動機

NLP任務中，常見的做法是根據當前輸入的自然語言進行建模，但是這樣通常用到的信息只有當前字面局部信息。這和人類在理解語言的時候具有明顯差別，人類會用到我們之前學習到的知識輔助理解。人類會利用這些外部知識來加強自己的理解，如果沒有額外的知識，比如接觸到我們一個不熟悉的領域，我們也很難完全理解語義。而目前NLP常見做法只利用了輸入信息，沒用利用外部知識，理解層次偏低。

現實中知識是龐大且繁雜的，需要針對性的采樣知識，減少引入無關的知識，最大化知識的收益。

2）方法

設計一種新穎的Gated機制，先對句子進行編碼，再通過GCN聚合出子圖信息，通過門控機制，控制信息的流入；在預訓練階段，通過設計最大化知識增益目標函數，讓模型更好的學習到有價值的信息。

3）結果

基于Gated機制的知識篩入，能夠有效捕捉到高增益的三元組進行融入，在政務、金融屬性識別任務上準確率有2%的提升。這樣的知識篩選機制在學術公開數據集驗證有效，并取得SOTA的效果，相關工作已發表在SIGIR2021。

3. 小樣本學習算法

在融入知識的預訓練語言模型基礎上，計算平臺PAI和達摩院團隊聯合推出了自研的多任務小樣本學習算法Fuzzy-PET。由于FewClue榜單具有一系列不同類別的任務，如果在針對特定任務進行小樣本微調之前，模型能學習到跨任務的可遷移的知識，模型在針對特定任務進行小樣本微調過程中會獲得更好的初始參數設置。基于計算平臺PAI團隊在Meta-Learning相關算法的積累基礎上，我們在融入知識的預訓練語言模型的繼續預訓練階段，引入了多個FewClue任務的無標注數據進行學習，在學習過程中，模型自動從這些任務相關的數據中學習到這些任務的背景知識，從而更有利于特定任務的小樣本學習。Meta-Learning的相關算法已經發表在EMNLP2020和ACL2021上。。

在特定小樣本任務學習階段，我們對Pattern-Exploiting Training（PET）算法進行了改進，引入了Fuzzy Verbalizer Mapping機制。舉例來說，在經典的PET算法中，對于FewClue的任務OCNLI，我們設計了如下模板：“其實我覺得你不懂球啊”和“你不懂籃球。”的關系是MASK。

對于輸出的Masked Language Token（即Verbalizer），如果預測結果為“相關”，我們將其映射為類別標簽“entailment”；如果預測結果為“無關”，我們將其映射為類別標簽“neural”; 如果預測結果為“相反”，我們將其映射為類別標簽“contradiction”。利用Verbalizer到類別標簽人工映射，PET實現了對文本分類任務的建模。在Fuzzy Verbalizer Mapping機制中，我們假設多個Verbalizer可能對某一個類別標簽有映射關系，從而進一步提升模型在小樣本學習過程中的泛化性。參考先前的例子，我們設計三組標簽詞：相關,無關,相反/蘊含,中性,矛盾/包含,中立,反向。訓練時每一條樣本使用多組標簽詞輸入，在推理時每個類別計算所有候選詞的預測概率并相加，最終選擇總概率最高的類別。如上述例子，若預測“相關”，“蘊含”， “包含”的概率和大于預測“無關”，“中性”，“中立”或預測“相反”，“矛盾”，“反向”的概率，則預測結果為“entailment”。

這一機制在FewClue的多個任務中對預測精度提升有正面作用，并且一定程度上減輕人工選擇不同標簽詞產生的波動。此外，我們也考慮在小樣本學習階段引入無標注的數據進行Self-training，即依靠現有模型對無標注數據進行打標，實現模型的迭代優化。

四 業務&產品

值得一提的是，基于機器學習平臺PAI平臺，這項技術已在實際業務場景落地且有很好的表現。這些技術增強了達摩院云小蜜KBQA能力，使其具備快速冷啟動、精準問答的能力，并在政務、金融、通用線多個業務場景落地。在實際項目中，在少樣本情形下（20條），可以做到快速冷啟動，從而實現精準問答。同時，這些技術有望給阿里云上的機器學習算法賦予小樣本學習的能力，通過很少的數據標注，就可以大大提升下游任務的效果。這意味著阿里云模型已具備低成本快速落地的實施能力，能高效且敏捷的賦能企業的業務。

基于PAI，阿里云希望構建大規模AI端到端的能力，從底層芯片到分布式系統，再到上層算法和數據的規模化，打造AI工程化集團作戰的能力，服務于各行各業。目前，PAI平臺支持千億特征、萬億樣本規模加速訓練，內置200+成熟算法、以及圖像視覺、音視頻、文本等AI領域高質量深度學習預訓練模型50余個，全面提升企業AI工程效率。在平臺能力基礎上，PAI平臺還提供了成熟的行業解決方案，成為眾多企業的優選服務，已經在智能推薦、用戶增長、端側超分、自動駕駛等眾多場景成熟商用。

原文鏈接：https://developer.aliyun.com/article/785560?

版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。

總結

以上是生活随笔為你收集整理的阿里云力夺FewCLUE榜首！知识融入预训练+小样本学习的实战解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。