拒绝无脑吹！从ACL20看预训练缺陷
星標/置頂小屋，帶你解鎖
最萌最前沿的NLP、搜索與推薦技術
文 | 舒意恒、兔子醬
以 BERT 為代表作的預訓練模型的研究熱度一直很高，到 0202 年了，預訓練的研究依舊層出不窮，而且 ACL 2020 Best Paper 榮譽提名也選擇了這一主題的研究。
但是，只要我們不停止預訓練，其表現就一定會提升嗎？預訓練模型可以完全支持 NLP 的所有下游任務嗎？在 ACL 2020 已發表的論文中，我們整理并歸納出了目前學術界對預訓練模型的不同看法。
論點一
預訓練，效果就是棒
預訓練的優勢，來源于大量數據積累所造就的良好泛化能力。
ACL 2020｜Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks[1]
動機
雖然通用預訓練模型是在大量語料上進行的，且在glue benchmark等經典的公開數據集上取得了很好的效果，但是當其遷移到一些不那么通用的領域數據（如醫療、金融等）上時，通用預訓練模型是否依然有這么好的表現呢？
實驗
作者在4個領域（生物醫學、計算機科學、新聞和評論）的8個分類任務上進行了“繼續預訓練”的實驗，有以下兩種“繼續”方式：
領域自適應預訓練（Domain-Adaptive Pre-Training, DAPT） 在特定領域的無標注數據上繼續進行預訓練。
任務自適應預訓練（Task-Adaptive Pre-Training，TAPT） 在和任務相關但未標注的數據上繼續進行預訓練。
實驗設置如下：
實驗結果：
結論
實驗表明針對領域（DAPT）或任務（TAPT）數據繼續預訓練可以提升下游模型的效果，先進行領域自適應訓練再進行任務自適應訓練，往往可以進一步提升模型表現。雖然論文是基于 RoBERTa 展開實驗，但是作者認為這些策略都是通用的，所以應用到其他語言模型上也是奏效的。
當能獲取到更多任務相關的無標注數據進行繼續預訓練（Curated-TAPT）時，效果更佳；如果無法取得這些數據，可以通過基于KNN的簡單數據選擇策略，也可以取得一定程度的提升。
此外，作者對來自相同 domain 的兩個不同任務進行了“跨任務遷移實驗”，即首先在任務 A 的標注數據上進行 LM 預訓練，然后在任務 B 的標注數據上 finetune，實驗發現這種跨任務的預訓練對效果是有損失的。
該更多的更多細節可以參考賣萌屋前不久推送過的《ACL20 best paper榮譽提名 | DO NOT Stop Pretraining！》
ACL 2020 | Pretrained Transformers Improve Out-of-Distribution Robustness[2]
動機
通常一個 NLP 任務的訓練集、驗證集、測試集都是符合相同分布（independent and identically distributed，IID）的數據。以 Transformer 為內核的預訓練模型在相同分布的測試集上可以取得高準確率，但是它們在不同分布（out-of-distribution，OOD） 的數據上的泛化能力如何呢？
實驗
作者首先構建了一套測試模型魯棒性的評價體系，然后在 7 個 NLP 任務上度量多個模型的 OOD 泛化能力 generalization 和檢測能力 detection。實驗的模型包括 bag-of-words、ConvNets 和 LSTM 以及 Transformers 系的 BERT、ALBERT模型。
結論
基于 Transformers 的模型相比其他結構的較早提出的模型在 OOD 上更加魯棒，尤其是訓練語料的風格、形式越豐富的時候。但是并不代表說越大參數規模的 PTMs 表現越好。預訓練很大程度上彌補了 OOD 和 IID 之間的差異。
蒸餾可能對 PTMs 性能是有損害的。
PTMs 在異常樣本檢測上也比以前的模型表現更敏感。
另外，本文不同于域適應要同時學習源和目標分布的表示，而是在沒有域適應的情況下，測試模型在不可預知的分布偏差下的魯棒性。
ACL 2020｜Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning[3]
動機
對預訓練模型進行微調已經成為解決下游 NLP 任務的一個標準做法。因為預訓練模型本身沒有攜帶特定分類標簽的先驗知識，所以作者認為微調不是最優的。那如何更好地利用預訓練模型呢？
實驗
本文研究的任務是常識推理任務，Transformer-based 的 encoder 之后不是連接分類層，而是設計了一個對 hypotheses 進行排序的打分函數。在 4 個常識推理數據集進行 zero-shot learning。同時和以 classifier 為輸出層進行 finetune 的方法進行了對比，測試兩者隨著訓練集規模的變化的模型表現。采用 RoBERTa-large 作為實驗模型。
結論
實驗表明，和有監督方法相比，作者提出的評分方法可以作為一個很強的 baseline。直接使用 MLM 的 head 會有持續的性能增益隨著訓練數據規模的減小。未來工作包括將該評分方法用于自然語言推斷和情感分析等任務。
論點二
預訓練模型對語言的理解有限
預訓練模型的局限體現在，一是記憶和存儲語言知識的能力有限，二是對語言邏輯的理解能力有限。
ACL 2020｜To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks[4]
動機
PTMs 已然取得了很好的效果，作者認為在數據豐富的下游任務中微調模型還沒有很好地被研究，所以作者想檢驗下游任務中訓練樣本的數量對預訓練模型的影響。
實驗
本文實驗關注于多類別的情感分類任務，對三種模型進行了系統的實驗，包括 RoBERTa、LSTM 以及使用預訓練模型的詞向量層的 LSTM。
結論
對于文本分類任務來說，用百萬級的數據訓練簡單的 LSTM 就足夠獲得有競爭力的效果。微調 RoBERTa 的結果 與 LSTM 的差距不足 1% 。當訓練數據足夠多時，基于 MLM 的 PTMs 表現可能不再增加。
ACL 2020｜Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly[5]
動機
PTMs 已經成為一種用來捕獲通用語言知識和基礎事實知識的通用工具，但是 PTMs 是否真的可以從訓練語料中學習到知識呢？比如 PTMs 是否具備區分肯定否定、是否不被錯誤的噪聲干擾呢？
實驗
作者設計了兩組實驗來對 PTMs 進行語言模型分析（LAnguage Model Analysis，LAMA）。1）研究模型是否可以正確區分肯定否定。通過人為地在句子中插入否定詞，比如（“Birds cannot [MASK]”）和（“Birds can [MASK]”）；（2）研究模型是否被錯誤信息誘導。在模型可以正確識別的句子中加入“錯誤”，比如（“Talk？Birds can [MASK]”）。
結論
作者發現預訓練模型都不能很好地處理這兩類問題。當前的預訓練模型很容易被干擾，例如句子中的否定和“錯誤”。它是通過較淺層的模式匹配的方式解決開放域QA問題，而不是基于事實知識和推理。事實知識和邏輯推理能力在預訓練模型中是零散的、不成體系的。
論點三
預訓練模型的遷移能力仍待研究
遷移能力的局限體現在，對于小數據集能否很好地適應任務？或者微調后是否忘記了已經在預訓練中學習到的知識？
ACL 2020｜Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work?[6]
動機
盡管預訓練模型表現良好，在對目標任務微調之前，如果在數據豐富的中間任務上對模型進行再次訓練是否可以提升效果？再者，什么樣的中間任務對目標任務有益？
實驗
作者對中間任務對 PTMs 的影響進行了大規模的實驗，本質上一篇篇實驗報告的文章。實驗的步驟如下圖所示，1）獲得預訓練的 RoBERTa，2）在中間任務上繼續訓練，3）對目標任務微調。本文一共設計了 110 種中間任務和目標任務的組合，并用 25 個探針任務進行評估，涵蓋了語法和語義。
結論
作者觀察到，需要高級推理能力的中間任務，對于提升目標任務的效果往往更好。例如共指共指解析任務。但遺憾的是，作者并未觀察到中間任務與目標任務之間更加精細的相關性，這有待于進一步的研究。另外作者表明，經過中間任務的學習后可能導致模型忘記一些預訓練中得到的知識，而這可能限制了對算法的分析。
ACL 2020｜Do You Have the Right Scissors? Tailoring Pre-trained Language Models via Monte-Carlo Methods[7]
動機
微調是一種常見的利用預訓練模型的方式。作者觀察到在一個小數據集上微調可能導致高估（over-estimated） 或 低估（under-estimated） 的現象。
實驗
作者提出一種稱為 MC-Tailor 的方法，把高估區域的概率質量（probalility mass）截斷和轉移到低估區域。MC-Tailor 包括一個檢測高估和低估區域的比率估計模塊，以及一個 早期拒絕采樣（Early Rejection Sampling，ERS) 算法，在保證采樣質量的同時加快采樣速度。在 9 個不同風格和規模的數據集進行實驗，并使用了 5 項評價指標。
結論
在文本生成任務上，MC-Tailor 效果顯著優于微調方法。這表明在小數據集上應用預訓練模型，微調可能不是擬合數據的最好方法。
論點四
預訓練模型有嚴重的漏洞
預訓練對于下游任務來說似乎是一個黑盒，僅僅對預訓練模型進行微調并不代表我們完全掌控了這一模型。
ACL 2020｜Weight Poisoning Attacks on Pretrained Models[8]
動機
如果用戶下載了不受信任的預訓練模型，是否會構成安全威脅呢？
實驗
作者通過一種 RIPPLe 的正則化方法和 Embedding Surgery 的初始化方法，構建 weight poisoning 攻擊（如圖所示），在情感分類，毒性檢測和垃圾郵件檢測任務上驗證此方法的可行性。
結論
weight poisoning 這種攻擊方式廣泛存在，并且構成了嚴重威脅。即使攻擊者對數據集和微調過程了解有限的情況下，也可以隨意操控模型預測結果。所以，預訓練模型在微調后可能會暴露“后門”， RIPPLe 甚至可能構建高達 100% 成功率的后門。另外，作者提出一種防御方式是，根據頻率以及與輸出類別的關系來檢查可能的觸發關鍵詞。
小結
我們不應當一味鼓吹預訓練模型在 NLP 中的作用。預訓練模型是龐大的黑盒子，是大型語料庫的高度抽象。T5、GPT-3 等模型，比更大還更大，以到普通實驗室無法使用的地步。
共性與個性是我們理解世界的基本原理之一，而只強調預訓練意味著只強調 NLP 任務的共性，即便這樣的模型再大，也忽視了各類任務的個性。通過匯集當前研究的各種觀點，我們可以發現，更大的模型并不是解決 NLP 各類任務的萬能鑰匙。
更重要的是且對研究者具有啟發的是，預訓練模型的遷移能力、對語言的記憶能力、語言理解能力，甚至安全性上還存在諸多缺陷，等待我們的探索。
在訂閱號「夕小瑤的賣萌屋」后臺回復關鍵詞【0804】，即可下載論文PDF合集。
?文末福利?
后臺回復關鍵詞【入群】
加入賣萌屋NLP/IR/Rec與求職討論群
有頂會審稿人、大廠研究員、知乎大V和妹紙
等你來撩哦~
夕小瑤的賣萌屋
關注&星標小夕，帶你解鎖AI秘籍
訂閱號主頁下方「撩一下」有驚喜
參考文獻
[1] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks:
?https://arxiv.org/pdf/2004.10964.pdf
[2]?Pretrained Transformers Improve Out-of-Distribution Robustness:?
https://arxiv.org/pdf/2004.06100.pdf
[3] Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning:?
https://arxiv.org/pdf/2004.14074.pdf
[4]?To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks:?https://arxiv.org/pdf/2006.08671.pdf
[5] Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly:?
https://arxiv.org/pdf/1911.03343v3.pdf
[6] Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work?:?
https://arxiv.org/pdf/2005.00628.pdf
[7] Do You Have the Right Scissors? Tailoring Pre-trained Language Models via Monte-Carlo Methods:?
https://arxiv.org/pdf/2007.06162.pdf
[8]?Weight Poisoning Attacks on Pretrained Models:?
https://arxiv.org/pdf/2004.06660.pdf
總結
以上是生活随笔為你收集整理的拒绝无脑吹！从ACL20看预训练缺陷的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 史上最全Git学习教程
- 下一篇： 开启NLP新时代的BERT模型，真的好上