筆記整理 |?胡楠，東南大學(xué)

---

來源：ICLR 2021

論文下載地址：https://arxiv.org/pdf/2010.02329.pdf

動機

最近的研究表明，BERT和RoBERTa這種基于BERT的模型容易受到文字對抗攻擊的威脅。論文旨在從信息理論的角度解決此問題并提出InfoBERT，這是一種用于對預(yù)訓(xùn)練語言模型進行健壯微調(diào)的新穎學(xué)習(xí)框架。InfoBERT包含兩個用于模型訓(xùn)練的基于互信息的正則器：（i）Information Bottleneck regularizer，用于抑制輸入和特征表示之間的嘈雜的互信息；（ii）Anchored Feature regularizer，可增加局部穩(wěn)定特征和全局特征之間的相互信息。論文提出一種方法可以從理論上分析和提高標準訓(xùn)練和對抗訓(xùn)練中語言模型的魯棒性。大量實驗表明，InfoBERT在自然語言推理（NLI）和問題解答（QA）任務(wù)的多個對抗性數(shù)據(jù)集上均達到了最先進的魯棒準確性。

貢獻

論文的貢獻總結(jié)如下。（i）從信息論的角度提出了一種新穎的學(xué)習(xí)框架InfoBERT，旨在有效地提高語言模型的魯棒性。（ii）提供了關(guān)于模型魯棒性的原則性理論分析，并提出了兩個基于MI的正則化器來細化局部和全局特征，可將其應(yīng)用于針對不同NLP任務(wù)的標準訓(xùn)練和對抗訓(xùn)練。（iii）全面的實驗結(jié)果表明，InfoBERT可以在不犧牲良性準確性的情況下大幅提高魯棒準確性，從而在NLI和QA任務(wù)的多個對抗性數(shù)據(jù)集上產(chǎn)生了最先進的表現(xiàn)。

實驗

Adversarial Datasets：（I）Adversarial NLI（ANLI）是大型NLI基準，通過迭代、對抗性的、人為模型的循環(huán)過程收集來攻擊BERT和RoBERTa。ANLI數(shù)據(jù)集是強大的對抗性數(shù)據(jù)集，可輕松將BERTLarge的準確性降低至0％。（II）Adversarial ?SQuAD數(shù)據(jù)集是一種對抗性QA基準數(shù)據(jù)集，由一組手工規(guī)則生成并通過眾包進行精煉。由于沒有提供對抗訓(xùn)練數(shù)據(jù)，因此論文僅在良性SQuAD訓(xùn)練數(shù)據(jù)上微調(diào)RoBERTa Large，并在良性和對抗性測試集上測試模型。（III）TextFooler是最新的詞級對抗攻擊方法，用于生成對抗示例。為了創(chuàng)建對抗性評估數(shù)據(jù)集，論文分別從SNLI和MNLI的測試集中采樣了1,000個示例，并針對BERT Large和RoBERTa Large運行TextFooler以獲取對抗性文本示例。

Baselines：由于基于IBP的方法還不能應(yīng)用于大規(guī)模的語言模型，并且基于隨機平滑的方法實現(xiàn)了有限的認證魯棒性，因此論文將InfoBERT與基于對抗訓(xùn)練的三個競爭基線進行了比較：（I）FreeLB在微調(diào)階段對語言模型進行對抗性訓(xùn)練，以提高泛化能力。（二）SMART在微調(diào)過程中使用對抗訓(xùn)練作為平滑誘導(dǎo)正則化和Bregman近點優(yōu)化，以提高語言模型的泛化和魯棒性。（三）ALUM在訓(xùn)練前和微調(diào)階段都進行對抗性訓(xùn)練，在廣泛的NLP任務(wù)中獲得了顯著的性能增益。由于對抗性訓(xùn)練的高計算成本，論文將InfoBERT與ALUM和SMART進行了比較，并與原始文獻中的最佳結(jié)果進行了比較。

Evaluation Metrics：我們使用穩(wěn)健精度或穩(wěn)健F1評分來衡量基線模型和InfoBERT在面對對手數(shù)據(jù)時的穩(wěn)健程度。具體來說，魯棒精度的計算方法是：，其中D_adv是對抗數(shù)據(jù)集，y是地面真值標簽，arg max選擇logits最高的類，是指示函數(shù)。類似地，魯棒F1分數(shù)的計算公式為：，其中是真實答案a和預(yù)測答案arg max之間的F1分數(shù)，arg max選擇概率最高的答案。

實驗結(jié)果：

論文從信息論的角度提出了一種新的學(xué)習(xí)框架InfoBERT，在理論分析的支持下，InfoBERT為提高BERT和RoBERTa對NLI和QA任務(wù)的魯棒性提供了一種原則性的方法。綜合實驗表明，InfoBERT在對抗性數(shù)據(jù)集上取得了新的進展，為提高語言模型表征學(xué)習(xí)的魯棒性提供了一種新的有效方法。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 - ICLR2021 | 从信息论的角度提高语言模型的鲁棒性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。