來自 | 知乎

作者 |?光某人

地址 |?https://zhuanlan.zhihu.com/p/363900943

編輯 |?機器學習算法與自然語言處理公眾號

本文僅作學術分享，若侵權，請聯系后臺刪文處理

具體知識請參閱我之前的文章：

https://zhuanlan.zhihu.com/p/346686467

這里的論文我會慢慢更新【最近組里活挺多的，慢慢來】

1.解決NMT的單詞遺漏[acl2019]

論文標題：Reducing Word Omission Errors in Neural Machine Translation: A Contrastive Learning Approach

論文鏈接：aclweb.org/anthology/P1

1.0 問題

NMT系統容易省略基本單詞，會減弱機器翻譯的充分性。

由于神經網絡缺乏可解釋性，很難解釋這些遺漏錯誤是如何發生的，也很難用邏輯規則的方式來消除它們。

所以本文采用對比學習的方法來顯式地解決這個問題。

示例：

I love it so much that I cannot sleep well.??我太喜歡它 (了以至于?) 我夜不能寐

1.1 使用CL動機

• 適應性強：可以對所有NMT模型加入CL進行對比學習來微調缺省后句向量與原向量距離。

• 語言獨立性強：方法是獨立于語言的，可以應用于任何語言。

• 訓練快：對比學習從一個預先訓練的NMT模型開始，通常只有幾百個步驟。

用對比學習的思想解決該問題，其基本思想仍然與對比學習的思想是一致的：

• 使NMT模型能夠將更高的概率分配給真實（ground-truth）翻譯，而將較低的概率分配給錯誤翻譯。

• 根據真實翻譯進行省略詞數、改變詞頻和詞性設計不同類型的負實例，進行數據增強。

1.2 如何使用CL

輸入：并行訓練集??，包含已翻譯好的句子對

輸出：無缺漏翻譯的句子

用隨機初始化獲得D的最大似然估計?

構建否定集?

在??基礎上用對比學習獲得??上的?

第一步，在平行語料庫(1-2行)上使用最大似然估計(MLE)訓練模型獲得絕對空間向量。

在第二步中，通過省略ground-truth翻譯中的單詞來自動構建否定例(第3行)。

在第三步中，以估計最大似然值為起點，使用對比學習對模型進行微調。

1.3 聯合Loss

找到一組模型參數，使訓練集進行正常翻譯的對數似然最大化：

1.4 數據增強

基于并行語料庫中的真實實例對構建負實例。

基于以下幾種規則對數據構建負實例：

• 隨意省略。

• 按單詞頻率省略。

• 按詞性省略。

1.5 對比損失【Triplet Loss變形】

這里是N個不同負樣本平均概率與1個正樣本間的概率差要趨向于margin 。本文實驗取N=1。

1.6 實驗

文章定義了margin difference 來衡量margin的大小。

效果：

然后作者也對不同省略方法進行拆解比較其效果：

注：??指隨機省略1,2,3個詞進行對比學習。??指隨機省略低頻詞，高頻詞。??指隨機省略動詞或介詞。

首先，我們可以看到CL收斂還是很快的，而且，對于省略來說，隨機省略一個詞，省略高頻詞，省略介詞，對比學習效果最好。

---

2. 常識推理的對比性自我監督學習

論文標題：Contrastive Self-Supervised Learning for Commonsense Reasoning

論文鏈接：aclweb.org/anthology/20

代碼鏈接：github.com/SAP-samples/

2.0 問題

該文章提出了一種自監督的方法來解決指代消解（Pronoun Disambiguation）和?Winograd Schema Challenge?問題，減少目前監督方法對常識推理的限制 。

示例：

“它”指：

這件衣服放不進這箱子，因為它太大?了

A.衣服 B.箱子

這件衣服放不進這箱子，因為它太小?了

A.衣服?B.箱子

2.1 使用CL動機

• 訓練快：對比學習能夠較好的穩定優化和加快收斂速度。

• 自動化尋找差異：采用該方式進行正則化，用于尋求語言模型中個體候選概率的最大差異。

2.2 如何使用CL

2.2.1 互斥損失

該文章利用了與所謂的觸發詞相關的訓練語料庫的特征結構，它負責在代詞消解中翻轉答案，從而構造兩兩對比的輔助預測來實現這樣的常識推理。

在上面的示例中，big，small充當觸發詞，這兩個選項包含文中所有的實體，那么二者存在異或的關系，即要么A成立，要么B成立。考慮到觸發詞所建立的上下文，候選答案A在第一句中要么是對的，要么在第二句中是對的【另一句是錯的】。

則有異或關系

所以對于??，

從例子中可以看出，觸發詞產生了訓練對的相互排斥關系。該方法的目標是將這種成對關系作為訓練階段的唯一監督信號。所以這里引入?互斥損失（Mutual Exclusive (MEx) loss），最大限度地提高這兩個看似合理的候選項的相互排斥概率。

具體來說，給定一對訓練句子，將要解決的代詞從句子中屏蔽（mask）掉，并使用語言模型來預測這樣的候選詞中只有一個可以填充mask的位置，而填充互斥條件。

2.2.2 原始CL

因為假如原來是正確的指代，那么被交換的指代就是負例了，那么就采用Triplet Loss：

2.3 聯合Loss

所以二者聯合即可

2.4 整體結構

2.5 試驗結果

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼： 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【NLP】Contrastive Learning NLP Papers的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。