?PaperWeekly 原創(chuàng) ·?作者?|?張琨

學(xué)校?|?中國科學(xué)技術(shù)大學(xué)博士生

研究方向?|?自然語言處理

Motivation

從 BERT，GPT 被提出來之后，自然語言處理領(lǐng)域相關(guān)研究進入了一個全新的階段：預(yù)訓(xùn)練+微調(diào)。而且這種學(xué)習(xí)框架也取得了非常好的效果，成為現(xiàn)在 NLP 相關(guān)研究的標(biāo)配。但這種框架也不是沒有問題，預(yù)訓(xùn)練階段還好，我們可以選擇各種大廠推出的預(yù)訓(xùn)練模型，為具體任務(wù)尋找到一個好的初始點。

但這些預(yù)訓(xùn)練好的模型并不能完美適應(yīng)下游任務(wù)，如下圖，作者通過研究發(fā)現(xiàn)，BERT 的輸出結(jié)果如果不經(jīng)過微調(diào)的話，那么這些向量表示為坍縮在一個比較小的區(qū)域內(nèi)，還會受到高頻詞的影響，這些都是損害了 BERT 的效果，因此需要在具體任務(wù)中進行微調(diào)。

但微調(diào)階段仍需要和具體的任務(wù)數(shù)據(jù)結(jié)合起來，最好還得是有監(jiān)督數(shù)據(jù)，涉及到對大模型的微調(diào)，這些監(jiān)督數(shù)據(jù)也得有比較大的量。但在真實世界中，對數(shù)據(jù)進行標(biāo)注仍然是個大工程，費時費力，有時還需要專家知識。因此如何在下游任務(wù)中減小對監(jiān)督數(shù)據(jù)量的需求是一個比較重要的研究方向。針對這些問題，本文展開了自己的工作。

論文標(biāo)題：

ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

論文作者：

Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu, Weiran Xu

論文鏈接：

https://arxiv.org/abs/2105.11741

代碼鏈接：

https://github.com/yym6472/ConSERT

Preliminary

在介紹這個工作之前，首先介紹一個背景知識，對比學(xué)習(xí)：即通過對比不同樣本，讓相似的樣本距離更近，不相似的樣本距離更遠(yuǎn)，從而實現(xiàn)對輸入數(shù)據(jù)的準(zhǔn)確表征。其基本情況可以通過下圖展示，這是近兩年來非常熱門的一個研究方向：

Model

為了解決以上問題，作者基于對比學(xué)習(xí)和預(yù)訓(xùn)練模型，提出了一個基于對比學(xué)習(xí)的句子語義表示遷移框架，具體框架圖如下所示：

具體而言，作者提出的框架包含三部分，數(shù)據(jù)增強，BERT 編碼層，對比損失層。接下來將進行詳細(xì)分析：

3.1 數(shù)據(jù)增強

和之前的一些方法，例如回譯，通過翻譯模型翻譯一遍再翻譯回來等不同，在本文中，作者主要將數(shù)據(jù)增強部分放在了 embedding 層。因為自然語言處理中的數(shù)據(jù)增強本就是一個非常復(fù)雜的問題，在圖像中，可以通過簡單的裁剪，旋轉(zhuǎn)，變色，縮放等操作實現(xiàn)數(shù)據(jù)增強，且能夠保證原始標(biāo)簽的絕對正確。但在 NLP 中，通過打亂詞序，替換詞，刪掉某些詞等都會造成語義的變化。

因此，作者就不再輸入層進行數(shù)據(jù)增強了，而是將目光放在 embedding 層，這樣原始輸入是不變的，那么一定是與原始標(biāo)簽一致的。具體而言，作者選擇了如下幾種數(shù)據(jù)增強方式：

對抗攻擊：通過梯度反傳生成對抗擾動，將該擾動加到原本的 Embedding 矩陣上，得到增強后的樣本；

打亂詞序：和之前討論的打亂原始詞的詞序不同，這里作者通過利用 Transformer 中沒有位置概念的特點，通過將每個 token對應(yīng)的position id進行打亂，就實現(xiàn)了位置的打亂，這個還是很有意思的；

裁剪：這里分為兩種，一種是 token 級別的，通過將選擇到的 token 對應(yīng)的 embedding 全部置為 0 得到，另一種是特征裁剪，通過將 embedding 中的某些維度整列置為 0，實現(xiàn)了特征的裁剪，這個也很有意思；

Dropout：這種有點類似于 SimCES，通過利用 dropout，隨機將某些輸入置為 0，相當(dāng)于加了對應(yīng)的噪聲，從而得到數(shù)據(jù)增強之后的樣本。

相關(guān)的數(shù)據(jù)增強方法示意圖如下圖所示：

通過這些方法實現(xiàn)對數(shù)據(jù)進行增強后，參考 SimCLR 的思路，針對一個 Batch 中的 N 個樣本做兩次數(shù)據(jù)增強，這樣就得到了 2N 個樣本，然后這2N個樣本經(jīng)過 BERT 進行編碼，輸出，得到句子的語義表示，接著使用 InfoNCE 的變種 NT-Xent 損失函數(shù)作為目標(biāo)，來實現(xiàn)對比的約束。

以上就是本文的整個技術(shù)部分和主要貢獻。個人覺得最有意思的地方在于數(shù)據(jù)增強部分，作者巧妙避開了直接對輸入做數(shù)據(jù)增強會造成語義變化的問題，而是從 embedding 入手，進行數(shù)據(jù)增強。非常巧妙，很有意思。

Experiments

為了驗證提出的方法的效果，作者在文本語義匹配 STS 任務(wù)上進行了充分的實驗，驗證了 7 個不同的 STS 數(shù)據(jù)集，這個任務(wù)主要是用于驗證兩個句子之間的語義相似度（-1，1）。

4.1 無監(jiān)督+有監(jiān)督

首先是無監(jiān)督和有監(jiān)督實驗結(jié)果，從實驗結(jié)果中，作者在其他條件一致的情況下都去了非常好的效果，而且在融入監(jiān)督信息的實驗中，作者發(fā)現(xiàn) joint-unsup 方法取得了最好的效果。

4.2 embedding空間的對比

在前文中作者提到 BERT 未經(jīng)微調(diào)時其對句子語義的編碼會坍縮在一個小范圍內(nèi)，為了驗證作者提出的方法是否解決這個問題，作者進行了embedding空間的對比，實驗結(jié)果證明作者提出的方法確實有效。

4.3 數(shù)據(jù)增強方式的效果對比

既然使用了數(shù)據(jù)增強，那就要驗證哪種數(shù)據(jù)增強的效果好，作者也進行了相關(guān)的實驗，實驗結(jié)果正式，單純從數(shù)據(jù)增強的方式進行對比的話，Token Shuffle > Token Cutoff >> Feature Cutoff ≈ Dropout >> None.

4.4 少樣本實驗

既然本文的目的是為了解決微調(diào)階段對標(biāo)注數(shù)據(jù)的依賴，那么就要驗證在少標(biāo)注樣本的條件下，作者提出的方法方法是否有效，從實驗結(jié)果看，還是有不錯的效果的。

Conclusion

這篇文章還是一篇很有意思的文章，作者首先在使用數(shù)據(jù)增強方式上使用了一個很巧妙的思路，避開了使用數(shù)據(jù)增強對及自然語言句子語義的改變問題。其次，作者為了驗證所提出的方法的有效性，進行了大量的實驗，實驗結(jié)果也充分證實了作者提出的方法的有效性。非常值得一讀的一篇文章。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的ACL 2021 | ConSERT：基于对比学习的句子语义表示迁移框架的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。