Paper Reading: SimCSE

SimCSE: Simple Contrastive Learning of Sentence Embeddings

尚未發表。Github. Paper.

1. 什么是對比學習及度量標準

1.1 概念

無監督學習兩種思路：1. 生成式學習。i.e. GAN, VAE 2. 對比式學習

核心是構建正負樣本集合，學習同正樣本之間的共同特征（拉進二者距離），區分負樣本（拉遠距離）。

舉個栗子：

Loss的負對數和里面是正樣本對的softmax值，min Loss $?$ max positive pairs similarity。similarity可以用cos sim。

1.2 度量標準

如何衡量對比學習的性能好壞？對比學習的優化目標：

• 拉進正樣本對表示之間的距離
• 隨機樣例表示分布在超球面上

Wang & Isola（ICML2020）從此出發提出了兩個指標：alignment和uniformity

• alignment計算正例對之間的向量距離的期望：

  ${?}_{\text{align?}}?\underset{\left(x,x^{+}\right)～p_{\text{pos?}}}{E}{\Vert f(x)?f\left(x^{+}\right)\Vert }^2$

  越相似的樣例之間的alignment程度越高。因為alignment使用距離來衡量，所以距離越小表示alignment的程度越高。

• uniformity評估所有數據的向量均勻分布的程度，越均勻，保留的信息越多。

  ${?}_{\text{uniform?}}?\log \genfrac{}{}{0ex}{}{\mathbb{E}}{x,y\stackrel{i.i.d.}{～}{p}_{\text{data?}}}{e}^{?2\Vert f(x)?f(y){\Vert }^2}$

  從表示空間中采樣兩個數據x和y, 希望他們的距離比較遠。他們的距離越遠，證明空間分布越均勻，uniform值也是越低越好。

SimCSE也采用這兩個指標來衡量生成的句子向量，并證明了文本的語義空間也滿足：alignment值越低且uniformity值越低，向量表示的質量越高，在STS任務上的Spearman相關系數越高。

2 Intuition

無監督SimCSE: 用dropout替換了傳統的數據增強方法，將同一個文本輸入到編碼器中分別dropout兩次作為對比學習的正例。

有監督SimCSE: 簡單地將NLI的數據用于監督對比學習，效果也甚好。

3 無監督SimCSE

3.1 算法

Unsup SimCSE 引入dropout給輸入加噪聲視為***”數據增廣“***，假設加噪后的輸入仍與原始輸入在語義空間距離相近。其正負例的構造方式如下：

• 正例：給定輸入$x_i$，用PTM的Encoder函數$f_{\theta }()$編碼$x_i$兩次得到兩個正向量$h_i^{z_i}$,$h_i^{z_i^{\prime }}$作為正例對。
• 負例：in-batch neg instance. 在一個batch中隨機采用另一個$x_j$作為負例，$h_i^{z_i}$,$h_j^{\prime }$為負例對。

Loss選取為：
$${?}_i=?\log \frac{e^{\mathrm{sim}\left({\mathbf{h}}_i^{z_i},{\mathbf{h}}_i^{z_i^{\prime }}\right)/\tau }}{{\sum }_{j=1}^N{e}^{\mathrm{sim}({\mathbf{h}}_i^{z_i},{\mathbf{h}}_j^{\prime }})/\tau }$$

如何實現兩次不同的dropout?——Do Nothing.

https://github.com/princeton-nlp/SimCSE/issues/5

“Your understanding is correct. No extra change is needed over original BERT implementation. Simply forwarding the same sentence two times will give you two embeddings with different (internal) dropout masks.”

——By Tianyu Gao.

確實Simple.

3.2 原理圖

以#batch=3為例。

3.3 實驗效果

3.3.1從向量表示效果來看

其中crop k%表示隨機減掉k%長度的span，word deletion表示隨機刪除k%的詞，delete one word只刪除一個詞，MLM 15%表示用隨機替換掉15%的詞。上表中所有dropout的方法的dropout的比例都是0.1。(因為文中對比了不同比例的dropout，p=0.1效果最好。）

3.3.2 從對比學習來看

Fixed0.1的意思是固定了dropout的格式，即兩次masking神經元的節點概率完全相同，可以理解為單純的數據復制的“增廣“。

只有Unsup SimCSE是在一致性和均勻性這兩點上都變好的。

4 有監督SimCSE

作者在歷經嘗試了問答系統、CV、和機器翻譯的數據后，最后發現用自然語言理解的數據集效果提升最明顯。利用NLI的數據集進行帶標簽的訓練。

文本蘊含任務，句子對數據的三種label: entailment，contradiction，neutral。

4.1 算法設計

假設如果兩個句子存在蘊含關系，那么它們之間的句子向量距離應該較近；如果兩個句子存在矛盾關系，那么它們的距離應該較遠。

• 正例：NLI中entailment關系樣例對。
• 負例：1) in-batch negatives 2) NLI中為contradiction的樣例對（不使用neural pairs，contradiction也只用了一個，理論上可以抽很多）。

4.2 原理圖

Loss選取為：
$$?\log \frac{e^{\mathrm{sim}\left({\mathbf{h}}_i,{\mathbf{h}}_i^{+}\right)/\tau }}{{\sum }_{j=1}^N\left(e^{\mathrm{sim}\left({\mathbf{h}}_i,{\mathbf{h}}_j^{+}\right)/\tau }+e^{\mathrm{sim}\left({\mathbf{h}}_i,{\mathbf{h}}_j^{?}\right)/\tau }\right)}$$

4.3 實驗效果

4.3.1 不同有監督數據集的提升

4.3.2 總體實驗結果

5 各向異性問題

5.1 理論證明

文本表示的嵌入是文本空間中一狹窄的錐，存在著各向異性的問題，引起奇異值退化($\to 0$)導致了梯度消失。

常用的做法有：后處理；映射為各向同性分布；加正則項。

而作者證明對比目標可以內在地“平滑”句子嵌入矩陣的奇異值分布。

Proof:

假設$f(x)$已經歸一化過，且當負例樣本對趨向于無窮大，則對比學習的漸進性優化目標可寫為：
$$\begin{array}{l}?\frac{1}{\tau }\underset{\left(x,x^{+}\right)～p_{\text{pos?}}}{E}\left[f(x{)}^{?}f\left(x^{+}\right)\right]+\underset{x～p_{\text{data?}}}{E}\left[\log \underset{x^{?}～p_{\text{data?}}}{E}\left[e^{f(x{)}^{?}f\left(x^{?}\right)/\tau }\right]\right]\end{array}$$
經過Encoder編碼之后假設$h_i=f(x_i)$，且根據指數函數的凸性可由詹森不等式，優化目標的后半部分可為：
$$\begin{array}{rl}& \underset{x～p_{\text{data?}}}{E}\left[\log \underset{x^{?}～p_{\text{data?}}}{E}\left[e^{f(x{)}^{?}f\left(x^{?}\right)/\tau }\right]\right]\\ =& \frac{1}{m}\sum _{i=1}^m\log \left(\frac{1}{m}\sum _{j=1}^m{e}^{{\mathbf{h}}_i^{?}{\mathbf{h}}_j/\tau }\right)\\ \ge & \frac{1}{m}\sum _{i=1}^m\log \left(\frac{1}{\tau m}\sum _{j=1}^m{e}^{{\mathbf{h}}_i^{?}{\mathbf{h}}_j}\right)\\ =& \frac{1}{\tau m^2}\sum _{i=1}^m\sum _{j=1}^m{\mathbf{h}}_i^{?}{\mathbf{h}}_j.\end{array}$$
設W為句子表示矩陣。$W$的第$i$行即為$h_i$，所以上式向量內積$\Sigma \Sigma h_i{h}_j$也即為矩陣$W{W}^T$的元素和。又因為我們對$h_i$做過標準化，則$\Sigma diag(W{W}^T)=1$且$tr(W{W}^T)$是個常數。若其所有元素都是整數，則可證$sum(W{W}^T)=sup{\lambda }_{max}(W{W}^T)$， 即其元素和為其最大特征值的upper bound.

綜上，對比學習的優化目標，可以同時平滑句子表示矩陣的協方差的特征值。

與JL Su等人的后處理方法相比，僅關注公式4各向同性表征，對比學習也通過公式4中的第一項優化對齊正對，這是SimCSE成功的關鍵。

5.2 數據分布

此外，我們觀察到SimCSE的分布通常比BERT或SBERT更分散，但與白化分布相比，在語義相似的句子對上保持了較低的方差

5.3 其他值得注意的點

Loss最終實驗選取了$L=l+\lambda ?l^{mlm}$，加入dropout時masking這個步驟中的的loss，避免災難性遺忘問題，可視為多任務訓練。

和蘇劍林一樣，embedding表示取第一層和最后一層的平均值，這比只取最后一層好。

其他結果：

將訓練好的句子向量遷移到其他7個任務上：

在embedding的基礎上只接一個邏輯回歸的線性分類器。（SentEval中提供了17種任務來進行句子向量表示模型的評測。）

遷移學習上的SimCSE并沒有展現出明顯的優勢。作者的解釋是句子級別的訓練目標并不能直接有利于遷移學習。為了讓遷移學習效果更好，文中還是嘗試將MLM損失和對比學習損失一起訓練，取得了少量的提升（上表中標有w/MLM的行)。

6. PTM

預訓練模型已發布并集成到HuggingFace。

from transformers import AutoModel, AutoTokenizertokenizer = AutoTokenizer.from_pretrained("princeton-nlp/sup-simcse-bert-base-uncased") model = AutoModel.from_pretrained("princeton-nlp/sup-simcse-bert-base-uncased")

7. 參考資料

對比學習（Contrastive Learning）綜述

Understanding Contrastive Learning

Wang, T. & Isola, P. Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere. in International Conference on Machine Learning 9929–9939 (PMLR, 2020).

中文任務還是SOTA嗎？我們對SimCSE做了一些補充實驗(JL Su, 04/26)

總結

以上是生活随笔為你收集整理的Paper Reading 《SimCSE》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。