前言

對(duì)比學(xué)習(xí)最近一年比較火，它的應(yīng)用范圍，已經(jīng)從最初的圖像領(lǐng)域，逐步拓展到了自然語言處理以及多模態(tài)等很多其它領(lǐng)域。本文介紹微博在自然語言處理以及多模態(tài)方面，應(yīng)用對(duì)比學(xué)習(xí)的經(jīng)驗(yàn)。

后文將要介紹的兩個(gè)模型：CD-TOM和W-CLIP，CD-TOM是關(guān)于純文本方面的對(duì)比學(xué)習(xí)模型；W-CLIP是關(guān)于<文本，圖片>多模態(tài)數(shù)據(jù)方面的對(duì)比學(xué)習(xí)模型。兩個(gè)模型的具體技術(shù)方案并不復(fù)雜，應(yīng)該說主要受到了SimCLR和CLIP模型的啟發(fā)（當(dāng)然，其實(shí)CLIP模型明顯也受到SimCLR模型的影響）。從后面介紹可以看出，文本類模型CD-TOM基本是圖像領(lǐng)域里的SimCLR模型應(yīng)用到文本領(lǐng)域做的改造，<文本，圖片>類模型W-CLIP在結(jié)構(gòu)上基本就是CLIP模型，只是做了一些小改動(dòng)。在模型結(jié)構(gòu)上，其實(shí)目前大多數(shù)對(duì)比學(xué)習(xí)系統(tǒng)都差不太多，很多模型差異來自于訓(xùn)練數(shù)據(jù)的正例、負(fù)例構(gòu)造方法或損失函數(shù)定義上。我們這里提到的兩個(gè)模型，和SimCLR或CLIP相比，模型結(jié)構(gòu)差異不大，主要差異體現(xiàn)在采用的訓(xùn)練數(shù)據(jù)特性方面的差異。

我們知道，SimCLR是個(gè)純自監(jiān)督的任務(wù)，通過對(duì)無標(biāo)注圖片做不同的圖像增強(qiáng)來構(gòu)造訓(xùn)練數(shù)據(jù)的正例；而CLIP盡管叫做對(duì)比學(xué)習(xí)，它其實(shí)是個(gè)有監(jiān)督的訓(xùn)練過程，它的正例來自于經(jīng)過各種挖掘手段凈化過的，比較干凈的4億<圖片描述，圖片>數(shù)據(jù)對(duì)。我們后文將要提到的兩個(gè)模型采用的訓(xùn)練數(shù)據(jù)正例，可以理解為處于兩者之間：既不像SimCLR，屬于純粹自監(jiān)督的任務(wù)，也不像CLIP那樣使用的是比較干凈的數(shù)據(jù)對(duì)，而是以包含大量噪音的數(shù)據(jù)作為對(duì)比學(xué)習(xí)模型的訓(xùn)練正例。

我當(dāng)時(shí)比較關(guān)心的其實(shí)是下列問題的答案：如果我們有海量的數(shù)據(jù)對(duì)<數(shù)據(jù)A,數(shù)

總結(jié)

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（三十七）-利用Contrastive Learning对抗数据噪声：对比学习在微博场景的实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。