1.研究背景（研究的問題）

一切的大背景是對比學習大發展

• 1.傳統深度學習當中就存在這個問題。
• 2.雖然之前的工作指出，對比學習受到長尾問題影響比較小；但是作者實驗發現長尾問題可能對對比學習影響更大。
• 3.因為我們在無監督學習當中沒有有效的分類標簽，所以傳統的解決長尾問題的方法可能并不奏效。（大約隱含的就是還是得需要我們來解決這個問題）

2.使用方法（包含解決思路）

• 1.使用傳統的simCLR的結構，最后也接正常的對比損失函數。
• 2.由于剪枝很容易剪掉不經常出現的長尾數據，這樣就導致我們可以借助這個特點發現長尾數據。
• 3.我們通過剪枝獲得不同的模型，這個模型忘記了長尾數據，之后使用對比損失函數讓他和原來的網絡拉近一點。這個拉近的過程其實就無形的強化了長尾數據。

總結

以上是生活随笔為你收集整理的对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。