1.從名字上把握

sim是我們熟知的相似的那個單詞，這個Siam是孿生的意思，這里使用這個來命名應該是為了指出孿生的重要性。這里的核心其實是在提出一個思想，對比學習這種由孿生網絡結構構成的無監督學習的關鍵其實是孿生網絡，兩個網絡有其中一方停止梯度傳播來得到好的效果。（也就是兩個關鍵:孿生網絡和停止梯度）

2.文章想解決的問題

文章指出來對比學習、BYLO等其實都是在解決無監督學習當中的坍塌問題，為了解決這種坍塌的問題。

2.1坍塌問題

這里其實我們就得說一下什么是坍塌問題：

• 1.對比學習其實是學習特征提取，特征提取的目標是什么？
  從結構上看我們僅僅是讓來自同一張圖片不同的數據增強得到的內容拉在一起，那么如果我們最后所有的輸出都拉在同一個輸出上，顯然效果非常好。但是這個時候我們的表示學習其實就完全沒有work。所以我們最后的目標是將其拉在一個超球面上，而不是一個點上。
  *** 2.坍塌問題是什么？**
  坍塌問題其實就是指的是表示學習成為一個點的這個情況。

2.2之前解決坍塌的方法

對比學習使用在拉近正例的同時，將負例拉遠。來防止所有的內容直接對應在一個點上這種情況。

BYLO:

2.3本文提出

其實想要解決坍塌問題的關鍵是在孿生網絡當中，每個epoch的時候只讓其中一方進行梯度傳播，自然也就只有一方進行反向傳播優化參數。

總結

以上是生活随笔為你收集整理的对比学习simSiam（一）--Exploring Simple Siamese Representation Learning总体理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。