1.從名字上把握

sim是我們熟知的相似的那個(gè)單詞，這個(gè)Siam是孿生的意思，這里使用這個(gè)來命名應(yīng)該是為了指出孿生的重要性。這里的核心其實(shí)是在提出一個(gè)思想，對(duì)比學(xué)習(xí)這種由孿生網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成的無監(jiān)督學(xué)習(xí)的關(guān)鍵其實(shí)是孿生網(wǎng)絡(luò)，兩個(gè)網(wǎng)絡(luò)有其中一方停止梯度傳播來得到好的效果。（也就是兩個(gè)關(guān)鍵:孿生網(wǎng)絡(luò)和停止梯度）

2.文章想解決的問題

文章指出來對(duì)比學(xué)習(xí)、BYLO等其實(shí)都是在解決無監(jiān)督學(xué)習(xí)當(dāng)中的坍塌問題，為了解決這種坍塌的問題。

2.1坍塌問題

這里其實(shí)我們就得說一下什么是坍塌問題：

• 1.對(duì)比學(xué)習(xí)其實(shí)是學(xué)習(xí)特征提取，特征提取的目標(biāo)是什么？
  從結(jié)構(gòu)上看我們僅僅是讓來自同一張圖片不同的數(shù)據(jù)增強(qiáng)得到的內(nèi)容拉在一起，那么如果我們最后所有的輸出都拉在同一個(gè)輸出上，顯然效果非常好。但是這個(gè)時(shí)候我們的表示學(xué)習(xí)其實(shí)就完全沒有work。所以我們最后的目標(biāo)是將其拉在一個(gè)超球面上，而不是一個(gè)點(diǎn)上。
  *** 2.坍塌問題是什么？**
  坍塌問題其實(shí)就是指的是表示學(xué)習(xí)成為一個(gè)點(diǎn)的這個(gè)情況。

2.2之前解決坍塌的方法

對(duì)比學(xué)習(xí)使用在拉近正例的同時(shí)，將負(fù)例拉遠(yuǎn)。來防止所有的內(nèi)容直接對(duì)應(yīng)在一個(gè)點(diǎn)上這種情況。

BYLO:

2.3本文提出

其實(shí)想要解決坍塌問題的關(guān)鍵是在孿生網(wǎng)絡(luò)當(dāng)中，每個(gè)epoch的時(shí)候只讓其中一方進(jìn)行梯度傳播，自然也就只有一方進(jìn)行反向傳播優(yōu)化參數(shù)。

總結(jié)

以上是生活随笔為你收集整理的对比学习simSiam（一）--Exploring Simple Siamese Representation Learning总体理解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。