1 為什么需要 self-supervision？

• 為每個(gè)新的任務(wù)都創(chuàng)建一個(gè)新的數(shù)據(jù)集，開銷是很大的
• 有些領(lǐng)域標(biāo)注是很稀缺的（比如醫(yī)療領(lǐng)域）
• 有些領(lǐng)域 數(shù)據(jù)集太大，來不及標(biāo)注
• self-supervision 很像嬰兒學(xué)習(xí)的方式

2 什么是self-supervison

• A form of unsupervised learning where the data provides the supervision（用數(shù)據(jù)本身創(chuàng)造label）
• In general, withhold some part of the data, and task the network with predicting it
• The task defines a proxy loss, and the network is forced to learn what we really care about, e.g. a semantic representation, in order to solve it（proxy loss~~text loss）

總結(jié)

以上是生活随笔為你收集整理的NTU 课程笔记：self-supervised learning的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。