當(dāng)前位置:
首頁(yè) >
何恺明最新工作:简单实用的自监督学习方案MAE,ImageNet-1K 87.8%
發(fā)布時(shí)間:2025/3/8
34
豆豆
生活随笔
收集整理的這篇文章主要介紹了
何恺明最新工作:简单实用的自监督学习方案MAE,ImageNet-1K 87.8%
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
作者丨h(huán)appy
編輯丨極市平臺(tái)
本文首發(fā)于極市平臺(tái),轉(zhuǎn)載須經(jīng)授權(quán)并注明來(lái)源
論文鏈接:https://arxiv.org/pdf/2111.06377.pdf
愷明出品,必屬精品!這篇文章延續(xù)了其一貫的風(fēng)格:簡(jiǎn)單且實(shí)用。這篇文章仍屬于愷明最近兩年的研究領(lǐng)域:自監(jiān)督領(lǐng)域(自監(jiān)督學(xué)習(xí)就是被他帶火的吧)。本文的出發(fā)點(diǎn)則是BERT的掩碼自編碼機(jī)制:移除一部分?jǐn)?shù)據(jù)并對(duì)移除的內(nèi)容進(jìn)行學(xué)習(xí)。掩碼自編碼源于CV但盛于NLP,愷明對(duì)此提出了疑問(wèn):是什么導(dǎo)致了掩碼自編碼在視覺(jué)與語(yǔ)言之間的差異?嘗試從不同角度進(jìn)行解釋并由此引申出了本文的MAE。
原文鏈接:何愷明最新一作:簡(jiǎn)單實(shí)用的自監(jiān)督學(xué)習(xí)方案 MAE,ImageNet-1K 87.8%!
總結(jié)
以上是生活随笔為你收集整理的何恺明最新工作:简单实用的自监督学习方案MAE,ImageNet-1K 87.8%的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 去掉softmax后Transforme
- 下一篇: 反向 Dropout,韩松团队最新工作N