作者丨h(huán)appy
編輯丨極市平臺(tái)
本文首發(fā)于極市平臺(tái)，轉(zhuǎn)載須經(jīng)授權(quán)并注明來(lái)源

論文鏈接：https://arxiv.org/pdf/2111.06377.pdf

愷明出品，必屬精品！這篇文章延續(xù)了其一貫的風(fēng)格：簡(jiǎn)單且實(shí)用。這篇文章仍屬于愷明最近兩年的研究領(lǐng)域：自監(jiān)督領(lǐng)域(自監(jiān)督學(xué)習(xí)就是被他帶火的吧)。本文的出發(fā)點(diǎn)則是BERT的掩碼自編碼機(jī)制：移除一部分?jǐn)?shù)據(jù)并對(duì)移除的內(nèi)容進(jìn)行學(xué)習(xí)。掩碼自編碼源于CV但盛于NLP，愷明對(duì)此提出了疑問(wèn)：是什么導(dǎo)致了掩碼自編碼在視覺(jué)與語(yǔ)言之間的差異？嘗試從不同角度進(jìn)行解釋并由此引申出了本文的MAE。

原文鏈接：何愷明最新一作：簡(jiǎn)單實(shí)用的自監(jiān)督學(xué)習(xí)方案 MAE，ImageNet-1K 87.8%！

總結(jié)

以上是生活随笔為你收集整理的何恺明最新工作：简单实用的自监督学习方案MAE，ImageNet-1K 87.8%的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。