何恺明最新工作:简单实用的自监督学习方案MAE,ImageNet-1K 87.8%
生活随笔
收集整理的這篇文章主要介紹了
何恺明最新工作:简单实用的自监督学习方案MAE,ImageNet-1K 87.8%
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
作者丨happy
編輯丨極市平臺
本文首發于極市平臺,轉載須經授權并注明來源
論文鏈接:https://arxiv.org/pdf/2111.06377.pdf
愷明出品,必屬精品!這篇文章延續了其一貫的風格:簡單且實用。這篇文章仍屬于愷明最近兩年的研究領域:自監督領域(自監督學習就是被他帶火的吧)。本文的出發點則是BERT的掩碼自編碼機制:移除一部分數據并對移除的內容進行學習。掩碼自編碼源于CV但盛于NLP,愷明對此提出了疑問:是什么導致了掩碼自編碼在視覺與語言之間的差異?嘗試從不同角度進行解釋并由此引申出了本文的MAE。
原文鏈接:何愷明最新一作:簡單實用的自監督學習方案 MAE,ImageNet-1K 87.8%!
總結
以上是生活随笔為你收集整理的何恺明最新工作:简单实用的自监督学习方案MAE,ImageNet-1K 87.8%的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 去掉softmax后Transforme
- 下一篇: 反向 Dropout,韩松团队最新工作N