接上一篇

P26P27

MAE的Reconstruction target

nOur MAE reconstructs the input by predicting the pixel values for each masked patch. nEach element in the decoder’s output is a vector of pixel values representing a patch. nThe last layer of the decoder is a linear projection whose number of output channels equals the number of pixel values in a patch. nThe decoder’s output is reshaped to form a reconstructed image. nOur loss function computes the mean squared error (MSE) between the reconstructed and original images in the pixel space. nWe compute the loss only on masked patches, similar to BERT

?

?實(shí)驗(yàn)效果-Mask比例的影響

從上圖可以看出，隨著輸入圖像被遮住的比例升高，MAE的性能迅速上升，在75%左右達(dá)到最佳效果。

---

以上為葉梓老師上課講義，供有基礎(chǔ)的朋友或者同行使用，未完，下一篇繼續(xù)……??

總結(jié)

以上是生活随笔為你收集整理的ai老师人工智能培训老师计算机视觉老师叶梓：计算机视觉领域的自监督学习模型——MAE-12的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。