前言

transformer結(jié)構(gòu)是google在17年的Attention Is All You Need論文中提出，在NLP的多個(gè)任務(wù)上取得了非常好的效果，可以說目前NLP發(fā)展都離不開transformer。最大特點(diǎn)是拋棄了傳統(tǒng)的CNN和RNN，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)完全是由Attention機(jī)制組成。由于其出色性能以及對(duì)下游任務(wù)的友好性或者說下游任務(wù)僅僅微調(diào)即可得到不錯(cuò)效果，在計(jì)算機(jī)視覺領(lǐng)域不斷有人嘗試將transformer引入，近期也出現(xiàn)了一些效果不錯(cuò)的嘗試，典型的如目標(biāo)檢測(cè)領(lǐng)域的detr和可變形detr，分類領(lǐng)域的vision transformer等等。本文從transformer結(jié)構(gòu)出發(fā)，結(jié)合視覺中的transformer成果(具體是vision transformer和detr)進(jìn)行分析，希望能夠幫助cv領(lǐng)域想了解transformer的初學(xué)者快速入門。由于本人接觸transformer時(shí)間也不長(zhǎng)，也算初學(xué)者，故如果有描述或者理解錯(cuò)誤的地方歡迎指正。

以下是我為大家準(zhǔn)備的幾個(gè)精品專欄，喜歡的小伙伴可自行訂閱，你的支持就是我不斷更新的動(dòng)力喲！

MATLAB-30天帶你從入門到精通

MATLAB深入理解高級(jí)教程（附源碼）

tableau可視化數(shù)據(jù)分析高級(jí)教程

本文的大部分圖來自論

總結(jié)

以上是生活随笔為你收集整理的Transformer入门篇-深度万字长文带你轻松入门深度学习框架的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。