前言

transformer結構是google在17年的Attention Is All You Need論文中提出，在NLP的多個任務上取得了非常好的效果，可以說目前NLP發展都離不開transformer。最大特點是拋棄了傳統的CNN和RNN，整個網絡結構完全是由Attention機制組成。由于其出色性能以及對下游任務的友好性或者說下游任務僅僅微調即可得到不錯效果，在計算機視覺領域不斷有人嘗試將transformer引入，近期也出現了一些效果不錯的嘗試，典型的如目標檢測領域的detr和可變形detr，分類領域的vision transformer等等。本文從transformer結構出發，結合視覺中的transformer成果(具體是vision transformer和detr)進行分析，希望能夠幫助cv領域想了解transformer的初學者快速入門。由于本人接觸transformer時間也不長，也算初學者，故如果有描述或者理解錯誤的地方歡迎指正。

以下是我為大家準備的幾個精品專欄，喜歡的小伙伴可自行訂閱，你的支持就是我不斷更新的動力喲！

MATLAB-30天帶你從入門到精通

MATLAB深入理解高級教程（附源碼）

tableau可視化數據分析高級教程

本文的大部分圖來自論

總結

以上是生活随笔為你收集整理的Transformer入门篇-深度万字长文带你轻松入门深度学习框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。