作者丨happy
?編輯丨極市平臺

論文鏈接：https://arxiv.org/pdf/2110.11945.pdf

代碼鏈接：https://github.com/fudan-zvg/SOFT

項目鏈接：https://fudan-zvg.github.io/SOFT/

本文是復旦大學&華為諾亞關于Transformer中自注意力機制復雜度的深度思考，首次提出了一種新穎的softmax-free 的Transformer 。本文從softmax self-attention局限性出發，分析了其存在的挑戰；然后由此提出了線性復雜度的SOFT；再針對線性SOFT存在的訓練問題，提出了一種具有理論保證的近似方案。所提SOFT在ImageNet分類任務上取得了比已有CNN、Transformer更佳的精度-復雜度均衡。

閱讀完整原文：去掉softmax后Transformer會更好嗎？復旦&華為諾亞提出SOFT：輕松搞定線性近似

總結

以上是生活随笔為你收集整理的去掉softmax后Transformer会更好吗？复旦华为诺亚提出SOFT的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。