作者丨h(huán)appy
編輯丨極市平臺
本文原創(chuàng)首發(fā)于極市平臺，轉(zhuǎn)載請獲得授權(quán)并標明出處。

VisionTransformer向輕量型邁進，微軟與中科大提出兩路并行的Mobile-Former

已有的Transformer對標的CNN主要是ResNet系列，鮮少有對標端側(cè)輕量模型的Transformer。本文則從輕量模型角度出發(fā)，在MobileNet與Transformer組合方面進行了探索，它創(chuàng)造性的將MobileNet與Transformer進行了兩路并行設(shè)計，穿插著全局與特征特征的雙向融合，同時利用卷積與Transformer兩者的優(yōu)勢達到“取長補短”的目的。此外，受益于超輕量設(shè)計，所提Mobile-Former不僅計算高效，同時具有更強的表達能力。在ImageNet分類與COCO目標檢測方面，所提Mobile-Former取得了顯著優(yōu)于MobileNetV3的性能。

Abstract

本文提出了一種新穎的Mobile-Former，它采用了MobileNet與Transformer兩路并行設(shè)計機制，該架構(gòu)充分利用了MobileNet的局部處理優(yōu)勢與Transformer的全局交互能力。Transformer與MobileNet的雙向橋接促進了全局特征與局部特征的雙向融合。不同于現(xiàn)有的Vision Transformer，Mobile-Former中的Transformer包含非常少的(比如少于6個)、隨機初始化tokens，進而產(chǎn)生了非常低的計算復雜度。結(jié)合所提輕量注意力，Mobile-Former不僅計算高效，同時具有更強的表達能力。在ImageNet分類任務(wù)上，從25M到500M Flops復雜度下，所提方案均取得了優(yōu)于MobileNetV3的性能。比如，它憑借294MFlops計算量取得了比MobileNetV3高1.3%的top1精度且計算量節(jié)省17%；當遷移到目標檢測時，Mobile-Former取得了比MobileNetV3高8.6AP的指標。

Method

閱讀全文：Transformer 向輕量型邁進，微軟與中科院提出兩路并行的 Mobile-Former

推薦大家關(guān)注極市平臺公眾號，每天都會更新最新的計算機視覺論文解讀、綜述盤點、調(diào)參攻略、面試經(jīng)驗等干貨~

總結(jié)

以上是生活随笔為你收集整理的Transformer 向轻量型迈进，微软与中科院提出两路并行的 Mobile-Former的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。