作者丨h(huán)appy
編輯丨極市平臺(tái)
本文首發(fā)于極市平臺(tái)公眾號(hào)，轉(zhuǎn)載請(qǐng)獲得授權(quán)并標(biāo)明出處。

論文鏈接：https://arXiv.org/abs/2108.13002

本文是中科大&MSRA在DNN的CNN、Transformer以及MLP三大流派紛爭(zhēng)方面的一點(diǎn)深入思考。為分析不同架構(gòu)的特性，作者首先構(gòu)建了一個(gè)統(tǒng)一架構(gòu)SPACH將Mixing做成可配置型，以此為基礎(chǔ)上CNN、Transformer以及MLP進(jìn)行挖掘得出：多階段優(yōu)于單階段、局部建模非常重要以及CNN與Transformer的互補(bǔ)性。基于所挖掘特性構(gòu)建了一種CNN與Transformer混合模型，所得模型僅需63M參數(shù)量即可在ImageNet數(shù)據(jù)集上取得83.9%的top1精度，優(yōu)于Swin-B、CaiT-S36。

Abstract

CNN占據(jù)了CV的主流，近來Transformer與MLP開始在ImageNet分類任務(wù)上引領(lǐng)新的趨勢(shì)。

本文對(duì)這些深度神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行實(shí)證研究并嘗試?yán)斫馑麄兊睦c弊。為確保公平性，我們首先開發(fā)了一種稱之為SPACH的統(tǒng)一架構(gòu)，它采用獨(dú)立的模塊進(jìn)行空域與通道處理。基于SPACH的實(shí)驗(yàn)表明：在適度規(guī)模下，所有架構(gòu)可以取得相當(dāng)?shù)男阅堋Ｈ欢?#xff0c;隨著網(wǎng)絡(luò)放大，他們表現(xiàn)出不同的行為。基于所得發(fā)現(xiàn)，我們采用卷積與Transformer提出了兩個(gè)混合模塊。所提Hybrid-MS-S+僅需63M參數(shù)量12.3GFLOPs即可取得83.9%top1精度，已有現(xiàn)有精心設(shè)計(jì)的模型具有相當(dāng)?shù)男阅堋?/p>

全文鏈接：網(wǎng)絡(luò)架構(gòu)之爭(zhēng)：三大主流架構(gòu)對(duì)決，誰是王者？深入思考CNN、Transformer與MLP

關(guān)注極市平臺(tái)公眾號(hào)，獲取最新CV干貨

總結(jié)

以上是生活随笔為你收集整理的网络架构之争：三大主流架构对决，谁是王者？深入思考CNN、Transformer与MLP的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。