你有多久沒調過 kernel size 了？在下游任務上，Transformer 明顯優于傳統 CNN，這是因為 Transformer 本質更強嗎？傳統堆疊大量 3x3 卷積的 CNN 設計模式是最優的嗎？

最近，清華大學、曠視科技等機構的一項工作表明，CNN 中的 kernel size 其實是一個非常重要但總是被人忽略的設計維度：在現代模型設計的加持下，卷積核越大越暴力，既漲點又高效，甚至大到 31x31 都非常 work。即便在大體量下游任務上，超大卷積核模型 RepLKNet 與 Swin 等 Transformer 相比，性能也更好或相當。

論文地址：https://arxiv.org/abs/2203.06717

基于超大卷積核，一些挑戰傳統認知的結論逐漸浮現，例如：深度小kernel模型的有效感受野其實不大，較淺的大kernel模型有效感受野非常大且更像人類（模型的預測主要根據物體的形狀而非局部的紋理）；Transformers 性能強悍可能不是因為Attention機制，而是因為大感受野……

在3月24日19:00-20:00的論文分享中，機器之心邀請到了 RepLKNet 論文一作、清華大學博士生丁霄漢為我們帶來更深入的解讀。

分享主題：RepLKNet：超大卷積核，大到31x31，卷積越大，性能越強

分享嘉賓：丁霄漢，清華大學博士生，曠視科技 Base Model 組實習生，研究方向為通用模型架構設計。在 CVPR 等會議上發表過一系列論文，提出了結構重參數化方法論及其若干應用，獲得 GitHub 約 4000 Star。

分享摘要：RepLKNet 挑戰了諸多行業內的傳統認知，發現大到 31x31 的超大卷積核既漲點又高效，越大越漲點。歸納了在現代模型中應用大卷積的五條準則，如用小卷積核進行重參數化等。在此之上提出了一種新的架構 RepLKNet，在大模型和下游任務上取得了亮眼的結果，比 Swin 更好或相當，遠超傳統小 kernel 的 CNN。

分享時間：北京時間3月24日19:00-20:00

直播間：關注機動組視頻號，北京時間3月24日開播。

交流群：本次直播設有 QA 環節，歡迎加入本次直播交流群探討交流。

如群已超出人數限制，請添加機器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，備注「卷積」即可加入。

機器之心 · 機動組?

機動組是機器之心發起的人工智能技術社區，聚焦于學術研究與技術實踐主題內容，為社區用戶帶來技術線上公開課、學術分享、技術實踐、走近頂尖實驗室等系列內容。機動組也將不定期舉辦線下學術交流會與組織人才服務、產業技術對接等活動，歡迎所有 AI 領域技術從業者加入。

• 點擊閱讀原文，訪問機動組官網，觀看往期回顧；

• 關注機動組服務號，獲取每周直播預告。

總結

以上是生活随笔為你收集整理的【深度学习】卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。