1 原理

1.1 普通卷積

• 空間不變性：卷積核大小為$C_o\times C_i\times K\times K$，其中$C_o$和$C_i$分別是輸出和輸入的通道數目，K代表卷積核的大小。在尺寸為$H\times W$的特征圖上共享相同參數的卷積核，即具有空間不變性。
• 通道特異性：在每個通道C獨享對應的卷積核。

優點：

• 參數共享
• 平移不變性

缺點：

• 提取的特征單一，不能根據輸入靈活調整卷積核的參數
• 通道數量C較大時，參數量和計算量較大。K的取值較小，限制了卷積操作一次性捕捉長距離關系的能力。
• 卷積核在通道維度是存在冗余的。

1.2 Involution

• 空間特異性：卷積核大小為$H\times W\times K\times K\times G$，G為通道的分組數，其中卷積核在空間維度上是不同的。
• 通道不變性：通過在通道維數上共享卷積核來減少參數的冗余。

優點：

• 可以在更廣闊的空間中聚合上下文，從而克服了對遠程交互進行建模的困難。
• 可以在不同位置上自適應地分配權重，從而對空間域中信息最豐富的視覺元素進行優先排序。

2 方法

• 生成Kernel：卷積神經網絡存在下采樣層，導致各個階段的特征圖的尺寸會變化，從而確保Kernel size和input feature size在空間維度上能夠自動對齊。

• 進行內卷操作：針對輸入的一個坐標點上的特征向量，生成并reshape變換展開成Kernel的形狀，從而得到這個坐標點上對應的involution kernel，再和輸入feature map上這個坐標點鄰域的特征向量進行Multiply-Add得到最終輸出的feature map。

https://zhuanlan.zhihu.com/p/358183591

https://zhuanlan.zhihu.com/p/356369472

總結

以上是生活随笔為你收集整理的CVPR 2021 involution：超越convolution和self-attention的神经网络新算子的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。