注意力機(jī)制學(xué)習(xí)--CA（Coordinate attention）

• • 簡介
  • • • CA注意力機(jī)制的優(yōu)勢：
      • 提出不足
  • 算法流程圖
  • 代碼
  • 最后

簡介

CA（Coordinate attention for efficient mobile network design）發(fā)表在CVPR2021，幫助輕量級網(wǎng)絡(luò)漲點(diǎn)、即插即用。

CA注意力機(jī)制的優(yōu)勢：

1、不僅考慮了通道信息，還考慮了方向相關(guān)的位置信息。
2、足夠的靈活和輕量，能夠簡單的插入到輕量級網(wǎng)絡(luò)的核心模塊中。

提出不足

1、SE注意力中只關(guān)注構(gòu)建通道之間的相互依賴關(guān)系，忽略了空間特征。
2、CBAM中引入了大尺度的卷積核提取空間特征，但忽略了長程依賴問題。

算法流程圖

step1: 為了避免空間信息全部壓縮到通道中，這里沒有使用全局平均池化。為了能夠捕獲具有精準(zhǔn)位置信息的遠(yuǎn)程空間交互，對全局平均池化進(jìn)行的分解，具體如下：


對尺寸為$C?H?W$輸入特征圖$Input$分別按照$X$方向和$Y$方向進(jìn)行池化，分別生成尺寸為$C?H?1$和$C?1?W$的特征圖。如下圖所示（圖片粘貼自B站大佬渣渣的熊貓潘）。

step2:將生成的$C?1?W$的特征圖進(jìn)行變換，然后進(jìn)行concat操作。公式如下：

將$z^h$和$z^w$進(jìn)行concat后生成如下圖所示的特征圖，然后進(jìn)行F1操作（利用1*1卷積核進(jìn)行降維，如SE注意力中操作）和激活操作，生成特征圖$f\in {\mathbb{R}}^{C/r\times (H+W)\times 1}$。

step3:沿著空間維度，再將$f$進(jìn)行split操作，分成$f^h\in {\mathbb{R}}^{C/r\times H\times 1}$和$f^w\in {\mathbb{R}}^{C/r\times 1\times W}$，然后分別利用$1\times 1$卷積進(jìn)行升維度操作，再結(jié)合sigmoid激活函數(shù)得到最后的注意力向量$g^h\in {\mathbb{R}}^{C\times H\times 1}$和$g^w\in {\mathbb{R}}^{C\times 1\times W}$。

最后：Coordinate Attention 的輸出公式可以寫成：

代碼

代碼粘貼自github。CoordAttention
地址：https://github.com/houqb/CoordAttention/blob/main/mbv2_ca.py

class CoordAtt(nn.Module):def __init__(self, inp, oup, groups=32):super(CoordAtt, self).__init__()self.pool_h = nn.AdaptiveAvgPool2d((None, 1))self.pool_w = nn.AdaptiveAvgPool2d((1, None))mip = max(8, inp // groups)self.conv1 = nn.Conv2d(inp, mip, kernel_size=1, stride=1, padding=0)self.bn1 = nn.BatchNorm2d(mip)self.conv2 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0)self.conv3 = nn.Conv2d(mip, oup, kernel_size=1, stride=1, padding=0)self.relu = h_swish()def forward(self, x):identity = xn,c,h,w = x.size()x_h = self.pool_h(x)x_w = self.pool_w(x).permute(0, 1, 3, 2)y = torch.cat([x_h, x_w], dim=2)y = self.conv1(y)y = self.bn1(y)y = self.relu(y) x_h, x_w = torch.split(y, [h, w], dim=2)x_w = x_w.permute(0, 1, 3, 2)x_h = self.conv2(x_h).sigmoid()x_w = self.conv3(x_w).sigmoid()x_h = x_h.expand(-1, -1, h, w)x_w = x_w.expand(-1, -1, h, w)y = identity * x_w * x_hreturn y

最后

CA不僅考慮到空間和通道之間的關(guān)系，還考慮到長程依賴問題。通過實(shí)驗發(fā)現(xiàn)，CA不僅可以實(shí)現(xiàn)精度提升，且參數(shù)量、計算量較少。

簡單進(jìn)行記錄，如有問題請大家指正。

總結(jié)

以上是生活随笔為你收集整理的注意力机制-CA注意力-Coordinate attention的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。