繼續(xù)咱們的“網(wǎng)絡(luò)結(jié)構(gòu)1000變”板塊，最近上新的內(nèi)容主要是Attention機(jī)制相關(guān)的網(wǎng)絡(luò)結(jié)構(gòu)，即網(wǎng)絡(luò)如何選擇真正感興趣的區(qū)域進(jìn)行處理，下面是一個(gè)代表，更多請(qǐng)移步知識(shí)星球網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊。

有三AI知識(shí)星球-網(wǎng)絡(luò)結(jié)構(gòu)1000變

CBAM

以前介紹過(guò)的Dynamic Capacity Network，Perforated CNNs是從空間維度進(jìn)行Attention，SENet是從通道維度進(jìn)行Attention，而CBAM(

Convolutional Block Attention Module)則是同時(shí)從空間維度和通道維度進(jìn)行Attention。

作者/編輯 言有三

通道方向的Attention通過(guò)通道內(nèi)的空間關(guān)系獲取，原理如下：

同時(shí)使用最大pooling和均值pooling算法，然后經(jīng)過(guò)幾個(gè)MLP層獲得變換結(jié)果，最后分別應(yīng)用于兩個(gè)通道，使用Sigmoid函數(shù)得到通道的Attention結(jié)果。

空間方向的Attention通過(guò)通道之間的空間關(guān)系獲取，原理如下：

首先將通道本身進(jìn)行降維，分別獲取最大池化和均值池化結(jié)果，然后拼接，再使用一個(gè)卷積層進(jìn)行學(xué)習(xí)。

這兩種機(jī)制，分別學(xué)習(xí)了“怎么看”，“以及看什么”，這樣的兩個(gè)模塊可以很容易地嵌入到任何已知的框架中。

上表展示了將這個(gè)方法用于不同模型后的結(jié)果，可知道該模型和SENet性能相當(dāng)，都顯著提升了baseline的性能，尤其是較深的ResNet50和ResNet101。

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【知識(shí)星球】千奇百怪的網(wǎng)絡(luò)結(jié)構(gòu)板塊更新到哪里了？

• 【知識(shí)星球】動(dòng)態(tài)推理網(wǎng)絡(luò)結(jié)構(gòu)上新，不是所有的網(wǎng)絡(luò)都是不變的

• 【知識(shí)星球】做作業(yè)還能贏獎(jiǎng)金，傳統(tǒng)圖像/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)盡在不言中

• 有三AI知識(shí)星球官宣，BAT等大咖等你來(lái)撩

• 揭秘7大AI學(xué)習(xí)板塊，這個(gè)星球推薦你擁有

• 有三AI“夏季劃”出爐，今夏進(jìn)階中級(jí)CV算法工程師

總結(jié)

以上是生活随笔為你收集整理的【知识星球】Attention网络结构上新，聚焦才能赢的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。