大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享注意力機制的發展和應用。

作者&編輯 | 言有三

1 注意力機制的作用

注意力機制的作用就是找到真正感興趣的區域，加以處理，使其更好地完成任務，Google DeepMind提出的STN模型是一個非常優秀的代表。它可以定位目標并且學習對應的形變，然后進行預處理降低模型學習難度，可以作為基礎模型嵌入任何網絡，同時它也是一個空間注意力模型。

2 自注意力機制

與全連接神經網絡相比，卷積神經網絡在每一層是局部的，采用了較小的卷積核，感受實際對應到原始圖像空間較大的區域，而且隨著網絡的加深，感受野增加。但是感受野畢竟不是全圖，如何能夠獲得更大的感受野呢？Non-Local就是一個擁有全局感受野的自注意力模型。

3 通道注意力機制

SENet(Sequeeze and Excitation Net)是2017屆ImageNet分類比賽的冠軍網絡，本質上是一個基于通道的Attention模型，它通過建模各個特征通道的重要程度，然后針對不同的任務增強或者抑制不同的通道。

4 空間注意力機制

圖像中不同區域的重要性是不同的，動態容量網絡(Dynamic Capacity Networks)是一個空間注意力機制網絡，通過兩個子網絡來實現。

5 融合空間和通道注意力

STN等模型是從空間維度進行Attention，SENet等模型是從通道維度進行Attention，當然我們也可以同時使用空間Attention和通道Attention機制，以CBAM為代表。

6 其他

除了以上基本的變種，注意力機制還有非常多的研究，包括：

(1) 空間注意力模型的各種設計。

(2) 通道注意力模型的各種。

(3) 自注意力模型的各種設計。

(4) 如何對多種注意力機制進行融合。

(5) 注意力機制與殘差網絡，分組網絡等經典結構的結合。

(6) 注意力機制在各類計算機視覺任務中的具體應用。

以上內容，如果你不想自己學習，可以去我們知識星球的網絡結構1000變板塊—注意力機制板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識星球

知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉載文章請后臺聯系

侵權必究

往期精選

• 【雜談】2020年有三AI計算機視覺培養計劃詳解，該不該學&怎么學CV的簡單討論

• 【年終總結】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結】有三AI秋季劃模型優化組3月直播講了哪些內容，為什么每一個從事深度學習的同學都應該掌握模型優化的內容

• 【總結】有三AI秋季劃人臉算法組3月直播講了哪些內容，計算機視覺你不可能繞開人臉圖像

• 【總結】有三AI秋季劃圖像質量組3月直播講了哪些內容，為什么解決好底層圖像處理問題那么重要

• 【星球知識卡片】殘差網絡家族10多個變種學習卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網絡都發展到什么程度了？
  

總結

以上是生活随笔為你收集整理的【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。