大家好，歡迎來到我們的星球知識(shí)小卡片專欄，本期給大家分享注意力機(jī)制的發(fā)展和應(yīng)用。

作者&編輯 | 言有三

1 注意力機(jī)制的作用

注意力機(jī)制的作用就是找到真正感興趣的區(qū)域，加以處理，使其更好地完成任務(wù)，Google DeepMind提出的STN模型是一個(gè)非常優(yōu)秀的代表。它可以定位目標(biāo)并且學(xué)習(xí)對(duì)應(yīng)的形變，然后進(jìn)行預(yù)處理降低模型學(xué)習(xí)難度，可以作為基礎(chǔ)模型嵌入任何網(wǎng)絡(luò)，同時(shí)它也是一個(gè)空間注意力模型。

2 自注意力機(jī)制

與全連接神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)在每一層是局部的，采用了較小的卷積核，感受實(shí)際對(duì)應(yīng)到原始圖像空間較大的區(qū)域，而且隨著網(wǎng)絡(luò)的加深，感受野增加。但是感受野畢竟不是全圖，如何能夠獲得更大的感受野呢？Non-Local就是一個(gè)擁有全局感受野的自注意力模型。

3 通道注意力機(jī)制

SENet(Sequeeze and Excitation Net)是2017屆ImageNet分類比賽的冠軍網(wǎng)絡(luò)，本質(zhì)上是一個(gè)基于通道的Attention模型，它通過建模各個(gè)特征通道的重要程度，然后針對(duì)不同的任務(wù)增強(qiáng)或者抑制不同的通道。

4 空間注意力機(jī)制

圖像中不同區(qū)域的重要性是不同的，動(dòng)態(tài)容量網(wǎng)絡(luò)(Dynamic Capacity Networks)是一個(gè)空間注意力機(jī)制網(wǎng)絡(luò)，通過兩個(gè)子網(wǎng)絡(luò)來實(shí)現(xiàn)。

5 融合空間和通道注意力

STN等模型是從空間維度進(jìn)行Attention，SENet等模型是從通道維度進(jìn)行Attention，當(dāng)然我們也可以同時(shí)使用空間Attention和通道Attention機(jī)制，以CBAM為代表。

6 其他

除了以上基本的變種，注意力機(jī)制還有非常多的研究，包括：

(1) 空間注意力模型的各種設(shè)計(jì)。

(2) 通道注意力模型的各種。

(3) 自注意力模型的各種設(shè)計(jì)。

(4) 如何對(duì)多種注意力機(jī)制進(jìn)行融合。

(5) 注意力機(jī)制與殘差網(wǎng)絡(luò)，分組網(wǎng)絡(luò)等經(jīng)典結(jié)構(gòu)的結(jié)合。

(6) 注意力機(jī)制在各類計(jì)算機(jī)視覺任務(wù)中的具體應(yīng)用。

以上內(nèi)容，如果你不想自己學(xué)習(xí)，可以去我們知識(shí)星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—注意力機(jī)制板塊閱讀，純屬自愿，不愿勿噴。

有三AI知識(shí)星球

知識(shí)星球是有三AI的付費(fèi)內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號(hào)的付費(fèi)圖文原稿，技術(shù)總結(jié)PPT和視頻，知識(shí)問答，書籍下載，項(xiàng)目推薦，線下活動(dòng)等資源，了解詳細(xì)請(qǐng)閱讀以下文章：

【雜談】有三AI知識(shí)星球一周年了！為什么公眾號(hào)+星球才是完整的？

【雜談】萬萬沒想到，有三還有個(gè)保密的‘朋友圈’，那里面都在弄啥！

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期精選

• 【雜談】2020年有三AI計(jì)算機(jī)視覺培養(yǎng)計(jì)劃詳解，該不該學(xué)&怎么學(xué)CV的簡(jiǎn)單討論

• 【年終總結(jié)】2019年有三AI做了什么，2020年我們要做什么？
  

• 【總結(jié)】有三AI秋季劃模型優(yōu)化組3月直播講了哪些內(nèi)容，為什么每一個(gè)從事深度學(xué)習(xí)的同學(xué)都應(yīng)該掌握模型優(yōu)化的內(nèi)容

• 【總結(jié)】有三AI秋季劃人臉?biāo)惴ńM3月直播講了哪些內(nèi)容，計(jì)算機(jī)視覺你不可能繞開人臉圖像

• 【總結(jié)】有三AI秋季劃圖像質(zhì)量組3月直播講了哪些內(nèi)容，為什么解決好底層圖像處理問題那么重要

• 【星球知識(shí)卡片】殘差網(wǎng)絡(luò)家族10多個(gè)變種學(xué)習(xí)卡片，請(qǐng)收下！

• 【星球知識(shí)卡片】移動(dòng)端高效率的分組網(wǎng)絡(luò)都發(fā)展到什么程度了？
  

總結(jié)

以上是生活随笔為你收集整理的【星球知识卡片】注意力机制发展如何了，如何学习它在各类任务中的应用？...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。