歡迎大家來到《知識星球》專欄，這里是網絡結構1000變小專題。

作者&編輯 | 言有三

1 Attention模型

Attention機制已經被證明在很多的任務中都能提升其性能，我們在《AI不惑境》中已經專門總結了這個問題，今天給大家介紹一下來自于ElementAI的一個用于細粒度圖像分類的復雜多尺度Attention模型。

有三AI知識星球-網絡結構1000變

Pay attention to?Activations

本文是一種多尺度的attention方法，它估計網絡不同深度不同抽象層級的attention信息，最后在輸出層進行attention信息融合獲得最后的attention map。

作者/編輯 言有三

模型結構如上圖所示，在不同抽象層級添加了Attention子模塊，這里有兩個概念，一個是AD，一個是AW。

所謂AD，就是感知深度，對應各個抽象層級的特征。所謂AW，就是感知寬度，對于需要感知的目標種類，如動物的頭，四肢等。

一個Attention Module的具體結構如下：

它首先輸入B*C*H*W的特征圖，輸出B*1*H*W的經過softmax的Attention head熱圖，如下：

此后output_head基于Attention head的輸出，預測各個類別的概率，輸入包括B*C*H*W的特征圖，B*1*H*W的Attention head熱圖，輸出B*Class*1*1。這就是基于空間位置，對整圖類別的Attention。

另外，不同的heads(即感知的目標種類)也應該有不同的權重，因此還需要對其進行Attention。

綜上，一個Attention模塊的輸出如下：

最后的特征輸出為各個Attention模塊輸出和原始全連接預測的加權和。

這里的權重值g來自于最后池化后的特征使用一個全連接層學習而來。

結果如何呢？

上圖反映了不同AD和AW對性能的影響，可知增大AD和AW都有利于提升性能。

上圖展示了各個Attention Depth的各個Attention Heads的結果，可見成功實現了初衷。

下表展示了在各大細粒度分類數據集上的結果，在不實用預訓練和高清輸入時，若干數據集上取得了最好的效果。

[1] Lopez P R, Dorta D V, Preixens G C, et al. Pay attention to the activations: a modular attention mechanism for fine-grained image recognition[J]. IEEE Transactions on Multimedia, 2019.

2 更多網絡結構

更多的Attention網絡結構，可以移步知識星球閱讀！

有三AI知識星球的內容非常多，大家可以預覽一些內容如下。

以上所有內容

加入有三AI知識星球即可獲取

來日方長

點擊加入

不見不散

更多精彩

每日更新

轉載文章請后臺聯系

侵權必究

往期精選

• 揭秘7大AI學習板塊，這個星球推薦你擁有

• 有三AI 1000問回歸，備戰秋招，更多，更快，更好，等你來戰！

• 如何系統性掌握深度學習模型設計和優化

• 【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言

• 【知識星球】顏值，自拍，美學三大任務簡介和數據集下載

• 【知識星球】數據集板塊重磅發布，海量數據集介紹與下載

• 【知識星球】貓貓狗狗與深度學習那些事兒

• 【知識星球】超3萬字的網絡結構解讀，學習必備

• 【知識星球】視頻分類/行為識別網絡和數據集上新

• 【知識星球】3D網絡結構解讀系列上新

• 【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的

• 【知識星球】Attention網絡結構上新，聚焦才能贏

• 【知識星球】幾個人像分割數據集簡介和下載

• 【知識星球】總有些骨骼輕奇，姿態妖嬈的模型結構設計，不知道你知不知道，反正我知道一些

• 【知識星球】從SVM對偶問題，到疲勞駕駛檢測，到實用工業級別的模型壓縮技巧

• 【知識星球】為什么圖像分類任務要從256*256中裁剪出224*224

總結

以上是生活随笔為你收集整理的【知识星球】ElementAI提出超复杂多尺度细粒度图像分类Attention模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。