【知识星球】ElementAI提出超复杂多尺度细粒度图像分类Attention模型
歡迎大家來到《知識星球》專欄，這里是網絡結構1000變小專題。
作者&編輯 | 言有三
1 Attention模型
Attention機制已經被證明在很多的任務中都能提升其性能，我們在《AI不惑境》中已經專門總結了這個問題，今天給大家介紹一下來自于ElementAI的一個用于細粒度圖像分類的復雜多尺度Attention模型。
有三AI知識星球-網絡結構1000變
Pay attention to?Activations
本文是一種多尺度的attention方法，它估計網絡不同深度不同抽象層級的attention信息，最后在輸出層進行attention信息融合獲得最后的attention map。
作者/編輯 言有三
模型結構如上圖所示，在不同抽象層級添加了Attention子模塊，這里有兩個概念，一個是AD，一個是AW。
所謂AD，就是感知深度，對應各個抽象層級的特征。所謂AW，就是感知寬度，對于需要感知的目標種類，如動物的頭，四肢等。
一個Attention Module的具體結構如下：
它首先輸入B*C*H*W的特征圖，輸出B*1*H*W的經過softmax的Attention head熱圖，如下：
此后output_head基于Attention head的輸出，預測各個類別的概率，輸入包括B*C*H*W的特征圖，B*1*H*W的Attention head熱圖，輸出B*Class*1*1。這就是基于空間位置，對整圖類別的Attention。
另外，不同的heads(即感知的目標種類)也應該有不同的權重，因此還需要對其進行Attention。
綜上，一個Attention模塊的輸出如下：
最后的特征輸出為各個Attention模塊輸出和原始全連接預測的加權和。
這里的權重值g來自于最后池化后的特征使用一個全連接層學習而來。
結果如何呢？
上圖反映了不同AD和AW對性能的影響，可知增大AD和AW都有利于提升性能。
上圖展示了各個Attention Depth的各個Attention Heads的結果，可見成功實現了初衷。
下表展示了在各大細粒度分類數據集上的結果，在不實用預訓練和高清輸入時，若干數據集上取得了最好的效果。
[1] Lopez P R, Dorta D V, Preixens G C, et al. Pay attention to the activations: a modular attention mechanism for fine-grained image recognition[J]. IEEE Transactions on Multimedia, 2019.
2 更多網絡結構
更多的Attention網絡結構，可以移步知識星球閱讀！
有三AI知識星球的內容非常多，大家可以預覽一些內容如下。
以上所有內容
加入有三AI知識星球即可獲取
來日方長
點擊加入
不見不散
更多精彩
每日更新
轉載文章請后臺聯系
侵權必究
往期精選
揭秘7大AI學習板塊，這個星球推薦你擁有
有三AI 1000問回歸，備戰秋招，更多，更快，更好，等你來戰！
如何系統性掌握深度學習模型設計和優化
【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言
【知識星球】顏值，自拍，美學三大任務簡介和數據集下載
【知識星球】數據集板塊重磅發布，海量數據集介紹與下載
【知識星球】貓貓狗狗與深度學習那些事兒
【知識星球】超3萬字的網絡結構解讀，學習必備
【知識星球】視頻分類/行為識別網絡和數據集上新
【知識星球】3D網絡結構解讀系列上新
【知識星球】動態推理網絡結構上新，不是所有的網絡都是不變的
【知識星球】Attention網絡結構上新，聚焦才能贏
【知識星球】幾個人像分割數據集簡介和下載
【知識星球】總有些骨骼輕奇，姿態妖嬈的模型結構設計，不知道你知不知道，反正我知道一些
【知識星球】從SVM對偶問題，到疲勞駕駛檢測，到實用工業級別的模型壓縮技巧
【知識星球】為什么圖像分類任務要從256*256中裁剪出224*224
總結
以上是生活随笔為你收集整理的【知识星球】ElementAI提出超复杂多尺度细粒度图像分类Attention模型的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【知识星球】为什么图像分类任务要从256
- 下一篇： 【图像分类】 基于Pytorch的细粒度