Asymmetric Contextual Modulation for Infrared Small Target Detection

本文開源代碼及單幀紅外小目標(biāo)檢測(cè)數(shù)據(jù)集：

code：https://github.com/YimianDai/open-acm

sirst：https://github.com/YimianDai/sirst

427張短波、中波，950nm紅外圖像，5種標(biāo)注方式 (a)類別標(biāo)簽 (b) 實(shí)例分割 ? 邊界框 (d) 語義分割 (e) 實(shí)例定位

模型驅(qū)動(dòng)方法存在的缺點(diǎn)：

具有全局唯一顯著性、稀疏性或高對(duì)比度的目標(biāo)假設(shè)在現(xiàn)實(shí)世界圖像中不成立。 真正的暗淡目標(biāo)可能不顯眼且對(duì)比度低，而許多背景干擾物滿足這些假設(shè)，從而導(dǎo)致許多虛景(誤報(bào))。

許多超參數(shù)，對(duì)圖像內(nèi)容敏感且高度相關(guān)，這對(duì)于高度可變的場(chǎng)景不夠穩(wěn)健。

缺乏對(duì)整體場(chǎng)景的高層次理解，無法檢測(cè)到極端暗淡的場(chǎng)景并去除顯著的干擾因素。（需將高級(jí)上下文語義信息嵌入模型進(jìn)行更好的檢測(cè)）。

本文動(dòng)機(jī)：

在紅外小目標(biāo)檢測(cè)領(lǐng)域研究的深度學(xué)習(xí)方法很少。

• 缺乏公共數(shù)據(jù)集
• 缺少目標(biāo)內(nèi)在信息（SPIE將紅外小目標(biāo)定義為在256×256圖像里具有小于 80 像素（9×9）的總空間范圍）
• 深度網(wǎng)絡(luò)即需要學(xué)習(xí)語義表示也需要兼顧細(xì)節(jié)特征

現(xiàn)有先進(jìn)檢測(cè)網(wǎng)絡(luò)為通用圖像數(shù)據(jù)設(shè)計(jì)，不適合直接用于紅外小目標(biāo)檢測(cè)。需要進(jìn)行以下改進(jìn)：

• 重新定制下采樣方案。（隨著網(wǎng)絡(luò)的加深，紅外小目標(biāo)的特征幾乎無法保留。）
• 重新定制注意力模塊。（現(xiàn)有的注意力模塊傾向于聚合全局或遠(yuǎn)程上下文，潛在的假設(shè)是對(duì)象相對(duì)較大并且更全局地分布，全局注意力模塊會(huì)削弱紅外小目標(biāo)的特征。）
• 重新定制特征融合方法。（小目標(biāo)可能被深層背景，單向、自上而下的方式融合跨層特征可能不起作用。）

評(píng)價(jià)指標(biāo)：

• nIoU（the normalized Intersection over Union）
  $$\mathrm{n}\mathrm{I}\mathrm{o}\mathrm{U}=\frac{1}{N}\sum _i^N\frac{\mathrm{T}\mathrm{P}[i]}{\mathrm{T}[i]+\mathrm{P}[i]?\mathrm{T}\mathrm{P}[i]}$$
  其中，N 是總樣本數(shù)。

• ROC（the receiver operating characteristic）

ACM模型（Asymmetric Contextual Modulation）

其中X是低級(jí)(low-level)特征，Y是高級(jí)(high-level)特征，C為通道數(shù)，H×W表示特征圖大小。

• Top-Down Modulation

• 高層特征提供了更準(zhǔn)確的目標(biāo)語義信息；

• 全局信道上下文是一個(gè)稱職的調(diào)制信號(hào)。

• Bottom-Up Modulation

• 用低級(jí)特征的空間細(xì)節(jié)豐富高級(jí)特征。

• Asymmetric Contextual Modulation Module

  同時(shí)利用自上而下(Top-Down)的全局注意力調(diào)制和自下而上(Bottom-Up)的局部注意力調(diào)制來交換多尺度上下文，以便對(duì)語義信息和空間細(xì)節(jié)進(jìn)行更豐富的編碼。
  $$\mathbf{Z}=\mathbf{G}(\mathbf{Y})?\mathbf{X}+\mathbf{L}(\mathbf{X})?\mathbf{Y}$$
  

示例：FPN 和 UNet

紅外小目標(biāo)檢測(cè)問題看成是語義分割問題，將ACM模型運(yùn)用到FPN及U-Net網(wǎng)絡(luò)中

主干網(wǎng)絡(luò)采用ResNet-20，如下所示，b = 3。為了保留小目標(biāo)，下采樣僅在 Stage-2 和 Stage-3 的第一個(gè)卷積層執(zhí)行。

實(shí)驗(yàn)結(jié)果：

• Ablation Study

  • 下采樣方案(Regular-ACM特征圖被下采樣4倍， ACM-本文下采樣方案)。
  • 雙向注意力調(diào)制的影響(TopDownLocal、BiLocal)
  • 非對(duì)稱注意力調(diào)制的影響(BiLocal、BiGlobal、ACM)

• 與最先進(jìn)方法的比較

  IoU 和 nIoU 反映的是固定閾值下的分割效果；ROC 反映的是滑動(dòng)閾值下的整體效果。

總結(jié)

以上是生活随笔為你收集整理的红外弱小目标检测之“Asymmetric Contextual Modulation for Infrared Small Target Detection“阅读笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。