CVPR2020 論文解讀：具有注意RPN和多關系檢測器的少點目標檢測

Few-Shot Object Detection with Attention-RPN
and Multi-Relation Detector

具有注意RPN和多關系檢測器的少點目標檢測

目標檢測的慣用方法需要大量的訓練數據，準備這樣高質量的訓練數據很費精力的。本文中，提出一種新的少點目標檢測網絡，只用幾個帶注釋的示例的看不見的類來檢測目標。集中到新方法的核心是，注意力RPN，多相關檢測器，以及對比訓練策略，探索少點支持集和查詢集之間的相似性，檢測新目標同時抑制背景中的錯誤檢測。

訓練網絡，提供新數據集，它包含1000類不同的目標，附加高質量的注釋信息。眾所周知，這是為少點目標檢測最好的特定數據集之一。當少點網絡訓練后，不需要進一步訓練和優化，就可以檢測看不接見的類。這種方法是通用的，具有廣泛的應用潛力。提供少點數據集中新的不同數據集上藝術狀態性能。

解決什么問題

少量support的情況，檢測全部的屬于target目標范疇的前景

本文創新點\貢獻

沒有反復訓練和fine-tune的情況檢測新物體，探索物體對的聯系。可以在線檢測，在proposal前面使用attention模塊很有用，聯系模塊能過濾

大量的數據集，1000個類，每個類只有少量樣本，實驗表明用這個數據集能達到的效果更好

本文IDEA來源

問題在于新的類別不錯的框的分數低

方法

方法概述

在RPN前加一個attention，在檢測器之前加了3個attention，然后還是用到了負support訓練。

問題定義

給定帶有target物體特寫的support圖片?，包含support中類別物體的query圖片?，support中包含K類物體，每類N個樣本，所以就是檢測。

Deep Attentioned Few-Shot Detection

權重共享的框架由多個分支組成，分別為support和query服務，support根據輸入有多個分支，圖片只顯示了一個。

query分支是一個FasterRCNN網絡，包含RPN和檢測器。

利用這個框架來學習support和query之間的匹配關系，更好的學習同類之間的一般知識。

以這個框架為基礎，提出了attention RPN，還有多聯系檢測。

Attention-Based Region Proposal Network

沒有support，RPN就沒有目標，后面的子分類就搞不清楚這么多的不相關目標。

使用support信息就能過濾掉大部分的背景框，還有那些不是匹配的類別

通過在RPN中用attention機制來引入support信息，來對其他類的proposal進行壓制

通過逐深度的方法計算二者特征值的相似性，相似性用來生成proposal

support的特征是，queroy的特征是，相似度定義如下：

其中G是attention特征圖，X作為一個卷積核在query的特征圖上滑動，以一種逐深度(取平均)的方式。

使用的是RPN的底部特征，ResNet50的res4-6，發現設置S=1表現很好，這說明全局特征能提供一個好的先驗

G用3×3的卷積處理，然后接分類和回歸層。

Multi-Relation Detector

還是測量相似性的，在query和support的bbox之間，包含三個attention：

global-relation head：學習全局匹配的深度嵌入

local-correlation head：學習support和query的proposal之間的逐像素和逐深度對應

patch-relation head：學習匹配的深度非線性度量

三個head的分析：

第三個patch 并不理想，這個頭的模型更復雜，但作者也覺得復雜的聯系是難學習的

但是三個一起用效果最好，說明之間還是能相互補充的

Two-way Contrastive Training Strategy

不僅匹配而且區分

訓練組，其中，是跟query不同的類，訓練的時候只有c被標記為前景

背景的proposal很多，所以平衡在query和support中三個不同匹配的比例，保持

前景proposal 和負 [ 圖中(2) ]：

背景proposal 和
正 [ 圖中(1) ]：

proposal(前或后) 和 負= 1：2：1

根據匹配的分數選全部的，選前，前

根據第一隊確定總個數，后面按分數來，什么樣的分數？

錯誤的根據最不匹配分數？

為什么沒有proposal(前或后)和positive support pairs的？

因為這里是算不同嗎？

對于每個采樣的proposa計算推薦：

?和Faster RCNN一樣， ?用的二值化交叉熵

選擇訓練策略

RPN的選擇

和0.5IoU的取前100的RPN對比。表里也顯示RPN attention確實有效

總結

以上是生活随笔為你收集整理的CVPR2020 论文解读：少点目标检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。