重要样本关注机制：一种新颖的目标检测框架（附原论文下载）
點擊藍字關注我們，關注并星標
從此不迷路
計算機視覺研究院
學習群｜掃碼在主頁獲取加入方式
論文地址：?https://arxiv.org/pdf/1904.04821.pdf
01
概述
在目標檢測框架中，平等對待所有樣本并以平均性能最大化目標是一種常見的范例。在今天分享中，研究者通過仔細研究不同的樣本如何對以mAP衡量的總體性能做出貢獻，重新審視了這一范式。
研究表明，每個小批次中的樣本既不是獨立的，也不是同等重要的，因此平均而言，更好的分類器并不一定意味著更高的mAP。在這項研究的激勵下，研究者提出了原始樣本的概念，這些樣本在推動檢測性能方面起著關鍵作用。研究者進一步開發了一種簡單而有效的抽樣和學習策略，稱為“預防樣本注意力”（PISA），將訓練過程重點指向此類樣本。
研究者的實驗表明，在訓練檢測器時，關注prime sample（其實就是正樣本中IoU高的樣本和負樣本中得分高的樣本）通常比關注難樣本更有效。特別是，在MSCOCO數據集上，PISA在單級和兩級檢測器上的性能始終優于隨機采樣基線和難挖掘方案，例如OHEM和Focal Loss，大約為2%，即使其具有強大的主干ResNeXt-101。
02
背景
Improvement of NMS with localization confidence
IoUNet建議使用定位置信度而不是NMS的分類分數。它增加了一個額外的分支來預測樣本的IoU，并使用NMS的定位置信度，即預測IoU。IoUNet和新提出的方法之間存在一些主要差異。
首先，IoUNet旨在為預測IoU較高的候選提供更高的分數。在這項工作中，研究者發現高IoU并不一定意味著對訓練很重要。特別是，圍繞目標的候選之間的相對排名也起著至關重要的作用。其次，研究者的目標不是改進NMS，沒有利用額外的分支來預測定位置信度，而是調查prime sample的重要性，并建議更多地關注基于重要性的重加權的基礎樣本，以及將兩個分支的訓練關聯起來的新損失。
03
Prime Sample
左：白色虛線表示ground truth，紅色框表示prime sample，藍框為難例樣本
右：不同采樣策略下模型的PR曲線，random表示平等對待各個樣本，hard表示重點關注難例樣本，prima表示重點關注重要樣本
可以看到，基于prime sample的采樣策略能夠更好地提升檢測器的性能，原因是什么呢？
目標檢測中，我們的目的是提高mAP，首先就要了解什么是mAP？
AP就是ROC曲線下的面積。在繪制ROC曲線時，檢測框的置信度決定了該檢測框是否被保留，該檢測框與標注框的IOU決定了該檢測框是否對應了真實目標，這兩個方面都影響了TP,FP和Recall,Precision和AP。
根據map的定義，哪些正樣本比較重要？
mAP的工作方式揭示了兩個標準:
（1）在與ground truth物體重疊的所有包圍盒中，IoU最高的那個是最重要的，因為其IoU值會直接影響 recall。（2）在所有不同對象的最高IoU邊界框中，具有較高IoU的邊界框更為重要，因為隨著θ的增大，它們是最后一個低于IoU閾值θ的邊界框，因此對總體精度有很大影響。
在這些標準上，正樣本中IoU高的樣本對于目標檢測器而言更為重要。
根據map的定義，哪些負樣本比較重要？
（1）在本地區域內的所有負樣本中，得分最高的樣本最為重要。（2）在不同地區的所有得分最高的樣本中，得分較高的樣本更為重要，因為它們是第一個降低精度的樣本。
在負樣本中，因為很多的負樣本會通過NMS（非極大值抑制）而去掉。所以，如果一個負樣本旁邊有個得分更高的樣本，那么這個負樣本就不重要，因為它會被NMS去掉。
在這些標準上，負樣本中得分高的樣本對于目標檢測器而言更為重要。
IoU-HLR和Score-HLR
根據樣本的重要性將樣本分為各個級別Hierarchical Local Rank (HLR).：
正樣本的分級方法是基于IOU的，所以成為IoU Hierarchical Local Rank (IoU-HLR)。負樣本的分級方法是基于Score的，所以叫做Score Hierarchical Local Rank (Score-HLR)。
IoU-HLR:
（1）獲得不同標注框的正樣本候選框的IOU
（2）根據IOU將候選框分為不同的rank，IOU最大的為top1rank，從而獲得局部的rank
（3）不同目標的對應的rank組合在一起，并按照他們的IOU排序，這是全局的rank
（4）最后得到排序結果
這樣排序的原因：滿足了上面的兩個原則
第一個是，同一目標，IOU最大的最重要，它將那些局部排序較高的樣本放在前面，這些樣本對于每一個單獨的gt來說是最重要的；
第二個是，不同目標，IOU大的更重要，在每個rank組內，根據IoU對樣本進行重新排序
右側是負樣本按照SCORE的排序方式，他和前面的排序方式是類似的
在下圖中繪制了隨機樣本、難樣本和的prime sample分布，以及IoU和分類損失。頂行顯示正樣本，底行顯示負樣本。據觀察，難正性樣本傾向于具有高分類損失，并且沿著IoU軸在更寬的范圍內分散，而prime sample正樣本趨向于具有高IoU和低分類損失。難負性樣本往往具有高分類損失和高IuU，而prime sample負樣本也覆蓋了一些低損失樣本，IuU分布更為分散。這表明這兩類樣品具有本質上不同的特征。
ISR
研究者提出了一種soft Sampling的方法——Importance-based Sample Reweighting (ISR), 它根據重要程度給samples分配了不同的loss weights，用線性方程可以將ri(第i個樣本所在的rank）轉換為ui（類別j的第i個樣本的重要性），如下所示：
ui和wi存在著一個簡單的遞增的關系：
cross entropy classification loss可以被改寫為：
n和m分別是正樣本和全部樣本的總量。注意到簡單的增加loss weights將會改變loss的全部值和正樣本負樣本之間的比例，所以我們將wi歸一化到wi’為了保證全部正樣本的loss不變。
04
實驗及可視化
Examples of PISA (bottom) and random sampling (top) results. The score threshold for visualization is 0.2：
coco數據集上的評估結果
??THE END?
轉載請聯系本公眾號獲得授權
計算機視覺研究院學習群等你加入！
ABOUT
計算機視覺研究院
計算機視覺研究院主要涉及深度學習領域，主要致力于目標檢測、圖像分割、模型量化、模型部署等研究方向。研究院接下來會不斷分享最新的論文算法新框架，我們這次改革不同點就是，我們要著重”研究“。之后我們會針對相應領域分享實踐過程，讓大家真正體會擺脫理論的真實場景，培養愛動手編程愛動腦思考的習慣！
VX：2311123606
往期推薦
| |||
| |||
| |||
|
?
?
?
總結
以上是生活随笔為你收集整理的重要样本关注机制：一种新颖的目标检测框架（附原论文下载）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： jp@gc - Ultimate Thr
- 下一篇： 低代码指南100解决方案：41还在用ex