導讀

GFL之后，又來了VarifocalNet，而且效果更好，一起來關注一下。

代碼：https://github.com/hyz-xmaster/VarifocalNet

論文：https://arxiv.org/abs/2008.13367

1. 介紹

現在的物體檢測方法中的其中一個問題是，目標的分類得分無法代表對于其位置預測的質量，這導致有些位置預測很準的框的置信度不高，在做NMS的時候會被抑制掉。為了解決這個問題，也提出了很多的方法，比如用一個額外的IoU得分或者centerness的得分來對位置的預測質量進行評估，然后在做NMS的時候，把分類得分和位置質量得分相乘起來使用。但是這種方法并不是最優的，甚至會導致更差的結果，后面會說。如果是用一個小的網絡去預測位置評分的話，這種方法不夠優雅，需要額外的計算量。

為了克服這些缺點，我們可以思考一個問題：我們能不能將這個位置的質量預測合并到分類得分里面，而不是單獨去預測一個定位的質量？也就是說，預測一個和定位相關的分類得分，或者是IoU相關的分類得分，叫做IACS。

我們的貢獻如下：

1、我們展示了使用合適的分數對大量的候選框進行準確的排序是提升dense目標檢測器表現的關鍵因素。

2、我們提出了Varifocal Loss來訓練dense目標檢測器，去回歸IACS。

3、我們提出了一種新的星型的目標框的特征表示方式來預測IACS并對框進行優化。

4、我們基于FCOS開發了一種新的目標檢測器，叫做VarifocalNet或者VFNet，我們的方法的示意圖如下。

2. 動機

這部分中，我們研究了FCOS+ATSS的performance的上限，展示了將IoU-aware的分類得分作為排序bias的重要性。在研究FCOS+ATSS的上限的時候，在做NMS之前，我們把dense的預測分類得分，距離的offset以及centerness的得分都換成了ground truth值，然后在coco val2017上進行評估。對于分類概率向量，我們有兩種選擇，一個是直接把對應的類別置為1，另一個方法是置為gt和預測框的gt-IoU的值。對于centerness值，我們也考慮使用其真實值或者是gt-IoU的值。結果如表1，原始的FCOS+ATSS的AP是39.2，當我們在推理的時候對centerness得分使用gt值（gt_ctr）的時候，只提升了2個點，類似的，我們把centerness值替換為gt_IoU（gt_ctr_iou）的值之后，也只是提升到了43.5。這表明用類別概率和centerness相乘并不能得到顯著的提升。

相比之下，使用gt包圍框的FCOS+ATSS在沒有centerness的情況下，達到了56.1的AP。但是，如果將gt_label位置的類別概率(gt_cls)設為1，是否使用centerness就變得很重要了（43.1 AP vs 58.1 AP），因為centerness可以在某種程度上區分開正確和不正確的包圍框。

最令人驚訝的是，如果把分類得分替換為gt_IoU（gt_cls_iou），也就是IACS，在推理的時候不需要centerness，可以得到74.7的AP。上面的結果表明，對于大多數的gt目標，在龐大的候選結果的池子里是存在準確定位的包圍框的，那么，關鍵就是如何把這些高質量的檢測結果從候選池子里挑選出來，上面的結果顯示了，IACS就是選擇候選結果的最佳的度量方法。

3. ?VarifocalNet

基于上面的發現，我們提出去學習一個IoU-aware的分類得分（IACS）來排序檢測結果，然后我們基于FCOS+ATSS，去掉了centerness分支，構建了一個新的dense物體檢測器，叫做VarifocalNet或者VFNet。相比于FCOS+ATSS，有3個新東西：varifocal loss，星型包圍框以及包圍框優化。

3.1 Varifocal Loss

我們設計了Varifocal Loss用來訓練IACS，這是從Focal Loss演化而來的。Focal Loss的定義如下：

其中，α是用來平衡正負樣本的權重，和用來調制每個樣本的權重，使得困難樣本有較高的權重，避免大量的簡單的負樣本主導了訓練時候的loss。我們借用了Focal Loss中的這種加權的思想，我們用Varifocal Loss來訓練回歸連續的IACS，和Focal Loss不一樣的是，Focal Loss對于正負樣本的處理是相同的，而我們這里是不對等的，我們的Varifocal Loss定義為：

其中p是預測的IACS，q是目標IoU得分，對于正樣本，q是預測包圍框和gt框之間的IoU，對于負樣本，q為0。見上面的圖1。

從式子中可以看到，VFL只對負樣本進行了的衰減，這是由于正樣本太少了，我們希望充分利用正樣本的監督信號。另一方面，受到PISA和IoU-balanced Loss的啟發，我們對正樣本使用q進行了加權，如果正樣本具有很高的gt_iou，那么，loss的貢獻就要大一些，這樣使得訓練可以聚焦在那些質量高的樣本上。為了平衡總體的正負樣本，我們同樣使用了α進行了負樣本的加權。

3.2 星型包圍框的特征表示

我們還設計了一種高效的星型的包圍框的表示方法來預測IACS，使用了固定的9個采樣點（圖1中的黃色圓圈），通過可變形卷積來表示包圍框。這種表示方法可以獲取包圍框的幾何信息以及附近的上下文的信息，這對于預測框和gt框在編碼時的不對齊問題很重要。

具體來說，給定一個采樣點（x，y），我們首先使用一個3x3的卷積回歸一個初始框，和FCOS一樣，包圍框編碼為4D向量(l’, t’, r’, b’)，表示采樣點到四條邊的距離，使用這個距離向量，我們啟發式的選擇了9個采樣點：(x, y), (x-l’, y), (x, y-t’), (x+r’, y), (x, y+b’), (x-l’, y-t’), (x+l’, y-t’), (x-l’, y+b’) 和 (x+r’, y+b’)，然后，這9個點被映射到特征圖上，使用可變形卷積來表示包圍框，由于這些點是手工選取的，不需要額外的預測，所以計算上非常高效。

3.3 包圍框優化

我們通過包圍框的優化步驟進一步提升了物體的定位準確率。包圍框的優化在dense的物體檢測中并不常用，但是，使用星型的包圍框的表示，我們可以在dense的物體檢測器中利用包圍框優化而不損失計算效率。

我們將包圍框的優化建模為一個殘差學習的問題。對于初始的回歸框(l’, t’, r’, b’)，我們首先提取星型的表示并編碼，然后，我們學習4個距離縮放因子，(△l, △t, △r, △b)來縮放這個距離向量，這樣優化后的包圍框可以表示為(l, t, r, b) = (△l×l’,△t×t’, △r×r’, △b×b’)，更加接近gt。

3.4 VarifocalNet

加上上面的三個組件，然后去掉centerness分支，就得到了VarifocalNet，圖3顯示了VarifocalNet的結構，主干和FCOS一樣，區別就在于檢測頭上。定位子網絡需要進行包圍框的回歸和refine。

3.5 損失函數和推理

損失函數如下：

其中，bbox‘和bbox分別表示初始的和refine之后的預測包圍框，我們使用訓練的target的qi進行加權。

推理：推理就是直接圖像的前向傳播然后NMS去除冗余框。

4. 實驗

訓練細節：初始學習率0.01，使用線性warmup策略，warmup比例是0.1，使用了8個V100 GPU，batchsize為16。輸入圖像的最大尺寸為1333x800，數據增強方面只使用了水平翻轉。

4.1 消融實驗

4.1.1 Varifocal Loss

不同超參數(α，γ)以及損失加權的效果，如表2，效果最好的是γ=2，α=0.75。

4.1.2 每個組件的貢獻

每個組件的影響見表3：

4.2 和其他最先進方法的對比

4.3 通用性和優勢

和GFL進行了對比，將VFL用到其他的方法上看是否有效果：

—END—

論文鏈接：https://arxiv.org/abs/2008.13367

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 本站qq群704220115，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【论文解读】VarifocalNet：如何对候选框排序的最优方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。