論文：An Analysis of Scale Invariance in Object Detection – SNIP

論文鏈接：An Analysis of Scale Invariance in Object Detection - SNIP?arxiv.org

1. Background & Related Work

1.1 簡介

這篇文章主要的研究點是目標檢測中的小物體問題。小物體檢測一直是目標檢測中的難題，做過實驗的同學應該都知道數據集中small類的AP基本是最低的，主要原因是兩個，一個就是CNN網絡提取到的語義化特征和分辨率之間的矛盾；另一個就是目前的目標檢測都采用了Faster RCNN的Anchor思想，小物體有時候即使全部在Anchor內，也容易因為小面積導致IoU過低。Anchor本質上是大小固定的box，過小物體會出現IoU過低，過大物體也容易出現IoU過低，結果就是容易漏檢……

文章分析了小尺度與預訓練模型尺度之間的關系, 并且提出了一個和 Cascade R-CNN 有異曲同工之妙的中心思想:要讓輸入分布接近模型預訓練的分布(本文主要探討尺度的分布不一致帶來的問題). 之后利用分析的結論, 提出了一個多尺度訓練(MST)的升級版:Scale Normalization for Image Pyramids (SNIP).

1.2 分類和檢測的難度差異

使用深度網絡后, 分類任務已經做到了誤差率2%(ImageNet). 為什么在COCO上才62%? 這么懸殊的距離主要因為檢測數據集中包含了大量小物體, 他們成了絆腳石.

可以看到，COCO 90%的Instance的大小都在0.472以下，和ImageNet差別非常大，在 ImageNet (classification) vs COCO (detection), 其中等尺度目標在圖像中的占比分別是 0.554 and 0.106 respectively。所以在COCO 中大部分目標在圖像中小于 1% 的面積。更糟糕的是在 COCO 最小最大10%的目標在圖像中的占面積比是 0.024 and 0.472 respectively(導致尺度相差近20倍)。

這一方面說明了類似COCO這樣的數據集中存在著大量的小物體，另一方面也說明了ImageNet預訓練的模型在遷移到樣本大小差異較大的COCO中時很可能產生一定的domain-shift偏差。因此作者產生這樣的motivation：

1. 現在檢測網絡為了提高對小目標的效果，都采用upsample的方法，這個真的是必要的嗎？我能不能直接用低分辨率的圖像不做upsample來訓練網絡(需要調小strides)？

2. 能不能通過挑選樣本的方式來增加網絡效果的，比如我upsample調整了大小以后，只用64x64~256x256的ground truth來訓練？用所有的gt來訓練真的更好嗎？

1.3 各種對付尺度變化的方法

實際上，現在有很多針對小目標的措施和改良，包括：

1. 使用dilated/strous或者deformable這類特殊的卷積來提高檢測器對分辨率的敏感度

2. 最常用的，upsample來rezie網絡輸入圖像的大小

3. 使用FPN這種把淺層特征和深層特征融合的，或者最后在預測的時候，使用淺層特征和深層特征一起預測；也有比較直接地在淺層和深層的feature map上直接各自獨立做預測的；這個也就是我們常說的尺度問題(scales)

4. 多尺度訓練/測試

1.4 本文的主要工作：

1. 通過實驗驗證了upsampling對于提高小目標檢測的效果

2. 提出了一種Scale Normalization for Image Pyramids的方法

2. 探究性實驗

2.1 分析現存的解決方法淺層小物體, 深層大尺度

例子: SDP, SSH, MS-CNN.

缺點: 在淺層預測小物體時, 是以犧牲語意抽象性來實現的.特征融合/特征金字塔

> 盡管Feature Pyramids 有效的綜合了多卷積層特征圖信息，但是對于very small/large objects 檢測效果不是很好。

例子: FPN, Mask-RCNN, RetinaNet

缺點: 若一個25x25的物體, 即使融合上采樣x2后也仍然只有50x50. 距離預訓練模型224x224還是有很大差距.多尺度分類問題

> 借由分類模型的實驗, 探索檢測中domain-shift帶來的影響. 檢測中的Domain-shift主要來自于訓練/測試尺度不匹配:

訓練800x1200. 因為顯存有所限制, 不能更大了 ，測試1400x2000. 為了提升小物體檢測性能

2.2 實驗一

作者在這一步主要探究的是低分辨率圖像+特定的改良網絡結構是否會有比較好的效果。

他訓練了三個網絡：

這三個網絡：CNN-B使用高分辨率圖像訓練，分類經過降采樣和upsample的圖片

CNN-S使用低分辨率圖像訓練，分類經過降采樣的圖片

CNN-B-FT使用高分辨率圖像訓練，然后在低分辨率圖像上fine-tune，分類經過降采樣和upsample的圖片

2.2.1 CNN-B: 原圖訓練 / 偽高清測試

CNN-B是一個在224x224尺度上訓練的模型, 其stride=2. 我們將測試圖片降采樣到 [48x48, 64x64, 80x80, 96x96,128x128], 然后再放大回224x224用于測試. 結果如圖:

結論: 訓/測尺度(實際上是清晰度)差距越大, 性能跌的越厲害. 因為不用與訓練尺度相互匹配的尺度進行測試, 會使得模型一直在sub-optimal發揮.

2.2.2 CNN-S: 低清訓練 / 低清測試

CNN-S是根據上述原則, 我們做一個訓/測尺度匹配的實驗. 選取48x48作為訓/測尺度. 并且stride=1, 因為如果不修改stride的話很容易就卷沒了. 模型架構變了, 于是針對與上文CNN-S的可比較性問題, 作者說:

> After-all, network architectures which obtain best performance on CIFAR10 [17] (which contains small objects) are different from ImageNet.

根據結果看到, 訓/測尺度匹配后, 性能大幅提升. 同樣將48換成96也得到一致的結果.

2.2.3 CNN-B-FT: 原圖訓練, 偽高清微調 / 偽高清測試

我們很容易想到的另一種方法就是, 為了在偽高清尺度測試, 我們就把由原圖訓練的CNN-B用偽高清去做微調. 最終CNN-B-FT的結果甚至好于CNN-S.

2.2.4 分析與結論

本質上，其實三個網絡都是在對小目標進行分類，不過CNN-S因為本身網絡結構就不同，輸入比較小，不需要經過upsample。最后結果，CNN-B-FT準確率最高，CNN-S其次，作者認為這是因為模型從高分辨率圖像中得到了充分的學習。

這就說明了，訓練樣本和輸入樣本如果分辨率存在太大誤差，performance必然下降。與其為了小目標而專門使用改變網絡結構(CNN-S)，直接upsample和使用高分辨率圖像預訓練得到的模型是更好的選擇(CNN-B-FT)。

可以這樣理解作者的三個實驗：ImageNet物體大、分辨率高，而COCO目標都很小，直接遷移會有問題，作者在試圖探究如何進行遷移。降采樣后的小圖像數據集其實對應的是COCO數據集普遍存在的小目標的情況，試圖模仿COCO數據集。因此三個網絡的含義應該是：CNN-B，ImageNet預訓練后的參數直接用來給COCO這種分辨率低的數據集用；CNN-S，不用ImageNet這種高分辨率的數據集做訓練，我把網絡就設置成適合COCO這類數據集的，訓練和測試都用分辨率低的數據集；CNN-B-FT，ImageNet人家都訓練好了，不用白不用，但是用之前，先用低分辨率數據集做一下fine-tune改良效果。

從CNN-B-FT的實驗可以得出:在高清訓練集學出來的模型依然有辦法在低清晰度的圖片上做預測. 直接用低清晰度圖片微調好過將stride降低重新訓練一個網絡推廣到目標檢測上, 當尺度不同時, 我們可以選擇更換在ImageNet上pre-trained網絡架構.

2.3 實驗二，分析尺度變化

這個是只檢測小目標的不同檢測器的mAP值，然后800all和1400all分別是圖像統一resize到短邊為800、1400的大小，然后使用所有樣本進行訓練的模型；1400<80px是upsample后只用小目標進行訓練的模型……而MST是隨機在低分辨率和高分辨率之間采樣進行訓練的模型

作者通過這個實驗說明如下：upsample確實一定程度上可以提高性能，但是并不顯著，這是因為Upsample提高了小目標的檢測效果，但會讓本來正常大小或者本來就大的目標過大，性能下降。

訓練網絡需要使用所有樣本，樣本損失會導致性能下降

隨機在分辨率之間采樣的效果也不好，雖然你的樣本滿足了多尺度條件，但是還有其它原因限制了性能。

2.3.2 總結

這是因為CNN網絡沒有尺度不變形，沒有把scale這個隱藏變量學習到的機制，只能通過大量參數來強行記憶不同scale的物體。

3.IPN與SNIP

作者的主要思路就是在訓練和反向傳播更新參數時，只考慮哪些在指定的尺度范圍內的目標，由此提出了一種特別的多尺度訓練方法，即SNIP(Scale Normalization for Image Pyramids)。SNIP是MST的升級版. 只有當這個物體的尺度與預訓練數據集的尺度(通常224x224)接近時, 我們才把它用來做檢測器的訓練樣本.

還基于一個假設, 即不同尺度的物體, 因為多尺度訓練, 總有機會落在一個合理的尺度范圍內. 只有這部分合理尺度的物體參與了訓練, 剩余部分在BP的時候被忽略了

作者在訓練時劃分了三個尺度，對應三種不同分辨率的圖像。每個分辨率i下的RoI都有其指定范圍，如果gt的box大小在這個范圍內，就被標記做valid，否則就被標記為invalid。

在生成Anchor并給Anchor分配label的時候，檢查該Anchor是否和某個invalid gt box的overlap超過0.3，若存在，則該Anchor會被視作invalid Anchor；若不存在，則會被視作valid Anchor……這些invalie anchor在train的時候都會被無效化，也不會加入到反向傳播的過程中從而對參數產生影響，相當于在每個分辨率上，只對大小合適的目標進行訓練，這就符合了作者設計的初衷。相應的，在inference時候，如果區域面積在那個分辨率的指定范圍外，也同樣會被拋棄，最后，再進行rescale和NMS……

思想很簡單，但是效果很好，實現起來要考慮的因素還是比較多的：

1. 作者使用的是Deformable RFCN detector而不是常見的一般卷積，當然受制于實驗自身，需要作出一定的改變。

2. 作者使用的網絡結構是Dual path networks(DPN)和ResNet-101，由于需要內存很大，為了適應GPU內存，作者對圖像進行了采樣，具體方法是選取一個1000x1000的包含最多目標的區域作為子圖像，然后重復該步驟直到所有目標都被選取

3. 作者為了提升RPN的效果，嘗試了使用7個尺度，連接conv4和conv5的輸出等等；當然還有其他一些設置，這里就不詳細提了.

總結

以上是生活随笔為你收集整理的python中的snip用法_简单说说SNIP的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。