Introduction & problem

目前主流的SSD,RetinaNet,FCOS的目標檢測主要的pipleline就是在多尺度的特征圖上做分類和回歸，而這種single-point（直接對特征圖點），并不能有足夠多的信息去完整表達實例以及實例的邊界信息。 之前也有很多work比如說roialign 或者deformable Conv 也是利用了bounding box 里邊的其他的信息，但是往往許多是冗余的，不是顯式的或者不直接。之前沒有工作是顯式的直接提取邊界的特征信息。

自己的理解：之前就是預測出來的框直接是結果了，只是用了特征圖上該點的信息。那么輸出出來的這個框中的有效信息還能不能再利用呢？顯然是可以的，但是怎么去利用是一個關鍵，對于細節(jié)的定位來說去找到邊界的信息直觀上是很重要的，然后拿到邊界的特征信息再作用回生成該框的特征圖的對應點，就相當于對信息的又一次利用，再去那這個加強后的點去預測。這個過程就對應于文章的singer point inhancement.

Motivation

首先通過FCOS為pipleline做了一系列的實驗證實，通過對bounding box區(qū)域特征的提取enhancement singer point的方法確實work,如下圖。

增強的方法就對bounding box 進行采樣，然后根據(jù)不同的采樣方法進行特征提取（取最大值）通過add操作到singer point,就不僅僅有之前網(wǎng)絡提取的特征，還有對應的bounding box的更加細節(jié)特征，發(fā)現(xiàn)（d）所示只對邊界中心點進行提取，采樣點很少的情況下，也能夠達到和提取整個region特征點的效果一樣。

沿著這個思路，present 了一個Border Align Moudle，提取邊界點的峰值點加強于singer point，如第一幅圖的（a）

Idea

• 首先，使用FCOS一樣的流程，Coarse Cls Score and Coarse Box Reg 就是之前網(wǎng)絡輸出粗糙的分類以及回歸參數(shù)。有了回歸參數(shù)就相當于有了對應的于該點的Anchor框。將這個回歸參數(shù)fed到提出的Border alignment Moudle 里。
• Border alignment Moudle 為了保證實驗的嚴謹性，只是用了1X1 Conv 進行升維，將通道數(shù)上升至5C，每C個通道表示原始的singer point,left ,top,right,bottom五個feature sensitive map。然后對應的BorderAlign模塊取出之前FCOS生成的每一個點生成的回歸參數(shù)，找到對應anchor的邊界
• 下圖就是對應的channel對應5C的sensitive圖，為啥時5C作者后邊也給了對比實驗。
• 對于每一個singer point,分別對應每一個邊界取對應該邊界的Channel上去進行采樣N個點。然后做Channel wise maxpooling，那么每一個邊界的輸出相當于是1x1xC,分別對應origin,左右上下五個通道，然后將五個得到的結果concat之后放到singer point對應的位置，所以輸出也是WH5C。然后再1*1 Conv降維。就和之前的特征圖一樣了，這一個流程就相當于是做一次特征圖的增強了，對應的singer point就包含了對應chanor 邊框的extrame點的feature。
• 損失函數(shù)：就是兩次檢測的回歸分類的loss之和。

?

Experiments

驗證該模塊對于分類以及回歸的各自的影響，從表格中看對于Iou高的情況更加work，說明邊框的信息更加能夠對于Iou的提升。

第二個消融實驗室采樣點個數(shù)的選取。

第三個是對于升維的卷積通道到底是5*C還是C一個探討

第四個是對于chanel wise maxpooing的驗證

第五個就是關于bounding box中各種singer point inhancement的方式比較

第六個實驗就是模塊work對iou的影響，可以看出對于iou閾值大的情況提升還是非常明顯

對模型的general驗證

state of the art 方法展示

Conclusion

提出了一種目標檢測算是新的思路，通過對邊界框信息的提取能夠能加有效的提取目標，也提出了一種全新的邊界提取模塊，也是一種泛化性能好并且復雜度很低的網(wǎng)絡。

總結

以上是生活随笔為你收集整理的BorderDet（论文解读）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。