最新目標(biāo)檢測論文，從檢測的骨干網(wǎng)絡(luò)設(shè)計出發(fā)（最近基于backbone的修改，貌似更有效！同比的由SCNet），效果直接SOTA！
論文地址：https://arxiv.org/pdf/2006.02334.pdf
Github地址（基于mmdet）:https://github.com/joe-siyuan-qiao/DetectoRS

Abstract：

一些現(xiàn)有的目標(biāo)檢測器已經(jīng)證明了，通過使用兩次觀察和思考的機制，能夠表現(xiàn)出優(yōu)秀的性能。 在本文中，我們探索了將這種機制用于目標(biāo)檢測的主干設(shè)計中。 在宏觀級別，我們提出了遞歸特征金字塔，它結(jié)合了從特征金字塔網(wǎng)絡(luò)到自下而上的骨干層的額外反饋連接。 在微觀層面上，我們提出了可切換的Atrous卷積，它以不同的atrous速率對特征進行卷積，并使用switch函數(shù)收集結(jié)果。 將它們組合在一起就是DetectoRS，這將大大提高目標(biāo)檢測的性能。 在COCO測試集上，DetectoRS達到了用于目標(biāo)檢測的54.7％的box AP，用于實例分割的47.1％的mask AP和用于全景分割的49.6％的PQ。

Introduction：

基于人類視覺系統(tǒng)的啟發(fā)，“兩次觀察與思考的機制”在目標(biāo)檢測任務(wù)中，被證明具有優(yōu)秀的表現(xiàn)。如上表所示，作者將這種設(shè)計理念在用于目標(biāo)檢測的神經(jīng)網(wǎng)絡(luò)主干設(shè)計中進行探索。 具體在宏觀和微觀兩個層面上都部署了該機制，從而，本文提出的DetectoRS大大提高了最新的物體檢測器HTC 的性能，同時保持了類似的推理速度。可以看出有了7.7個點的提升！

宏觀層面來說，本文提出的遞歸特征金字塔（RFP）建立在特征金字塔網(wǎng)絡(luò)（FPN）之上。通過將額外的反饋連接從FPN層合并到自下而上的骨干層，如上圖a所示。 將遞歸結(jié)構(gòu)展開為順序?qū)崿F(xiàn)，該主干網(wǎng)絡(luò)可以將圖像查看兩次或更多次。此外，RFP遞歸增強了FPN以生成越來越強大的表示形式。類似于深度監(jiān)督網(wǎng)絡(luò)，反饋連接將直接從檢測器頭接收梯度的功能帶回到自下而上的骨干網(wǎng)的低層，以加快訓(xùn)練速度并提高性能。我們提出的RFP實現(xiàn)了兩次思考的順序設(shè)計，其中自下而上的骨干網(wǎng)和FPN運行了多次，其輸出功能取決于前面步驟中的功能。

在微觀層面上，論文提出了可切換空洞卷積（SAC），它可將相同的輸入特征與不同的空洞率進行卷積，并使用切換功能來收集結(jié)果。上圖b顯示了SAC概念的圖示。開關(guān)功能在空間上是相關(guān)的，即，特征圖的每個位置可能具有不同的開關(guān)來控制SAC的輸出。為了在檢測器中使用SAC，我們將自下而上的主干網(wǎng)中的所有標(biāo)準(zhǔn)3x3卷積層都轉(zhuǎn)換為SAC，從而大大提高了檢測器性能。此外，在SAC中使用了一種新的權(quán)重鎖定機制，其中除了可訓(xùn)練的差異之外，不同圓環(huán)卷積的權(quán)重相同。

效果總結(jié)：
以ResNet-50 為骨干網(wǎng)絡(luò)的DetectoRS將HTC 分別提高了7.7％box AP和5.9％mask AP。 此外，骨干網(wǎng)絡(luò)為ResNeXt-101-32x4d 可實現(xiàn)最優(yōu)的54.7％box AP和47.1％mask AP。 以Wide-ResNet-41 [10]為骨干的DeepLabv3 + 中，DetectoRS為全景分割創(chuàng)造了49.6％PQ的新記錄。

Recursive Feature Pyramid（RFP）：

上圖（a）所示為FPN的經(jīng)典機構(gòu)
上圖（b）中的連接線為RFP提出的反饋連接方式
上圖（c）展示了RFP按順序展開的網(wǎng)絡(luò)結(jié)構(gòu)。具體來說，就是在經(jīng)過兩次FPN結(jié)構(gòu)的之間加了個反饋連接。其中，反饋連接為第一次FPN各層輸出經(jīng)過ASPP輸出與主干網(wǎng)絡(luò)的各層連接。最終的輸出為兩次FPN輸出結(jié)果的融合。接下來，具體介紹一下實現(xiàn)細節(jié)。

A.論文中的ASPP結(jié)構(gòu)：

在此模塊中，有四個并行分支，輸入特征x，然后將它們的輸出沿通道維連接在一起，以形成R的最終輸出。其中，三個分支使用空洞率大小不同的卷積層，后跟ReLU層， 輸出通道數(shù)為1 /4輸入通道數(shù)。 最后一個分支使用全局平均池化層壓縮特征，然后使用1x1卷積層和ReLU層將壓縮后的特征轉(zhuǎn)換為1 / 4大小（逐通道）的特征。 最后，四個分支結(jié)果進行拼接輸出。三個分支中的卷積層具有以下配置：卷積核大小= [1、3、3],空洞率= [1、3、6]，填充= [0、3、6]

B.ASPP輸出與主干網(wǎng)絡(luò)反饋連接結(jié)構(gòu)：

以ResNet主干網(wǎng)絡(luò)為例，其具有四個階段，每個階段都由幾個相似的殘差塊組成。 我們只對每個階段的第一個殘差塊進行更改，如圖3所示。將輸入修改為Input與反饋連接的RFP Features。其中，RFP Features添加了另一個卷積層，其內(nèi)核大小設(shè)置為1。該層的權(quán)重初始化為0以確保當(dāng)我們從預(yù)訓(xùn)練權(quán)值文件加載權(quán)重時，該層的權(quán)重沒有任何實際影響。

C.兩次FPN輸出特征融合結(jié)構(gòu)：

如圖5所示，對第二層FPN輸出特征進行1X1卷積核Sigmoid函數(shù)，生成注意力權(quán)重。最后對兩次FPN輸出特征進行權(quán)重融合。

Switchable Atrous Convolution：

SAC的總體架構(gòu)如上圖所示，它具有三個主要組件：在SAC組件之前和之后附加了兩個全局上下文模塊。 應(yīng)用方式為，主干網(wǎng)絡(luò)中的3X3標(biāo)準(zhǔn)卷積都替換為SAC。

A.Switchable Atrous Convolution結(jié)構(gòu)：

公式如（4）所示，對于一個空洞率為1的標(biāo)準(zhǔn)卷積轉(zhuǎn)化為SAC結(jié)構(gòu)，就是切換函數(shù)S（x）對兩個空洞率大小不一致卷積的加權(quán)和。如圖中所示：切換函數(shù)S（x）的實現(xiàn)方式為，5X5的GAP加上1x1卷積。兩個卷積的空洞率分別為1和3。

B,鎖定機制：

目標(biāo)檢測器通常使用預(yù)訓(xùn)練權(quán)值來初始化權(quán)重。 但是，對于從標(biāo)準(zhǔn)卷積層轉(zhuǎn)換而來的SAC層，缺少較大atrous率的權(quán)重。 由于可以用相同的權(quán)重以不同的空洞率粗略地檢測出不同尺度的目標(biāo)，因此自然地用預(yù)訓(xùn)練模型中的權(quán)重來初始化丟失的權(quán)重是很自然的。所以，本文提出了一種鎖定機制，即將一個卷積權(quán)重設(shè)置為w，將另一個卷積權(quán)重設(shè)置為w + dw。 其中w來自預(yù)訓(xùn)練的權(quán)值，并且dw初始化為0。當(dāng)固定dw = 0時，我們觀察到AP下降了0：1％。 但是沒有鎖定機制的單獨dw會使AP降低很多。

C.Global Context結(jié)構(gòu)：

使用原因源于大量實驗結(jié)果的對比，其結(jié)構(gòu)與SE模塊很像，兩個主要區(qū)別是：
1）我們只有一個卷積層，沒有任何非線性層；
2）輸出被加回到主流上，而不是乘以 輸入由Sigmoid計算的重新校準(zhǔn)值。

Experiments：

1.Ablation Studies：RFP+SAC可以提升7個點！

2.Object Detection COCO基準(zhǔn)：54.7 AP

3.Instance Segmentation：47.1 AP

4.Panoptic Segmentation：49.6PQ

總結(jié)

以上是生活随笔為你收集整理的DetectoRS-最强目标检测网络 54.7AP | Detecting Objects with Recursive Feature Pyramid and Switchable Atrous的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。