本文授權(quán)轉(zhuǎn)載自機(jī)器之心

未經(jīng)許可禁止二次轉(zhuǎn)載

天下沒(méi)有免費(fèi)的午餐？李沐等研究者在一份名為《Bag of Freebies for Training Object Detection Neural Networks》的論文中推翻了這一定理。他們?cè)诓粻奚评硭俣鹊那疤嵯聦⒛繕?biāo)檢測(cè)絕對(duì)精度提升了 5%。

目標(biāo)檢測(cè)無(wú)疑是計(jì)算機(jī)視覺(jué)領(lǐng)域最前沿的應(yīng)用之一，吸引了各個(gè)領(lǐng)域諸多研究者的目光。最前沿的檢測(cè)器，包括類(lèi)似 RCNN 的單（SSD 或 YOLO）或多階神經(jīng)網(wǎng)絡(luò)都是基于圖像分類(lèi)骨干網(wǎng)絡(luò)，如 、、Inception 或 MobileNet 系列。

然而，由于模型容量和訓(xùn)練復(fù)雜度相對(duì)較高，目標(biāo)檢測(cè)受到的關(guān)注相對(duì)較少，從最近的訓(xùn)練微調(diào)研究中獲益也較少。更糟糕的是，不同的檢測(cè)網(wǎng)絡(luò)在沒(méi)有明確的初始化、數(shù)據(jù)預(yù)處理及優(yōu)化分析的情況下就開(kāi)始挑選自己的訓(xùn)練流程，導(dǎo)致在采用最新的技術(shù)改進(jìn)圖像分類(lèi)任務(wù)時(shí)出現(xiàn)了大量的混亂。

本文的研究者致力于探索能夠在不造成額外計(jì)算成本的情況下有效提升流行的目標(biāo)檢測(cè)網(wǎng)絡(luò)性能的方法。他們首先在目標(biāo)檢測(cè)上探索了一種混合技術(shù)。與《mixup: Beyond Empirical Risk Minimization》不同，本文的研究者認(rèn)識(shí)到了多目標(biāo)檢測(cè)任務(wù)的特殊性質(zhì)有利于實(shí)現(xiàn)空間不變的變換，因此提出了一種用于目標(biāo)檢測(cè)任務(wù)的視覺(jué)相干（visually coherent）圖像混合方法。接下來(lái)，他們探討了詳細(xì)的訓(xùn)練流程，包括學(xué)習(xí)率調(diào)度、權(quán)重衰減和同步 BatchNorm。最后，他們探索了其訓(xùn)練微調(diào)的有效性，方法是逐漸將這些微調(diào)疊加，以訓(xùn)練單或多階段目標(biāo)檢測(cè)網(wǎng)絡(luò)。

本文的主要貢獻(xiàn)如下：

• 首次系統(tǒng)地評(píng)估了不同目標(biāo)檢測(cè)流程中應(yīng)用的多種訓(xùn)練啟發(fā)式方法，為未來(lái)的研究提供了有價(jià)值的實(shí)踐指導(dǎo)。

• 提出了一種為訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)而設(shè)計(jì)的視覺(jué)相干圖像混合方法，而且證明該方法可以有效提升模型的泛化能力。

• 在不修改網(wǎng)絡(luò)架構(gòu)和損失函數(shù)的情況下，在現(xiàn)有模型的基礎(chǔ)上實(shí)現(xiàn)了 5% 的絕對(duì)精度性能提升。而且這些提升都是「免費(fèi)的午餐」，無(wú)需額外的推理成本。

• 擴(kuò)展了目標(biāo)檢測(cè)數(shù)據(jù)增強(qiáng)領(lǐng)域的研究深度，顯著增強(qiáng)了模型的泛化能力，減少了過(guò)擬合問(wèn)題。這些實(shí)驗(yàn)還揭示了可以在不同網(wǎng)絡(luò)架構(gòu)中一致提高目標(biāo)檢測(cè)性能的良好技術(shù)。

所有相關(guān)代碼都是開(kāi)源的，模型的預(yù)訓(xùn)練權(quán)重可以在 GluonCV Toolkit 中獲取。

Gluon CV Toolkit 鏈接：https://github.com/dmlc/gluon-cv

圖 1：Bag of Freebies 在不犧牲推理速度的前提下，顯著提高了目標(biāo)檢測(cè)器的性能。

論文：Bag of Freebies for Training Object Detection Neural Networks

論文鏈接：https://arxiv.org/pdf/1902.04103.pdf

摘要：與針對(duì)更好的圖像分類(lèi)模型所取得的巨大研究成就相比，訓(xùn)練目標(biāo)檢測(cè)器的努力在普及性和普遍性方面都存在不足。由于網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化目標(biāo)要復(fù)雜得多，針對(duì)特定檢測(cè)算法專(zhuān)門(mén)設(shè)計(jì)了不同的訓(xùn)練策略和流程。在本文中，我們探索了通用的微調(diào)，這些微調(diào)有助于在不犧牲推理速度的前提下將當(dāng)前最佳的目標(biāo)檢測(cè)模型提高到一個(gè)新水平。我們的實(shí)驗(yàn)表明，這些「freebies」可以提高 5% 的絕對(duì)精度。

3. 技術(shù)細(xì)節(jié)

我們提出了一個(gè)用于目標(biāo)檢測(cè)的視覺(jué)相干圖像混合方法，還介紹了為系統(tǒng)提升模型性能而設(shè)計(jì)的數(shù)據(jù)處理和訓(xùn)練調(diào)度器。

3.1 用于目標(biāo)檢測(cè)的視覺(jué)相干圖像混合

Zhang 等人在《mixup: Beyond Empirical Risk Minimization》中引入的混合概念被證明在分類(lèi)網(wǎng)絡(luò)中減少對(duì)抗干擾方面非常成功。他們提出的混合算法中混合比例的分布來(lái)自β分布（a = 0.2, b = 0.2）。大多數(shù)的混合幾乎都是這種β分布的噪聲。受到 Rosenfeld 等人啟發(fā)式實(shí)驗(yàn)的激勵(lì)，我們關(guān)注自然共現(xiàn)的目標(biāo)呈現(xiàn)，這種呈現(xiàn)在目標(biāo)檢測(cè)中扮演重要角色。半對(duì)抗目標(biāo)補(bǔ)丁移植方法不是傳統(tǒng)的攻擊方法。通過(guò)應(yīng)用更復(fù)雜的空間變換，我們引入了遮擋，即在自然圖像呈現(xiàn)中常見(jiàn)的空間信號(hào)干擾。

我們的實(shí)驗(yàn)中繼續(xù)增加了 mixup 中使用的混合比例，由此產(chǎn)生的幀中的目標(biāo)更有活力，也更符合自然表現(xiàn)，類(lèi)似于低 FPS 電影中常見(jiàn)的過(guò)渡幀。圖像分類(lèi)和此類(lèi)高比例 mixup 的視覺(jué)對(duì)比如圖 2 和圖 3 中所示。我們還使用了保留幾何形狀的對(duì)齊方式來(lái)進(jìn)行圖像混合，以避免在初始步驟中扭曲圖像。我們還選擇了視覺(jué)相干性更強(qiáng)的β分布，a >= 1 和 b >= 1，而不是按照?qǐng)D 4 所示的圖像分類(lèi)中相同的做法。

我們還通過(guò)實(shí)驗(yàn)利用 ?網(wǎng)絡(luò)在 Pascal VOC 數(shù)據(jù)集上測(cè)試了經(jīng)驗(yàn)混合比分布。表 1 顯示了采用檢測(cè)混合方法的實(shí)際改進(jìn)情況。α和β都等于 1.5 的β分布略優(yōu)于 1.0（相當(dāng)于均勻分布），也優(yōu)于固定均勻混合。

表 1：在 Pascal VOC 2007 測(cè)試集上用 YOLOv3 驗(yàn)證多種混合方法的有效性。加權(quán)損失表示總體損失是多個(gè)比例為 0 比 1 的目標(biāo)的損失之和，該比例是基于它們?cè)谠加?xùn)練圖像中所屬的圖像混合比例算出的。

4. 實(shí)驗(yàn)

為了對(duì)比所有微調(diào)方法對(duì)目標(biāo)檢測(cè)結(jié)果的改進(jìn)，我們分別使用 YOLOv3 和 Faster-RCNN 作為單或多階段 pipeline 的代表。為了適應(yīng)大規(guī)模訓(xùn)練任務(wù)，我們使用 Pascal VOC 對(duì)精調(diào)技巧做評(píng)估，使用 COCO 數(shù)據(jù)集對(duì)總體性能提升和泛化能力做驗(yàn)證。

圖 7：在 COCO 2017 驗(yàn)證集上利用 BoF 得到的檢測(cè)結(jié)果示例。

圖 8：YOLOv3 在 COCO 數(shù)據(jù)集 80 個(gè)類(lèi)別上的 AP 分析。紅線表示使用 BoF 的性能提升，藍(lán)線表示性能下降。

圖 9：Faster-RCNN resnet 50 在 C0C0 數(shù)據(jù)集 80 個(gè)類(lèi)別上的 AP 分析。紅線表示使用 BoF 的性能提升，藍(lán)線表示性能下降。

表 2：對(duì) YOLOv3 的訓(xùn)練精調(diào)，在 Pascal VOC 2007 測(cè)試集 416×416 圖像上評(píng)估。

表 3:對(duì) Faster-RCNN 的訓(xùn)練精調(diào)，在 Pascal VOC 2007 測(cè)試集 600 × 1000 圖像上評(píng)估。

表 4:利用 bag of freebies（BoF) 方法取得的進(jìn)步，在 MS COCO 2017 驗(yàn)證集上評(píng)估。

表 5：預(yù)訓(xùn)練圖像分類(lèi)和檢測(cè)網(wǎng)絡(luò)混合方法影響的組合分析。

表 6：預(yù)訓(xùn)練圖像分類(lèi)和檢測(cè)網(wǎng)絡(luò)混合方法影響的組合分析。?

?掃描上方二維碼關(guān)注哦

總結(jié)

以上是生活随笔為你收集整理的李沐等将目标检测绝对精度提升 5%，不牺牲推理速度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。