?PaperWeekly 原創(chuàng) ·?作者｜羅志鵬

單位｜深蘭北京AI研發(fā)中心

研究方向｜物體檢測(cè)

2020 年 6 月 19 日，堪稱計(jì)算機(jī)視覺(jué)領(lǐng)域「奧斯卡」的國(guó)際頂會(huì) CVPR 2020 首次以線上形式完美落幕。各個(gè) workshop 也都公布了各自舉辦挑戰(zhàn)賽的結(jié)果，其中第三屆 UG²+ 挑戰(zhàn)賽公布了最終榜單，來(lái)自深蘭科技北京 AI 研發(fā)中心的 DeepBlueAI 團(tuán)隊(duì)斬獲了「霧天條件下物體檢測(cè)」賽道的冠軍。我們可以通過(guò)這篇文章來(lái)了解一下? DeepBlueAI 團(tuán)隊(duì)的解決方案。

?

UG2+介紹

在許多新興的 AI 應(yīng)用領(lǐng)域，如無(wú)人機(jī)、自動(dòng)/輔助駕駛、搜索和救援機(jī)器人、環(huán)境監(jiān)測(cè)、安全監(jiān)視、運(yùn)輸和檢查，都依賴于計(jì)算機(jī)視覺(jué)的室外環(huán)境感知與理解。這類系統(tǒng)涉及任務(wù)比較廣泛，對(duì)于目標(biāo)任務(wù)，包含檢測(cè)、識(shí)別、分割、跟蹤和解析。

雖然這些任務(wù)在固定的環(huán)境和條件下取得了一定的成果，但是如果在沒(méi)有條件限制的環(huán)境中（如移動(dòng)平臺(tái)、惡劣天氣、光照條件差等），視覺(jué)感知和理解算法的性能將受到很大的影響，因此主辦方根據(jù)不同的環(huán)境條件，舉辦了相應(yīng)的挑戰(zhàn)賽。

?

UG²+Prize Challenge 是 CVPR 會(huì)議下的一個(gè) Workshop，繼第一屆（CVPR’18）和第二屆（CVPR’19）的成功舉辦，主辦方在 CVPR 2020 開(kāi)展了第三屆 UG²+Prize Challenge，該挑戰(zhàn)賽包含以下兩個(gè)賽道：

• Track?I Object Detection In Poor Visibility Environments

• Track II Flatcam For Faces: Enhancement, Reconstruction, And Verification

其中賽道 1 又分為三個(gè)子任務(wù)：

• (Semi-) Supervised Object Detection in Haze Conditions

• (Semi-) Supervised Face Detection in Low Light Conditions

• Sea Life Detection in the Underwater Condition

DeepBlueAI 團(tuán)隊(duì)在賽道 1 的第一個(gè)子任務(wù)取得了冠軍的成績(jī)。

賽題介紹

Sub-Track 1 :（Semi-）Supervised Object Detection in Haze Conditions 主辦方提供了一組交通監(jiān)控中采集的霧天圖像，總計(jì) 4332 張圖片，并將圖中的汽車、巴士、自行車、摩托車、行人這幾個(gè)類別進(jìn)行了標(biāo)注，總計(jì) 41113 個(gè)標(biāo)注框。

?

評(píng)測(cè)指標(biāo)：類似于?MS COCO?數(shù)據(jù)集的評(píng)估方案，評(píng)測(cè)將使用 AP^IOU=0.50?進(jìn)行評(píng)估。

賽題特點(diǎn) & 主要工作

?

在這次挑戰(zhàn)賽中，主要的難點(diǎn)包含以下幾個(gè)方面：

1. 可視條件差、圖像模糊

可視條件差是這個(gè)賽道核心問(wèn)題，霧天收集的數(shù)據(jù)特點(diǎn)就是能見(jiàn)度低，圖像模糊，遠(yuǎn)處的物體不容易被檢測(cè)與識(shí)別，容易造成大量的目標(biāo)漏檢、誤檢，從而導(dǎo)致 mAP 效果下降。

2. 圖片數(shù)量少，數(shù)據(jù)分布不平衡

總共只有 4000 多張帶標(biāo)注的圖片，增加了訓(xùn)練難度，再加上數(shù)據(jù)分布的不均衡，很難劃分一個(gè)具有代表性的驗(yàn)證集，很可能導(dǎo)致模型不具有泛化能力，在新的測(cè)試集上表現(xiàn)會(huì)不如預(yù)期。

?

檢測(cè)器

我們先通過(guò)常規(guī)檢測(cè)所累積的經(jīng)驗(yàn)構(gòu)造出一個(gè) baseline：

Baseline = Backbone + DCN [1] + FPN [2] + Cascade RCNN [3]

?

這套 pipeline，也是去年冠軍團(tuán)隊(duì)所使用的方法，在這里我們沿用這套算法，以此為基礎(chǔ)進(jìn)行改進(jìn)。

通過(guò)觀察實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，模型誤檢情況遠(yuǎn)多于漏檢，經(jīng)常出現(xiàn)一個(gè)目標(biāo)有多個(gè)檢測(cè)結(jié)果，并且這些檢測(cè)結(jié)果之間無(wú)法使用 nms 去除。歸納為兩方面原因。

1. 模型自身能力不足，回歸分類能力差，導(dǎo)致大量誤檢；

2. 負(fù)樣本不足，由于樣本個(gè)數(shù)限制，模型會(huì)在一些模棱兩可的地方檢測(cè)出置信度較高的結(jié)果，無(wú)法通過(guò)閾值去處理這些誤檢結(jié)果。

根據(jù)目前結(jié)果做了一下幾個(gè)方面的改進(jìn)：

1. Double Heads [6]

?

當(dāng)需要提升模型能力時(shí)，有 2 個(gè)比較簡(jiǎn)單高效的方法，一是使用更強(qiáng)的 backbone，二是提高 RCNN 中分類檢測(cè) head 的能力，通過(guò)實(shí)驗(yàn)比對(duì)，我們最終使用了 double head 的結(jié)構(gòu)（如下圖所示）。

▲ Double Heads

?

Double head 采用分而治之的思想，將原始 head 解耦為 2 個(gè)獨(dú)立的分支，針對(duì)不同的需求設(shè)計(jì) head 結(jié)構(gòu)，通過(guò)對(duì)比實(shí)驗(yàn)可發(fā)現(xiàn)：使用 FC-head 做分類，Conv-head 做回歸，可以得到最好的效果。

因?yàn)榉诸惛嗟匦枰Z(yǔ)義信息，所以使用全連接層。而坐標(biāo)框回歸需要更多的空間信息，因此使用卷積層。當(dāng)然這種方法會(huì)增加計(jì)算量。在平衡速度和準(zhǔn)確率的情況下，最終我們選擇了 3 個(gè)殘差 2 個(gè) Non-local 共 5 個(gè)模塊。

2. FFA-Net

期初根據(jù)賽題的描述和對(duì)數(shù)據(jù)的分析，我們團(tuán)隊(duì)首先對(duì)圖片進(jìn)行去霧處理，然后再進(jìn)行檢測(cè)。因?yàn)楝F(xiàn)在有許多比較成熟的去霧算法，這些算法也不會(huì)更改物體的位置，所以標(biāo)注完全不用更改。抱著這個(gè)想法我們開(kāi)始進(jìn)行對(duì)比實(shí)驗(yàn)，來(lái)驗(yàn)證去霧算法的有效性。

首先使用了何愷明比較經(jīng)典的暗通道先驗(yàn)去霧算法，但根據(jù)前兩輪的得分，以及可視化結(jié)果我們放棄了這個(gè)方法。

之后我們又在 Faster-rcnn 相對(duì)較小的模型上測(cè)試了基于深度學(xué)習(xí)的去霧算法，GCANet、FFANet，用相應(yīng)去霧算法的輸出當(dāng)做 Faster-rcnn 的輸入。

▲ FFA-Net 處理訓(xùn)練集結(jié)果

?

對(duì)比結(jié)果如下表所示：

根據(jù)結(jié)果來(lái)看 GCANet 所處理的結(jié)果得分較差，但 FFANet 和原數(shù)據(jù)集得分比較類似，雖然沒(méi)得到相應(yīng)的提升，但卻是一個(gè)很好的數(shù)據(jù)增強(qiáng)方法，因?yàn)轭愃七@種圖像模糊的數(shù)據(jù)集上，像素級(jí)別的數(shù)據(jù)增強(qiáng)在此數(shù)據(jù)集上很容易導(dǎo)致圖片原始結(jié)構(gòu)的破壞，從而導(dǎo)致 AP 效果下降。

現(xiàn)在我們得到一個(gè)切實(shí)可行的數(shù)據(jù)增強(qiáng)方式，所以將 FFA-Net 的處理結(jié)果與原始圖像合并作為新的訓(xùn)練集進(jìn)行訓(xùn)練。

3. Augmentation

因?yàn)閳D片總體數(shù)量較少，并且有較嚴(yán)重的數(shù)據(jù)不平衡情況，所以合理的數(shù)據(jù)增強(qiáng)方式會(huì)比增加模型復(fù)雜度之類的方法更為直接有效。

實(shí)驗(yàn)細(xì)節(jié)：

我們將 Cascade rcnn + DCN + FPN 作為我們的 baseline

將原有 head 改為 Double head

將 FFA-Net 處理過(guò)的數(shù)據(jù)集與原數(shù)據(jù)集合并訓(xùn)練

Augmentation

Testing tricks

?

實(shí)驗(yàn)結(jié)果（本地驗(yàn)證集）

?

由于最終結(jié)果以 docker 形式提交，為了保證模型效果，并沒(méi)有采用多模型或者多尺度融合。因?yàn)槿诤鲜褂?soft_nms，很多框并不會(huì)去掉只是變?yōu)榈头纸Y(jié)果。尤其在這個(gè)數(shù)據(jù)集上，模型誤檢較多，多模型或多尺度融合后會(huì)引入更多的誤檢框，很可能導(dǎo)致得分會(huì)變得很低。

參考文獻(xiàn)

[1]? Dai J, Qi H, Xiong Y, et al. Deformable Convolutional Networks[J]. 2017.

[2]? Lin T Y , Dollár, Piotr, Girshick R , et al. Feature Pyramid Networks for Object Detection[J]. 2016.

[3]? Cai Z , Vasconcelos N . Cascade R-CNN: Delving into High Quality Object Detection[J]. 2017.

[4]? Song G , Liu Y , Wang X . Revisiting the Sibling Head in Object Detector[J]. 2020.

[5]? Qin, X., Wang, Z., Bai, Y., Xie, X., & Jia, H. (2020). FFA-Net: Feature Fusion Attention Network for Single Image Dehazing.?ArXiv, abs/1911.07559.

[6]? Wu, Y., Chen, Y., Yuan, L., Liu, Z., Wang, L., Li, H., & Fu, Y. (2019). Rethinking Classification and Localization in R-CNN. ArXiv, abs/1904.06493.

?

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的​CVPR 2020雾天条件下物体检测挑战赛冠军DeepBlueAI团队技术分享的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。