點擊下方卡片，關(guān)注“CVer”公眾號

AI/CV重磅干貨，第一時間送達(dá)

本文作者：飛奔的啦啦啦?? |??來源：知乎

https://zhuanlan.zhihu.com/p/313684358

UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

論文：https://arxiv.org/abs/2011.09094

中cvpr oral啦！代碼和預(yù)訓(xùn)練模型已經(jīng)開源：

https://github.com/dddzg/up-detr

相信大家都有目共睹，無監(jiān)督預(yù)訓(xùn)練模型無論是在nlp(BERT,GPT,XLNet)還是在cv(MoCo,SimCLR,BYOL)上都取得了突破性的進(jìn)展。而對于無監(jiān)督（自監(jiān)督）預(yù)訓(xùn)練而言，最重要的就是設(shè)計一個合理的pretext，典型的像BERT的masked language model，MoCo的instance discrimination。他們都通過一定的方式，從樣本中無監(jiān)督的構(gòu)造了一個"label"，從而對模型進(jìn)行預(yù)訓(xùn)練，提高下游任務(wù)的表現(xiàn)。

回到我們的UP-DETR，對于DETR而言，既然CNN可以是無監(jiān)督預(yù)訓(xùn)練的，那么transformer能不能也無監(jiān)督預(yù)訓(xùn)練一下呢。這就是我們的motivation。

當(dāng)然啦，騷想法可以很豐滿，可現(xiàn)實總是很骨感（T.T）。對于現(xiàn)有的pretext任務(wù)，似乎都不太適合于DETR里transformer的預(yù)訓(xùn)練。比如，你想搞個mask，可cv都是連續(xù)像素構(gòu)成語義，沒法像nlp天然有個離散的token的概念，最后還可能訓(xùn)成一個mask檢測器（狗頭。直接把MoCo那一套搬過也不太可行。我們認(rèn)為主要的原因是DETR中的transformer主要是用來做空間信息上的定位而MoCo那一套主要是用來提高CNN的instance discrimination。

更重要的是，無監(jiān)督預(yù)訓(xùn)練檢測器，這聽起來就很違背自覺，因為是不是object某種意義上明明就是人為定義的。所以，我們換了一個思路，提出了一個叫random query patch detection的pretext，具體而言就是從原圖中，我們隨機的框若干個patch下來，把這些patch輸入到decoder，原圖輸入到encoder，然后整個任務(wù)就變成了給定patch找他們在原圖中的位置。最后，對于一個無監(jiān)督訓(xùn)好的DETR，只要輸入patch，它天然就能做到如下圖的無監(jiān)督定位patch的功能（不需要額外的nms后處理），當(dāng)然這個patch還能支持?jǐn)?shù)據(jù)增強和尺度變換。從這個預(yù)訓(xùn)練任務(wù)的角度來說，一個patch是不是object本身沒有任何先驗。

idea其實就這么簡單，但具體實現(xiàn)上，我們其實遇到了兩個主要的問題，在paper里，我們把它們總結(jié)為：multi-task learning和multi-query localization。更多詳細(xì)的內(nèi)容大家可以參閱我們的論文，這里我們簡單介紹一下：

• 對于multi-task learning，主要是由于目標(biāo)檢測其實本身就帶有定位和分類兩個任務(wù)，這兩個任務(wù)對特征其實有著不同的偏好。這其實在之前許許多多工作中都有大佬提到了，因此許多目標(biāo)檢測的工作通常會設(shè)計了兩條不同的分支（帶有額外卷積結(jié)構(gòu)）分別對應(yīng)于分類和回歸。而detr其實完全共享了同一組特征，在實驗中，我們發(fā)現(xiàn)如果只做patch的定位，不管分類的話，UP-DETR遷移到voc上效果會不好。這意味著定位和分類，特征偏好上確實是有沖突的。所以，為了在預(yù)訓(xùn)練中權(quán)衡這兩個任務(wù)的偏好，我們固定了預(yù)訓(xùn)練好的CNN權(quán)重，新增了一個叫patch feature reconstruction的分支。motivation就是希望經(jīng)過transformer的特征能保持和經(jīng)過CNN后的特征一致的分類判別性。

• 對于multi-query localization，主要是說對于DETR，decoder其實有100個object query，這100個object query其實是100個網(wǎng)絡(luò)隱式學(xué)到的空間位置偏好的embedding。我們實際上是隨機搞了M個query patch，因為patch可能會在任意位置，直覺上得一個patch加到多個object query上，所以我們討論了一下如何在預(yù)訓(xùn)練過程中，把這M個query patch分配到100個embedding上去。我們從最簡單的single-query開始介紹，把它拓展到了支持multi-query的預(yù)訓(xùn)練。對于multi-query，我們認(rèn)為有兩個要滿足的條件，第一個是 query之間框的預(yù)測是獨立的，所以我們提出了一個放在decoder上的attention mask，保證query之間彼此不可見。第二個是100個embedding和M個query patch應(yīng)當(dāng)是沒有任何位置先驗限制的，我們提出了object query shuffle的方法去達(dá)到這種隨機性。

解決了這倆問題，UP-DETR的預(yù)訓(xùn)練過程如下圖所示，除此之外，下游目標(biāo)檢測的微調(diào)是和訓(xùn)DETR一模一樣的：

在實驗中，通過在ImageNet上無監(jiān)督預(yù)訓(xùn)練，UP-DETR在VOC和COCO上都取得了更快的收斂和更高的精度。即便在充足長的訓(xùn)練epoch下，VOC上仍然有3 AP以上的提升，而對于COCO，UP-DETR仍然可以獲得0.7 AP的提升（42.8 AP）。要知道的是，對于在充足訓(xùn)練時間下的COCO，預(yù)訓(xùn)練CNN對于Faster R-CNN已經(jīng)不重要了，但是對于DETR而言，預(yù)訓(xùn)練CNN和transformer仍然能提升其性能。

最后的話，怕大家誤解，我先提前辯解一下，我們和DETR用的是一模一樣的模型結(jié)構(gòu)，都是沒有FPN，以ResNet50最后一層作為encoder特征輸入（當(dāng)然，由于attention高昂的復(fù)雜度也做不了FPN），這導(dǎo)致了小物體依舊挺拉跨，所以AP的提升比起deformable DETR和sparse R-CNN自然會低一些（噗通）。我覺得吧，站在通用視覺表征的立場上，這鍋怎么也得分給ResNet一半吧。希望知乎大佬們輕噴（害怕.jpg）。

上述論文和代碼下載

后臺回復(fù)：UP-DETR，即可下載上述論文PDF和項目源代碼

后臺回復(fù)：CVPR2021，即可下載CVPR 2021論文和開源代碼合集

點擊下方卡片并關(guān)注，了解CV最新動態(tài)

重磅！CVer-Transformer交流群成立

掃碼添加CVer助手，可申請加入CVer-Transformer方向?微信交流群，也可申請加入CVer大群，細(xì)分方向已涵蓋：目標(biāo)檢測、圖像分割、目標(biāo)跟蹤、人臉檢測&識別、OCR、姿態(tài)估計、超分辨率、SLAM、醫(yī)療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學(xué)習(xí)、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風(fēng)格遷移、遙感圖像、行為識別、視頻理解、圖像融合、圖像檢索、論文投稿&交流、Transformer、PyTorch和TensorFlow等群。

一定要備注：研究方向+地點+學(xué)校/公司+昵稱（如Transformer+上海+上交+卡卡），根據(jù)格式備注，才能通過且邀請進(jìn)群

▲長按加微信群

▲點擊上方卡片，關(guān)注CVer公眾號

整理不易，請給CVer點贊和在看！

總結(jié)

以上是生活随笔為你收集整理的CVPR 2021 Oral | Transformer再发力！华南理工和微信提出UP-DETR：无监督预训练检测器...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。