參考 Prior-based Domain Adaptive Object Detection for Hazy - 云+社區(qū) - 騰訊云

目錄

摘要

1、簡介

2、相關(guān)工作

3、提出的方法

3.1、檢測網(wǎng)絡(luò)

3.2、Prior-adversarial訓(xùn)練

3.2、殘差特征恢復(fù)模塊

3.4、整體的損失

4、實驗和結(jié)果

4.1、實驗細(xì)節(jié)

4.2、適配到霧霾條件

4.3、適配雨場景

5、結(jié)論

---

摘要

惡劣的天氣條件，如霧和雨，會破壞獲取到的圖像的質(zhì)量，導(dǎo)致訓(xùn)練在干凈圖像上的檢測網(wǎng)絡(luò)在這些圖像上表現(xiàn)不佳。為了解決這一問題，我們提出了一種無監(jiān)督的基于先驗的域?qū)鼓繕?biāo)檢測框架，使檢測器適應(yīng)于有霧和有雨的條件。特別地，我們利用利用圖像形成原理獲得的特定天氣的先驗知識來定義一個prior-adversarial損失。用于訓(xùn)練適配過程的prior-adversarial損失旨在減少特征中與天氣相關(guān)的信息，從而減輕天氣對檢測性能的影響。此外，我們在目標(biāo)檢測流程中引入了一組殘差特征恢復(fù)塊來消除特征空間的扭曲，從而得到進一步的改進。針對不同情況(如霧、雨)，在不同數(shù)據(jù)集(Foggy-Cityscapes、Rainy-Cityscapes、RTTS和UFDD)上進行的評估顯示了所提方法的有效性。

1、簡介

目標(biāo)檢測是文獻中被廣泛研究的課題。盡管基于深度學(xué)習(xí)的檢測器在基準(zhǔn)數(shù)據(jù)集上取得了成功，但它們在歸納幾種實際情況(如惡劣天氣)方面的能力有限。最近，一些真實世界的視覺應(yīng)用，如自主導(dǎo)航，基于無人機的監(jiān)視和視頻監(jiān)視/取證得到了極大的興趣。在這些應(yīng)用中，目標(biāo)檢測器是一個重要的支柱，因此，即使在惡劣的天氣條件下，檢測器也必須可靠地工作。與一般的目標(biāo)檢測問題相比，對檢測器適應(yīng)惡劣天氣條件的研究相對較少。

解決這個問題的一種方法是使用現(xiàn)有的方法對圖像進行預(yù)處理，如圖像去霧[11,20,60]和/或去霧[30,59,58]，從而消除天氣條件的影響。然而，這些方法通常涉及復(fù)雜的網(wǎng)絡(luò)，需要在像素級監(jiān)督下單獨訓(xùn)練。此外，如[47]中所述，這些方法還涉及某些后處理，如伽馬校正，這仍然會導(dǎo)致域偏移，因此，這些方法無法實現(xiàn)最佳性能。和[47]一樣，當(dāng)我們使用最先進的dehaze/derain方法作為檢測前的預(yù)處理步驟時，我們觀察到在檢測性能上的微小改進(見第4節(jié))。此外，這種額外的預(yù)處理將導(dǎo)致推理時計算開銷的增加，這在資源受限/實時應(yīng)用程序中并不可取。另一種方法是在包含這些不利條件的數(shù)據(jù)集上重新訓(xùn)練檢測器。然而，創(chuàng)建這些數(shù)據(jù)集通常需要很高的標(biāo)注/標(biāo)簽成本。

最近，一些方法[5,49,45]試圖克服這個問題，將惡劣天氣條件下的目標(biāo)檢測視為一項無監(jiān)督的域適配任務(wù)。這些方法認(rèn)為，與訓(xùn)練檢測器的圖像(源域圖像)相比，在不利條件下捕獲的圖像(目標(biāo)圖像)存在分布偏移。假設(shè)源圖像被完全注釋，而目標(biāo)圖像(基于天氣的退化)沒有注釋。他們提出了在對源圖像進行訓(xùn)練的同時，將目標(biāo)特征與源特征進行對齊的不同技術(shù)。這些方法在其方法中存在固有的局限性，因為它們只使用領(lǐng)域適應(yīng)的原則，而忽略了在基于天氣的退化情況下現(xiàn)成的附加信息。

??????? ? ? ? ? ? ? ???

我們考慮以下關(guān)于基于天氣的退化的觀察，這些觀察在早期的工作中被忽略了。(i)在天氣條件(如霾和雨)下捕獲的圖像可以進行數(shù)學(xué)建模(見圖1(a)， Eq. 8和9)。例如，一個模糊圖像是由干凈圖像(經(jīng)過透射圖衰減)和大氣光疊加而成的[11,20]。同樣，雨天圖像被建模為干凈圖像和雨殘圖像的疊加[30,58,59](見圖1(a))。換句話說，受天氣影響的圖像包含特定的天氣信息(我們稱之為先驗)——如有模糊圖像，則包含傳輸圖；如有雨圖像，則包含雨殘留。這些特定于天氣的信息/先驗原因在特征空間中退化，導(dǎo)致較差的檢測性能。因此，為了減少特征的退化，關(guān)鍵是通過消除特征中與天氣相關(guān)的先驗，使特征具有天氣不變性。(ii)此外，必須指出的是，基于天氣的退化在空間上是不同的，因此對所有空間位置的特征的影響并不相同。由于現(xiàn)有的域適配檢測方法將所有位置全部標(biāo)記為目標(biāo)，假設(shè)整個圖像不斷退化，所有空間位置受到同等影響(圖1(b))。這將導(dǎo)致不正確的對齊，特別是在圖像的退化最小的區(qū)域。

基于這些觀察結(jié)果，我們定義了一種新的prior-adversarial損失，它使用關(guān)于目標(biāo)域(受天氣影響的圖像)的額外知識來對齊源域和目標(biāo)域特征。具體來說，提出的損失被用來訓(xùn)練一個先驗估計網(wǎng)絡(luò)，從主要分支的特征中預(yù)測特定天氣的先驗，同時最小化特征中呈現(xiàn)的特定天氣信息。這將在主分支中產(chǎn)生天氣不變特性，從而減輕天氣的影響。此外，在損失函數(shù)中使用先驗信息會導(dǎo)致與退化量直接相關(guān)的空間變化損失(如圖1(b)所示)。因此，使用prior可以避免不正確的對齊。

最后，考慮到基于天氣的退化會導(dǎo)致特征空間的扭曲，我們在目標(biāo)檢測流程中引入一組殘差特征恢復(fù)塊來消除特征的扭曲。這些塊受到了中殘差轉(zhuǎn)移框架的啟發(fā)，得到了進一步的改進。我們對不同的數(shù)據(jù)集進行了廣泛的評估，如Foggy-Cityscapes、RTTS和UFDD。此外，我們還創(chuàng)建了一個Rainy-Cityscapes數(shù)據(jù)集，用于評估不同檢測方法在雨天情況下的性能。各種實驗表明，該方法在所有數(shù)據(jù)集上的性能都優(yōu)于現(xiàn)有方法。

2、相關(guān)工作

目標(biāo)檢測：目標(biāo)檢測是計算機視覺研究的熱點之一。這個問題的典型解決方案已經(jīng)從基于滑動窗口分類的方法發(fā)展到最新的基于錨的卷積神經(jīng)網(wǎng)絡(luò)方法。Ren等人開創(chuàng)了流行的Faster R-CNN方法。一些工作提出了單階段框架，如SSD， YOLO等，可以直接預(yù)測目標(biāo)標(biāo)簽和邊框坐標(biāo)。在之前的工作[5,49,45,25,24]之后，我們使用Faster-RCNN作為基礎(chǔ)模型。

無監(jiān)督域適配：無監(jiān)督域適應(yīng)定義為具有不同分布的對齊域，即源域和目標(biāo)域。假設(shè)源數(shù)據(jù)集中的圖像具有注釋，而不提供目標(biāo)圖像的注釋信息。最近提出的一些無監(jiān)督域自適應(yīng)方法包括特征分布對齊，殘差轉(zhuǎn)移和圖像到圖像的翻譯方法。在特征分布對齊中，利用敵對目標(biāo)學(xué)習(xí)領(lǐng)域不變特征。通常，這些方法使用梯度反轉(zhuǎn)層實現(xiàn)，特征生成器和領(lǐng)域分類器進行對抗式博弈，生成與源特征分布一致的目標(biāo)特征。非監(jiān)督域自適應(yīng)的研究大多集中在分類/分割問題上，而諸如目標(biāo)檢測等任務(wù)則相對缺乏探索。

對抗條件下的域適配目標(biāo)檢測：與一般的檢測問題相比，在惡劣天氣條件下的檢測探索相對較少。現(xiàn)有的方法[5,49,45,25]試圖從領(lǐng)域適應(yīng)的角度來解決這一任務(wù)。Chen等人[5]假設(shè)不利的天氣條件會導(dǎo)致域漂移，他們提出了一種適配Faster R-CNN方法來克服這一問題，該方法在圖像級和實例級處理域漂移。Shan等[49]提出在圖像層面使用Cycle-GAN框架進行聯(lián)合自適應(yīng)[61]，在特征層面使用傳統(tǒng)的域自適應(yīng)損失進行聯(lián)合自適應(yīng)。Saito等人[45]認(rèn)為，在全局層面上，特征的強對齊可能會影響檢測性能。因此，他們提出了一種局部特征強對齊和全局特征弱對齊的方法。Kim等人[25]對標(biāo)記數(shù)據(jù)進行多樣化處理，然后利用多域鑒別器進行對敵學(xué)習(xí)。Cai等[4]在半監(jiān)督設(shè)置中使用mean teacher framework解決了這一問題。Zhu等人[63]提出了區(qū)域挖掘和區(qū)域級對齊，以正確對齊源和目標(biāo)特征。Roychowdhury等人使檢測器適應(yīng)于一個新的域，假設(shè)有來自目標(biāo)域的大量視頻數(shù)據(jù)可用。這些視頻數(shù)據(jù)被用來生成目標(biāo)集的偽標(biāo)簽，這些偽標(biāo)簽被用來訓(xùn)練網(wǎng)絡(luò)。最近，Khodabandeh等人用噪聲標(biāo)簽表述了域適配訓(xùn)練。具體來說，該模型在目標(biāo)域上使用一組噪聲邊界盒進行訓(xùn)練，這些邊界框由僅在源域上訓(xùn)練的檢測模型得到。

3、提出的方法

我們假定標(biāo)記的干凈數(shù)據(jù)來自源域，并且來自目標(biāo)域的未標(biāo)記且受天氣影響的數(shù)據(jù)是可以獲得的。這里，指的是外接框標(biāo)注，并且相應(yīng)的分類標(biāo)簽為潔凈圖像指的是受天氣影響的數(shù)據(jù)，是源域的總共樣本數(shù)，是目標(biāo)域的總共樣本數(shù)。我們的目標(biāo)是利用源域和目標(biāo)域的可用信息來學(xué)習(xí)一個網(wǎng)絡(luò)，以減少基于天氣的條件對檢測器的影響。該方法包含檢測網(wǎng)絡(luò)、先驗估計網(wǎng)絡(luò)和殘差特征恢復(fù)模塊。圖2給出了所提模型的概述。在源域訓(xùn)練過程中，將一幅源圖像(干凈圖像)傳遞給檢測網(wǎng)絡(luò)，通過最小化檢測損失來學(xué)習(xí)權(quán)值，如圖2帶源域流程所示。對于目標(biāo)域訓(xùn)練，目標(biāo)域流程通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)一幅目標(biāo)域圖像(受天氣影響的圖像)，如圖2所示。如前所述，基于天氣的退化會導(dǎo)致目標(biāo)域圖像的特征空間失真。為了消除這些特征的失真，我們在目標(biāo)流程中引入一組殘差特征恢復(fù)塊，如圖2所示。該模型借鑒了[36]中的殘差傳遞框架，用于殘差特征的建模。提出的PEN通過對抗訓(xùn)練提供反饋，利用先前的對抗損失，幫助檢測網(wǎng)絡(luò)適配目標(biāo)域。在接下來的章節(jié)中，我們簡要回顧了主干網(wǎng)絡(luò)，然后討論了提出的前對抗式損失和殘差特征恢復(fù)塊。

3.1、檢測網(wǎng)絡(luò)

遵循現(xiàn)有的域自適應(yīng)檢測方法，我們的方法基于Faster-RCNN[43]框架。Faster-RCNN是最早的基于端到端CNN的目標(biāo)檢測方法之一，使用基于錨的策略進行檢測和分類。本文將Faster-RCNN分解為特征提取網(wǎng)絡(luò)(F)、區(qū)域建議網(wǎng)絡(luò)(RPN)和區(qū)域分類網(wǎng)絡(luò)(RCN)三個網(wǎng)絡(luò)模塊。這些模塊的布局如圖2所示，VGG模型架構(gòu)為基礎(chǔ)網(wǎng)絡(luò)。這里，特征提取器網(wǎng)絡(luò)由VGG的前5個conv塊組成，區(qū)域分類網(wǎng)絡(luò)模塊由VGG的全連接層組成。區(qū)域建議網(wǎng)絡(luò)利用特征提取網(wǎng)絡(luò)的輸出，以類不可知的方式生成一組候選目標(biāo)區(qū)域。從特征提取器中匯集與候選特征相對應(yīng)的特征，通過區(qū)域分類網(wǎng)絡(luò)轉(zhuǎn)發(fā)，得到目標(biāo)分類和邊界框細(xì)化。由于我們可以訪問源域圖像及其對應(yīng)的ground truth，我們訓(xùn)練這些網(wǎng)絡(luò)通過最小化以下?lián)p失函數(shù)來對源域進行檢測，

???????????????? ? ? ? ? ? ?? ??????????

這里，代表區(qū)域建議和區(qū)域分類網(wǎng)絡(luò)。代表區(qū)域建議損失。代表BB回歸損失，并且代表區(qū)域回歸損失。這些個別損失成分的詳細(xì)信息可以在[43]中找到。

3.2、Prior-adversarial訓(xùn)練

如前所述，受天氣影響的圖像包含特定領(lǐng)域的信息。這些圖像通常遵循圖像退化的數(shù)學(xué)模型(見圖1(a)， Eq. 8和Eq. 9)。我們將該領(lǐng)域的特定信息作為先驗。關(guān)于之前的霧霾和雨的詳細(xì)討論將在本節(jié)的后面提供。我們的目標(biāo)是利用這些天氣領(lǐng)域的先驗，以更好地適應(yīng)探測器天氣影響的圖像。為此，我們提出了一種基于先驗的對抗訓(xùn)練方法，該方法使用先驗估計網(wǎng)絡(luò)(PEN)和先驗對敵損失(PAL)。

使為PEN在卷積塊的第l個層后引入，并且使得為任何圖像對應(yīng)的特定域的先驗，。然后，源域的PAL定義如下：

?????????????????

其中，U和V是域指定先驗和輸出特征的高度和寬度。代表源域先驗，從圖像層先驗來縮小比例來匹配第l個卷積塊的尺度。同樣地，對目標(biāo)域圖像的PAL，，對應(yīng)的先驗可以定義為：

??? ? ? ? ? ?? ??????

其中，我們在conv4 (l=4)和conv5 (l=5)塊后應(yīng)用PAL(如圖2所示)。因此，最終的源域和目標(biāo)域損失可以表示為：

????????????????????? ? ? ? ? ?? ?

先驗估計網(wǎng)絡(luò)()從中提取的特征中預(yù)測特定天氣的先驗，然而，特征提取網(wǎng)絡(luò)(不包含特定天氣的先驗)并阻止PEN模塊正確估計特定天氣的先驗。由于這種類型的訓(xùn)練包括預(yù)先預(yù)測，也讓人想起域適配中使用的對抗性學(xué)習(xí)，我們將這種損失稱為預(yù)先對抗性損失。在收斂時，特征提取器網(wǎng)絡(luò)應(yīng)該沒有任何特定天氣信息，因此先驗估計網(wǎng)絡(luò)和都不能正確估計先驗。請注意，我們的收斂目標(biāo)不是估計正確的先驗，而是學(xué)習(xí)天氣不變特征，以便檢測網(wǎng)絡(luò)能夠很好地推廣到目標(biāo)域。該訓(xùn)練過程可表示為如下優(yōu)化：

???????????????????????????????

此外，在傳統(tǒng)的區(qū)域適配中，為整個目標(biāo)圖像分配一個單一的標(biāo)簽來訓(xùn)練區(qū)域鑒別器(圖1)(c))。這樣做，就假定整個圖像經(jīng)歷了恒定的域位移。然而，這在受天氣影響的圖像中是不正確的，因為退化隨空間變化(圖1)(b))。在這種情況下，定域位移的假設(shè)會導(dǎo)致不正確的對齊，特別是在退化最小的區(qū)域。結(jié)合特定天氣先驗克服了這個問題，因為這些先驗是隨空間變化的，并且與退化量直接相關(guān)。因此，利用特定天氣的先驗結(jié)果來更好地對齊。

霧霾先驗：霧對圖像的影響在文獻中得到了廣泛的研究。現(xiàn)有的圖像去霧方法大多依賴于大氣散射模型來表示霧天條件下的圖像退化，其定義為：

????????????????? ? ? ? ? ? ? ? ? ????????

其中I為觀測到的模糊圖像，J為真實場景亮度，A為全局大氣光，表示環(huán)境光強度，t為透射圖，z為像素位置。透射圖是一個依賴于距離的因素，它影響到達相機傳感器的光的比例。當(dāng)大氣光A為均勻時，透射圖可以表示為，其中，為大氣的衰減系數(shù)，d為場景深度。

通常，現(xiàn)有的去霧方法首先估計透射圖和大氣光，然后在公式(8)中使用它們來恢復(fù)觀測到的亮度或干凈圖像。透射圖包含了關(guān)于霧域的重要信息，具體地表示了光的衰減因子。我們使用這種傳輸作為域先驗來監(jiān)督先驗估計(PEN)，同時適應(yīng)模糊的條件。此外，我們使用[20]之前的暗信道，而不是依賴于實際的ground-truth傳輸圖。

雨先驗：與去霧類似，圖像去霧方法[30,58,59,29,57]也假設(shè)一個數(shù)學(xué)模型來表示退化過程，定義如下：

?????????????????? ? ? ? ? ? ? ? ? ? ? ? ? ? ????

其中I為觀測到的雨天圖像，J為期望的干凈圖像，R為雨殘差。該公式將雨景圖像建模為干凈的背景圖像與雨殘體的疊加。雨殘點包含了特定圖像的特定區(qū)域雨殘點信息，因此，在適應(yīng)雨天條件的同時，可以作為區(qū)域特定先驗來監(jiān)測先驗估計網(wǎng)絡(luò)(PEN)。類似于霧霾，我們不依賴地面的真實降雨殘留物。相反，我們使用[30]中預(yù)先描述的雨層來估計雨殘量，從而避免了使用昂貴的人工注釋來獲得雨殘量。

在上面討論的兩種情況(霧先驗和雨先驗)中，我們不使用任何ground-truth標(biāo)簽來估計各自的先驗。因此，我們的總體方法仍然屬于無監(jiān)督的適應(yīng)。此外，可以對訓(xùn)練圖像預(yù)先計算這些先驗，以減少學(xué)習(xí)過程中的計算開銷。此外，推理過程中不需要預(yù)先計算，因此，所提出的自適應(yīng)方法不會造成任何計算開銷。

3.2、殘差特征恢復(fù)模塊

如前所述，天氣退化會在特征空間中引入失真。在目標(biāo)前向傳播過程中引入了一組殘差特征恢復(fù)塊(RFRBs)來輔助去失真處理。這是受到了[36]中剩余傳輸網(wǎng)絡(luò)方法的啟發(fā)。設(shè)為第l個卷積塊處的殘差特征恢復(fù)塊。對目標(biāo)域圖像前饋進行改進，加入殘差特征恢復(fù)塊。對于，第l個卷積塊處的前向傳播方程為：

??????????????????????????????????????

其中指的是從第l個卷積層提取的特征，對任何使用特征提取網(wǎng)絡(luò)從目標(biāo)域提取出的圖像。指的是從輸出的第卷積層提取的殘差特征。指的是對任何利用RFRB調(diào)整的前傳圖像從第l個卷積塊提取特征。RFRB如圖2所示，如前傳pipeline所示。對源域的前傳pipline沒有影響。在我們的情況下，我們同時在和塊上使用RFRB。此外，通過對殘差特征的規(guī)范約束來規(guī)范殘差特征的影響。RFRBs的正則化損失，，定義為：

??????????????????????? ? ? ? ??

3.4、整體的損失

訓(xùn)練網(wǎng)絡(luò)的總損失定義為：

???????????????????????????? ? ? ? ? ? ? ?? ??

?????????????????????

這里，表示特征提取網(wǎng)絡(luò)，表示第四和第五卷積塊后面采用的兩個先驗估計網(wǎng)絡(luò)，例如，，并且表示第四和第五卷積層上的。同樣，是源域檢測損失，是正則化損失，是基于先驗的對抗訓(xùn)練的整體對抗損失。

4、實驗和結(jié)果

4.1、實驗細(xì)節(jié)

我們采用[45,5]的訓(xùn)練協(xié)議來訓(xùn)練Faster-RCNN網(wǎng)絡(luò)。所有實驗的骨干網(wǎng)絡(luò)為VGG16網(wǎng)絡(luò)[51]。我們使用RFRB對VGG16網(wǎng)絡(luò)的卷積塊C4和C5進行殘差建模。PA損失只適用于這些用RFRBs建模的conv塊。PA損失的設(shè)計是基于適應(yīng)設(shè)置(霧或雨)。前兩個conv塊的參數(shù)被凍結(jié)，類似于[45,5]。在補充資料中提供了RFRBs、PEN和鑒別器的詳細(xì)網(wǎng)絡(luò)架構(gòu)。在訓(xùn)練過程中，我們通過ROI對齊將圖像較短的一側(cè)設(shè)置為600。我們對所有網(wǎng)絡(luò)進行70K次迭代訓(xùn)練。對于前50K次迭代，學(xué)習(xí)率設(shè)置為0.001，對于后20K次迭代，學(xué)習(xí)率設(shè)置為0.0001。我們報告了70K次迭代后基于訓(xùn)練模型的性能。對于所有的實驗，我們都將其設(shè)置為等于0.1。

除了與最近的方法進行比較外，我們還進行了消融研究，評估以下配置，以分析網(wǎng)絡(luò)中不同組件的有效性。請注意，我們逐步添加了額外的組件，這使我們能夠衡量每個組件獲得的性能改進，

FRCNN：在源數(shù)據(jù)集上訓(xùn)練Faster-RCNN的Source - only基線實驗。

FRCNN+：由Faster R-CNN和域識別器組成的域自適應(yīng)基線實驗。

FRCNN++：從FRCNN+作為基本配置開始，我們在對Faster-RCNN進行conv4之后添加了一個RFRB塊。這個實驗讓我們了解了RFRB塊的貢獻。

FRCNN++：我們從FRCNN+D5+R5配置開始，用先驗估計網(wǎng)絡(luò)(PEN)和先驗對敵損失(PAL)替代域鑒別器和域?qū)硴p失。通過這個實驗，我們證明了訓(xùn)練前對抗損失的重要性。

FRCNN++：最后，我們在conv4和conv5兩種尺度上進行基于先驗的特征對齊。從FRCNN+P5+R5配置開始，我們在conv3之后添加了RFRB塊，在conv4之后添加了PEN模塊。該實驗對應(yīng)于圖2所示的配置。該實驗證明了整體方法的有效性，并確立了網(wǎng)絡(luò)中多級特征對齊的重要性。

遵循現(xiàn)有方法設(shè)置的協(xié)議[5,49,45]，我們使用平均平均精度(mAP)評分進行性能比較。

4.2、適配到霧霾條件

在本節(jié)中，我們在以下數(shù)據(jù)集上給出了與適應(yīng)霧霾條件相對應(yīng)的結(jié)果:(i)Cityscapes→Foggy-Cityscapes，(ii)Cityscapes→RTTS， (iii)WIDER→UFDD-Haze。在前兩個實驗中，我們將Cityscapes作為源域。注意，Cityscapes數(shù)據(jù)集包含在晴朗天氣條件下捕獲的圖像。

Cityscapes→Foggy-Cityscapes：在這個實驗中，我們從Cityscapes適配Foggy-Cityscapes。最近[47]中提出了Foggy-Cityscapes數(shù)據(jù)集，用于研究霧天天氣條件下的檢測算法。基于Cityscapes數(shù)據(jù)集，在城市景觀的晴空圖像上模擬霧，得到霧天城市景觀。城市風(fēng)景和霧都有相同數(shù)量的分類，包括，汽車，卡車，摩托車/自行車，火車，公共汽車，騎手和人。與[5]、[45]類似，我們利用2975張城市景觀和霧靄城市景觀的圖像進行訓(xùn)練。注意，我們只使用來自源數(shù)據(jù)集(Cityscapes)的注釋來訓(xùn)練檢測流程。為了進行評估，我們考慮了Foggy-Cityscapes數(shù)據(jù)集提供的500幅圖像的非重疊驗證集。

我們將提出的方法與兩類方法進行比較:(i) Dehaze+ detection:這里我們使用去霧網(wǎng)絡(luò)作為預(yù)處理步驟，使用在源(干凈)圖像上訓(xùn)練的Faster-RCNN進行檢測。對于預(yù)處理，我們選擇了兩種最新的去霧算法:DCPDN[60]和網(wǎng)格去霧[35]。(i)基于da的方法:在這里，我們比較了最近的域適配檢測方法:DA-Faster，SWDA， diversity - match， Mean Teacher with Object Relations (MTOR)， Selective Cross-Domain Alignment (SCDA)[63]和[24]。結(jié)果如表1所示。

由表1可以看出，在模糊條件下，Fast R-CNN的單純源訓(xùn)練效果一般較差。添加DCPDN和Gird-Dehaze作為預(yù)處理步驟，性能分別提高2%和4%。與領(lǐng)域自適應(yīng)檢測方法相比，預(yù)處理+檢測的性能增益較低。這是因為即使在應(yīng)用去霧之后，仍然會有一些漂移，如第1節(jié)所討論的。因此，使用適配將是減少領(lǐng)域轉(zhuǎn)移的更好方法。在這里，使用簡單的域適配(FRCNN+)提高了僅限源的性能。RFRB5 (FRCNN+D5+R5)的加入進一步提高了RFRB塊的重要性。然而，傳統(tǒng)的域適配損失假設(shè)整個圖像的恒定域移動，導(dǎo)致不正確的對準(zhǔn)。使用prior-adversarial損失(FRCNN++)克服了這個問題。我們在總體地圖得分上提高了3.6%，從而證明了之前對抗訓(xùn)練的有效性。請注意，FRCNN++基線實現(xiàn)了與最先進水平相當(dāng)?shù)男阅堋Ｗ詈?#xff0c;通過在額外的尺度(FRCNN++)上進行前對抗適應(yīng)，我們實現(xiàn)了進一步的改進，比現(xiàn)有的最佳方法[24]高出2.8%。圖3給出了霧都景觀圖像對應(yīng)的樣本定性檢測結(jié)果。結(jié)果與DA-Faster-RCNN[5]進行了比較。可以看到，該方法能夠產(chǎn)生相對高質(zhì)量的檢測結(jié)果。

我們將觀察結(jié)果總結(jié)如下:(i)、使用去霧處理作為預(yù)處理步驟，相對于基線Faster-RCNN的改進極小。域適配方法通常性能更好。(ii)、所提出的方法在總體得分上優(yōu)于其他方法，并且在大多數(shù)類別中都取得了最好的成績。更多細(xì)節(jié)見補充材料。

???????????? ? ? ? ? ? ??????

??????????????????? ?? ??????

Cityscapes → RTTS：在這個實驗中，我們從城市景觀適應(yīng)RTTS數(shù)據(jù)集[27]。RTTS是一個更大的居住數(shù)據(jù)集[27]的子集，它包含4807個未注釋的和4322個注釋的真實世界的模糊圖像，主要覆蓋交通和駕駛場景。我們使用未注釋的4807張圖像來訓(xùn)練域適應(yīng)過程。對帶注釋的4,322張圖像執(zhí)行評估。RTTS共有五類，即摩托車/自行車、人、自行車、公共汽車和汽車。該數(shù)據(jù)集是最大的可用數(shù)據(jù)集的目標(biāo)檢測下的真實世界朦朧條件。

表2將本文方法的結(jié)果與Faster-RCNN、DA-Faster、SWDA以及dehaze+檢測基線進行比較。對于RTTS數(shù)據(jù)集，使用DCPDN進行預(yù)處理可以將Faster RCNN性能提高約1%。令人驚訝的是，Grid-Dehaze并不能幫助更快的rcnn基線，反而導(dǎo)致更糟糕的性能。然而，所提出的方法比baseline Faster-RCNN(僅源域訓(xùn)練)提高了3.1%，同時優(yōu)于其他最近的方法。

WIDER-Face → UFDD-Haze：最近，Nada等人發(fā)布了一個基準(zhǔn)的人臉檢測數(shù)據(jù)集，該數(shù)據(jù)集包含了在不同天氣條件下(如霾和雨)捕捉到的真實世界圖像。具體來說，這個數(shù)據(jù)集包含442張霾類圖像。由于人臉檢測與目標(biāo)檢測任務(wù)密切相關(guān)，因此我們將大人臉[56]數(shù)據(jù)集應(yīng)用于UFDD-Haze數(shù)據(jù)集來評估我們的框架。WIDER-Face是一個大規(guī)模的人臉檢測數(shù)據(jù)集，擁有大約32,000張圖像和199K的人臉注釋。該適應(yīng)實驗的結(jié)果如表3所示。從表中可以看出，與其他方法相比，該方法取得了更好的性能。

?????????????????????????????

4.3、適配雨場景

在本節(jié)中，我們將介紹適應(yīng)多雨條件的結(jié)果。由于缺少適合這種特殊設(shè)置的數(shù)據(jù)集，我們創(chuàng)建了一個名為rain- Cityscapes的新的雨天數(shù)據(jù)集，它來自Cityscapes。它的訓(xùn)練和驗證圖像的數(shù)量與Foggy-Cityscapes一樣多。首先，我們介紹了用于創(chuàng)建數(shù)據(jù)集的模擬過程，然后討論了該方法與其他方法在這個新數(shù)據(jù)集上的評價和比較。

Rainy-Cityscapes：與霧城市景觀類似，我們使用城市景觀中的3475張圖像的子集來創(chuàng)建合成的雨數(shù)據(jù)集。利用[2]合成了幾種含有人工雨紋的掩模。雨紋是使用不同的高斯噪聲級別和70度到110度之間的多個旋轉(zhuǎn)角度創(chuàng)建的。接下來，對于Cityscapes數(shù)據(jù)集子集中的每一張圖像，我們選擇一個隨機的雨掩膜，并將其與圖像混合以生成合成的雨掩膜圖像。補充材料中提供了更多的細(xì)節(jié)和示例圖像。

Cityscapes→Rainy-Cityscapes：在這個實驗中，我們從Cityscapes適配到Rainy-Cityscapes。我們將提出的方法與最近的方法如DA-Faster和SWDA進行了比較。此外，我們還評估了兩種去雨+檢測基線的性能，其中最新的方法如DDN和SPANet被用作對在源(干凈)圖像上訓(xùn)練的Faster R-CNN的預(yù)處理步驟。從表4中我們可以看到，這些方法對更快的rcnn基線進行了合理的改進。然而，由于前面幾節(jié)(第1節(jié)、第4.2節(jié))中討論的原因，與適應(yīng)方法相比，性能的提高要小得多。此外，從表4可以看出，所提出的方法顯著優(yōu)于其他方法。此外，我們還提供了由第4.1節(jié)所列實驗組成的燒蝕研究結(jié)果。引入域適應(yīng)損失顯著提高了source only Faster-RCNN基線，導(dǎo)致表4中FRCNN+基線提高約9%。在FRCNN++基線中，利用殘差特征恢復(fù)塊進一步提高了1%的性能。當(dāng)領(lǐng)域?qū)剐杂?xùn)練被之前的PAL對抗性訓(xùn)練(即FRCNN++基線)取代時，我們觀察到2.5%的改進，顯示了所提出的訓(xùn)練方法的有效性。最后，通過在多個尺度上進行先前的對抗訓(xùn)練，所提出的方法FRCNN+P45+R45觀察到大約2%的改進，并且比次優(yōu)的方法SWDA多出1.6%。圖8顯示了使用所提方法與最近的[5]方法所得到的樣本檢測結(jié)果。該方法獲得了較好的檢測質(zhì)量。

????????????????

????????????????

WIDER-Face → UFDD-Rain：在本實驗中，我們采用了從寬面到雨面[39]的適應(yīng)性。UFDD-Rain數(shù)據(jù)集包括628張在雨天收集的圖像。與其他方法相比，本文方法的結(jié)果如表3所示。可以看到，本文提出的方法比單純的源訓(xùn)練效果好7.3%，是目前幾種方法中效果最好的。由于篇幅限制，我們在補充材料中提供了關(guān)于所提議的方法的額外細(xì)節(jié)，包括結(jié)果、分析和擴展到其他不利條件的討論。

5、結(jié)論

我們解決了使物體檢測器適應(yīng)霧蒙蒙和多雨條件的問題。觀察到這些天氣條件會導(dǎo)致退化，而退化可被數(shù)學(xué)建模，并在特征空間中造成空間變化的扭曲，基于此，我們提出了一種新的前對抗性損失，旨在產(chǎn)生天氣不變特征。此外，還引入了一組殘差特征恢復(fù)塊來學(xué)習(xí)殘差特征，有效地輔助自適應(yīng)過程。在模糊城市景觀、RTTS和UFDD等基準(zhǔn)數(shù)據(jù)集上對該框架進行了評估。通過大量的實驗，我們證明我們的方法在所有數(shù)據(jù)集中取得了顯著的進步比最近的方法。

總結(jié)

以上是生活随笔為你收集整理的Prior-based Domain Adaptive Object Detection for Hazy and Rainy Conditions的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。