參考 Prior-based Domain Adaptive Object Detection for Hazy - 云+社區 - 騰訊云

目錄

摘要

1、簡介

2、相關工作

3、提出的方法

3.1、檢測網絡

3.2、Prior-adversarial訓練

3.2、殘差特征恢復模塊

3.4、整體的損失

4、實驗和結果

4.1、實驗細節

4.2、適配到霧霾條件

4.3、適配雨場景

5、結論

---

摘要

惡劣的天氣條件，如霧和雨，會破壞獲取到的圖像的質量，導致訓練在干凈圖像上的檢測網絡在這些圖像上表現不佳。為了解決這一問題，我們提出了一種無監督的基于先驗的域對抗目標檢測框架，使檢測器適應于有霧和有雨的條件。特別地，我們利用利用圖像形成原理獲得的特定天氣的先驗知識來定義一個prior-adversarial損失。用于訓練適配過程的prior-adversarial損失旨在減少特征中與天氣相關的信息，從而減輕天氣對檢測性能的影響。此外，我們在目標檢測流程中引入了一組殘差特征恢復塊來消除特征空間的扭曲，從而得到進一步的改進。針對不同情況(如霧、雨)，在不同數據集(Foggy-Cityscapes、Rainy-Cityscapes、RTTS和UFDD)上進行的評估顯示了所提方法的有效性。

1、簡介

目標檢測是文獻中被廣泛研究的課題。盡管基于深度學習的檢測器在基準數據集上取得了成功，但它們在歸納幾種實際情況(如惡劣天氣)方面的能力有限。最近，一些真實世界的視覺應用，如自主導航，基于無人機的監視和視頻監視/取證得到了極大的興趣。在這些應用中，目標檢測器是一個重要的支柱，因此，即使在惡劣的天氣條件下，檢測器也必須可靠地工作。與一般的目標檢測問題相比，對檢測器適應惡劣天氣條件的研究相對較少。

解決這個問題的一種方法是使用現有的方法對圖像進行預處理，如圖像去霧[11,20,60]和/或去霧[30,59,58]，從而消除天氣條件的影響。然而，這些方法通常涉及復雜的網絡，需要在像素級監督下單獨訓練。此外，如[47]中所述，這些方法還涉及某些后處理，如伽馬校正，這仍然會導致域偏移，因此，這些方法無法實現最佳性能。和[47]一樣，當我們使用最先進的dehaze/derain方法作為檢測前的預處理步驟時，我們觀察到在檢測性能上的微小改進(見第4節)。此外，這種額外的預處理將導致推理時計算開銷的增加，這在資源受限/實時應用程序中并不可取。另一種方法是在包含這些不利條件的數據集上重新訓練檢測器。然而，創建這些數據集通常需要很高的標注/標簽成本。

最近，一些方法[5,49,45]試圖克服這個問題，將惡劣天氣條件下的目標檢測視為一項無監督的域適配任務。這些方法認為，與訓練檢測器的圖像(源域圖像)相比，在不利條件下捕獲的圖像(目標圖像)存在分布偏移。假設源圖像被完全注釋，而目標圖像(基于天氣的退化)沒有注釋。他們提出了在對源圖像進行訓練的同時，將目標特征與源特征進行對齊的不同技術。這些方法在其方法中存在固有的局限性，因為它們只使用領域適應的原則，而忽略了在基于天氣的退化情況下現成的附加信息。

??????? ? ? ? ? ? ? ???

我們考慮以下關于基于天氣的退化的觀察，這些觀察在早期的工作中被忽略了。(i)在天氣條件(如霾和雨)下捕獲的圖像可以進行數學建模(見圖1(a)， Eq. 8和9)。例如，一個模糊圖像是由干凈圖像(經過透射圖衰減)和大氣光疊加而成的[11,20]。同樣，雨天圖像被建模為干凈圖像和雨殘圖像的疊加[30,58,59](見圖1(a))。換句話說，受天氣影響的圖像包含特定的天氣信息(我們稱之為先驗)——如有模糊圖像，則包含傳輸圖；如有雨圖像，則包含雨殘留。這些特定于天氣的信息/先驗原因在特征空間中退化，導致較差的檢測性能。因此，為了減少特征的退化，關鍵是通過消除特征中與天氣相關的先驗，使特征具有天氣不變性。(ii)此外，必須指出的是，基于天氣的退化在空間上是不同的，因此對所有空間位置的特征的影響并不相同。由于現有的域適配檢測方法將所有位置全部標記為目標，假設整個圖像不斷退化，所有空間位置受到同等影響(圖1(b))。這將導致不正確的對齊，特別是在圖像的退化最小的區域。

基于這些觀察結果，我們定義了一種新的prior-adversarial損失，它使用關于目標域(受天氣影響的圖像)的額外知識來對齊源域和目標域特征。具體來說，提出的損失被用來訓練一個先驗估計網絡，從主要分支的特征中預測特定天氣的先驗，同時最小化特征中呈現的特定天氣信息。這將在主分支中產生天氣不變特性，從而減輕天氣的影響。此外，在損失函數中使用先驗信息會導致與退化量直接相關的空間變化損失(如圖1(b)所示)。因此，使用prior可以避免不正確的對齊。

最后，考慮到基于天氣的退化會導致特征空間的扭曲，我們在目標檢測流程中引入一組殘差特征恢復塊來消除特征的扭曲。這些塊受到了中殘差轉移框架的啟發，得到了進一步的改進。我們對不同的數據集進行了廣泛的評估，如Foggy-Cityscapes、RTTS和UFDD。此外，我們還創建了一個Rainy-Cityscapes數據集，用于評估不同檢測方法在雨天情況下的性能。各種實驗表明，該方法在所有數據集上的性能都優于現有方法。

2、相關工作

目標檢測：目標檢測是計算機視覺研究的熱點之一。這個問題的典型解決方案已經從基于滑動窗口分類的方法發展到最新的基于錨的卷積神經網絡方法。Ren等人開創了流行的Faster R-CNN方法。一些工作提出了單階段框架，如SSD， YOLO等，可以直接預測目標標簽和邊框坐標。在之前的工作[5,49,45,25,24]之后，我們使用Faster-RCNN作為基礎模型。

無監督域適配：無監督域適應定義為具有不同分布的對齊域，即源域和目標域。假設源數據集中的圖像具有注釋，而不提供目標圖像的注釋信息。最近提出的一些無監督域自適應方法包括特征分布對齊，殘差轉移和圖像到圖像的翻譯方法。在特征分布對齊中，利用敵對目標學習領域不變特征。通常，這些方法使用梯度反轉層實現，特征生成器和領域分類器進行對抗式博弈，生成與源特征分布一致的目標特征。非監督域自適應的研究大多集中在分類/分割問題上，而諸如目標檢測等任務則相對缺乏探索。

對抗條件下的域適配目標檢測：與一般的檢測問題相比，在惡劣天氣條件下的檢測探索相對較少。現有的方法[5,49,45,25]試圖從領域適應的角度來解決這一任務。Chen等人[5]假設不利的天氣條件會導致域漂移，他們提出了一種適配Faster R-CNN方法來克服這一問題，該方法在圖像級和實例級處理域漂移。Shan等[49]提出在圖像層面使用Cycle-GAN框架進行聯合自適應[61]，在特征層面使用傳統的域自適應損失進行聯合自適應。Saito等人[45]認為，在全局層面上，特征的強對齊可能會影響檢測性能。因此，他們提出了一種局部特征強對齊和全局特征弱對齊的方法。Kim等人[25]對標記數據進行多樣化處理，然后利用多域鑒別器進行對敵學習。Cai等[4]在半監督設置中使用mean teacher framework解決了這一問題。Zhu等人[63]提出了區域挖掘和區域級對齊，以正確對齊源和目標特征。Roychowdhury等人使檢測器適應于一個新的域，假設有來自目標域的大量視頻數據可用。這些視頻數據被用來生成目標集的偽標簽，這些偽標簽被用來訓練網絡。最近，Khodabandeh等人用噪聲標簽表述了域適配訓練。具體來說，該模型在目標域上使用一組噪聲邊界盒進行訓練，這些邊界框由僅在源域上訓練的檢測模型得到。

3、提出的方法

我們假定標記的干凈數據來自源域，并且來自目標域的未標記且受天氣影響的數據是可以獲得的。這里，指的是外接框標注，并且相應的分類標簽為潔凈圖像指的是受天氣影響的數據，是源域的總共樣本數，是目標域的總共樣本數。我們的目標是利用源域和目標域的可用信息來學習一個網絡，以減少基于天氣的條件對檢測器的影響。該方法包含檢測網絡、先驗估計網絡和殘差特征恢復模塊。圖2給出了所提模型的概述。在源域訓練過程中，將一幅源圖像(干凈圖像)傳遞給檢測網絡，通過最小化檢測損失來學習權值，如圖2帶源域流程所示。對于目標域訓練，目標域流程通過網絡轉發一幅目標域圖像(受天氣影響的圖像)，如圖2所示。如前所述，基于天氣的退化會導致目標域圖像的特征空間失真。為了消除這些特征的失真，我們在目標流程中引入一組殘差特征恢復塊，如圖2所示。該模型借鑒了[36]中的殘差傳遞框架，用于殘差特征的建模。提出的PEN通過對抗訓練提供反饋，利用先前的對抗損失，幫助檢測網絡適配目標域。在接下來的章節中，我們簡要回顧了主干網絡，然后討論了提出的前對抗式損失和殘差特征恢復塊。

3.1、檢測網絡

遵循現有的域自適應檢測方法，我們的方法基于Faster-RCNN[43]框架。Faster-RCNN是最早的基于端到端CNN的目標檢測方法之一，使用基于錨的策略進行檢測和分類。本文將Faster-RCNN分解為特征提取網絡(F)、區域建議網絡(RPN)和區域分類網絡(RCN)三個網絡模塊。這些模塊的布局如圖2所示，VGG模型架構為基礎網絡。這里，特征提取器網絡由VGG的前5個conv塊組成，區域分類網絡模塊由VGG的全連接層組成。區域建議網絡利用特征提取網絡的輸出，以類不可知的方式生成一組候選目標區域。從特征提取器中匯集與候選特征相對應的特征，通過區域分類網絡轉發，得到目標分類和邊界框細化。由于我們可以訪問源域圖像及其對應的ground truth，我們訓練這些網絡通過最小化以下損失函數來對源域進行檢測，

???????????????? ? ? ? ? ? ?? ??????????

這里，代表區域建議和區域分類網絡。代表區域建議損失。代表BB回歸損失，并且代表區域回歸損失。這些個別損失成分的詳細信息可以在[43]中找到。

3.2、Prior-adversarial訓練

如前所述，受天氣影響的圖像包含特定領域的信息。這些圖像通常遵循圖像退化的數學模型(見圖1(a)， Eq. 8和Eq. 9)。我們將該領域的特定信息作為先驗。關于之前的霧霾和雨的詳細討論將在本節的后面提供。我們的目標是利用這些天氣領域的先驗，以更好地適應探測器天氣影響的圖像。為此，我們提出了一種基于先驗的對抗訓練方法，該方法使用先驗估計網絡(PEN)和先驗對敵損失(PAL)。

使為PEN在卷積塊的第l個層后引入，并且使得為任何圖像對應的特定域的先驗，。然后，源域的PAL定義如下：

?????????????????

其中，U和V是域指定先驗和輸出特征的高度和寬度。代表源域先驗，從圖像層先驗來縮小比例來匹配第l個卷積塊的尺度。同樣地，對目標域圖像的PAL，，對應的先驗可以定義為：

??? ? ? ? ? ?? ??????

其中，我們在conv4 (l=4)和conv5 (l=5)塊后應用PAL(如圖2所示)。因此，最終的源域和目標域損失可以表示為：

????????????????????? ? ? ? ? ?? ?

先驗估計網絡()從中提取的特征中預測特定天氣的先驗，然而，特征提取網絡(不包含特定天氣的先驗)并阻止PEN模塊正確估計特定天氣的先驗。由于這種類型的訓練包括預先預測，也讓人想起域適配中使用的對抗性學習，我們將這種損失稱為預先對抗性損失。在收斂時，特征提取器網絡應該沒有任何特定天氣信息，因此先驗估計網絡和都不能正確估計先驗。請注意，我們的收斂目標不是估計正確的先驗，而是學習天氣不變特征，以便檢測網絡能夠很好地推廣到目標域。該訓練過程可表示為如下優化：

???????????????????????????????

此外，在傳統的區域適配中，為整個目標圖像分配一個單一的標簽來訓練區域鑒別器(圖1)(c))。這樣做，就假定整個圖像經歷了恒定的域位移。然而，這在受天氣影響的圖像中是不正確的，因為退化隨空間變化(圖1)(b))。在這種情況下，定域位移的假設會導致不正確的對齊，特別是在退化最小的區域。結合特定天氣先驗克服了這個問題，因為這些先驗是隨空間變化的，并且與退化量直接相關。因此，利用特定天氣的先驗結果來更好地對齊。

霧霾先驗：霧對圖像的影響在文獻中得到了廣泛的研究。現有的圖像去霧方法大多依賴于大氣散射模型來表示霧天條件下的圖像退化，其定義為：

????????????????? ? ? ? ? ? ? ? ? ????????

其中I為觀測到的模糊圖像，J為真實場景亮度，A為全局大氣光，表示環境光強度，t為透射圖，z為像素位置。透射圖是一個依賴于距離的因素，它影響到達相機傳感器的光的比例。當大氣光A為均勻時，透射圖可以表示為，其中，為大氣的衰減系數，d為場景深度。

通常，現有的去霧方法首先估計透射圖和大氣光，然后在公式(8)中使用它們來恢復觀測到的亮度或干凈圖像。透射圖包含了關于霧域的重要信息，具體地表示了光的衰減因子。我們使用這種傳輸作為域先驗來監督先驗估計(PEN)，同時適應模糊的條件。此外，我們使用[20]之前的暗信道，而不是依賴于實際的ground-truth傳輸圖。

雨先驗：與去霧類似，圖像去霧方法[30,58,59,29,57]也假設一個數學模型來表示退化過程，定義如下：

?????????????????? ? ? ? ? ? ? ? ? ? ? ? ? ? ????

其中I為觀測到的雨天圖像，J為期望的干凈圖像，R為雨殘差。該公式將雨景圖像建模為干凈的背景圖像與雨殘體的疊加。雨殘點包含了特定圖像的特定區域雨殘點信息，因此，在適應雨天條件的同時，可以作為區域特定先驗來監測先驗估計網絡(PEN)。類似于霧霾，我們不依賴地面的真實降雨殘留物。相反，我們使用[30]中預先描述的雨層來估計雨殘量，從而避免了使用昂貴的人工注釋來獲得雨殘量。

在上面討論的兩種情況(霧先驗和雨先驗)中，我們不使用任何ground-truth標簽來估計各自的先驗。因此，我們的總體方法仍然屬于無監督的適應。此外，可以對訓練圖像預先計算這些先驗，以減少學習過程中的計算開銷。此外，推理過程中不需要預先計算，因此，所提出的自適應方法不會造成任何計算開銷。

3.2、殘差特征恢復模塊

如前所述，天氣退化會在特征空間中引入失真。在目標前向傳播過程中引入了一組殘差特征恢復塊(RFRBs)來輔助去失真處理。這是受到了[36]中剩余傳輸網絡方法的啟發。設為第l個卷積塊處的殘差特征恢復塊。對目標域圖像前饋進行改進，加入殘差特征恢復塊。對于，第l個卷積塊處的前向傳播方程為：

??????????????????????????????????????

其中指的是從第l個卷積層提取的特征，對任何使用特征提取網絡從目標域提取出的圖像。指的是從輸出的第卷積層提取的殘差特征。指的是對任何利用RFRB調整的前傳圖像從第l個卷積塊提取特征。RFRB如圖2所示，如前傳pipeline所示。對源域的前傳pipline沒有影響。在我們的情況下，我們同時在和塊上使用RFRB。此外，通過對殘差特征的規范約束來規范殘差特征的影響。RFRBs的正則化損失，，定義為：

??????????????????????? ? ? ? ??

3.4、整體的損失

訓練網絡的總損失定義為：

???????????????????????????? ? ? ? ? ? ? ?? ??

?????????????????????

這里，表示特征提取網絡，表示第四和第五卷積塊后面采用的兩個先驗估計網絡，例如，，并且表示第四和第五卷積層上的。同樣，是源域檢測損失，是正則化損失，是基于先驗的對抗訓練的整體對抗損失。

4、實驗和結果

4.1、實驗細節

我們采用[45,5]的訓練協議來訓練Faster-RCNN網絡。所有實驗的骨干網絡為VGG16網絡[51]。我們使用RFRB對VGG16網絡的卷積塊C4和C5進行殘差建模。PA損失只適用于這些用RFRBs建模的conv塊。PA損失的設計是基于適應設置(霧或雨)。前兩個conv塊的參數被凍結，類似于[45,5]。在補充資料中提供了RFRBs、PEN和鑒別器的詳細網絡架構。在訓練過程中，我們通過ROI對齊將圖像較短的一側設置為600。我們對所有網絡進行70K次迭代訓練。對于前50K次迭代，學習率設置為0.001，對于后20K次迭代，學習率設置為0.0001。我們報告了70K次迭代后基于訓練模型的性能。對于所有的實驗，我們都將其設置為等于0.1。

除了與最近的方法進行比較外，我們還進行了消融研究，評估以下配置，以分析網絡中不同組件的有效性。請注意，我們逐步添加了額外的組件，這使我們能夠衡量每個組件獲得的性能改進，

FRCNN：在源數據集上訓練Faster-RCNN的Source - only基線實驗。

FRCNN+：由Faster R-CNN和域識別器組成的域自適應基線實驗。

FRCNN++：從FRCNN+作為基本配置開始，我們在對Faster-RCNN進行conv4之后添加了一個RFRB塊。這個實驗讓我們了解了RFRB塊的貢獻。

FRCNN++：我們從FRCNN+D5+R5配置開始，用先驗估計網絡(PEN)和先驗對敵損失(PAL)替代域鑒別器和域對敵損失。通過這個實驗，我們證明了訓練前對抗損失的重要性。

FRCNN++：最后，我們在conv4和conv5兩種尺度上進行基于先驗的特征對齊。從FRCNN+P5+R5配置開始，我們在conv3之后添加了RFRB塊，在conv4之后添加了PEN模塊。該實驗對應于圖2所示的配置。該實驗證明了整體方法的有效性，并確立了網絡中多級特征對齊的重要性。

遵循現有方法設置的協議[5,49,45]，我們使用平均平均精度(mAP)評分進行性能比較。

4.2、適配到霧霾條件

在本節中，我們在以下數據集上給出了與適應霧霾條件相對應的結果:(i)Cityscapes→Foggy-Cityscapes，(ii)Cityscapes→RTTS， (iii)WIDER→UFDD-Haze。在前兩個實驗中，我們將Cityscapes作為源域。注意，Cityscapes數據集包含在晴朗天氣條件下捕獲的圖像。

Cityscapes→Foggy-Cityscapes：在這個實驗中，我們從Cityscapes適配Foggy-Cityscapes。最近[47]中提出了Foggy-Cityscapes數據集，用于研究霧天天氣條件下的檢測算法。基于Cityscapes數據集，在城市景觀的晴空圖像上模擬霧，得到霧天城市景觀。城市風景和霧都有相同數量的分類，包括，汽車，卡車，摩托車/自行車，火車，公共汽車，騎手和人。與[5]、[45]類似，我們利用2975張城市景觀和霧靄城市景觀的圖像進行訓練。注意，我們只使用來自源數據集(Cityscapes)的注釋來訓練檢測流程。為了進行評估，我們考慮了Foggy-Cityscapes數據集提供的500幅圖像的非重疊驗證集。

我們將提出的方法與兩類方法進行比較:(i) Dehaze+ detection:這里我們使用去霧網絡作為預處理步驟，使用在源(干凈)圖像上訓練的Faster-RCNN進行檢測。對于預處理，我們選擇了兩種最新的去霧算法:DCPDN[60]和網格去霧[35]。(i)基于da的方法:在這里，我們比較了最近的域適配檢測方法:DA-Faster，SWDA， diversity - match， Mean Teacher with Object Relations (MTOR)， Selective Cross-Domain Alignment (SCDA)[63]和[24]。結果如表1所示。

由表1可以看出，在模糊條件下，Fast R-CNN的單純源訓練效果一般較差。添加DCPDN和Gird-Dehaze作為預處理步驟，性能分別提高2%和4%。與領域自適應檢測方法相比，預處理+檢測的性能增益較低。這是因為即使在應用去霧之后，仍然會有一些漂移，如第1節所討論的。因此，使用適配將是減少領域轉移的更好方法。在這里，使用簡單的域適配(FRCNN+)提高了僅限源的性能。RFRB5 (FRCNN+D5+R5)的加入進一步提高了RFRB塊的重要性。然而，傳統的域適配損失假設整個圖像的恒定域移動，導致不正確的對準。使用prior-adversarial損失(FRCNN++)克服了這個問題。我們在總體地圖得分上提高了3.6%，從而證明了之前對抗訓練的有效性。請注意，FRCNN++基線實現了與最先進水平相當的性能。最后，通過在額外的尺度(FRCNN++)上進行前對抗適應，我們實現了進一步的改進，比現有的最佳方法[24]高出2.8%。圖3給出了霧都景觀圖像對應的樣本定性檢測結果。結果與DA-Faster-RCNN[5]進行了比較。可以看到，該方法能夠產生相對高質量的檢測結果。

我們將觀察結果總結如下:(i)、使用去霧處理作為預處理步驟，相對于基線Faster-RCNN的改進極小。域適配方法通常性能更好。(ii)、所提出的方法在總體得分上優于其他方法，并且在大多數類別中都取得了最好的成績。更多細節見補充材料。

???????????? ? ? ? ? ? ??????

??????????????????? ?? ??????

Cityscapes → RTTS：在這個實驗中，我們從城市景觀適應RTTS數據集[27]。RTTS是一個更大的居住數據集[27]的子集，它包含4807個未注釋的和4322個注釋的真實世界的模糊圖像，主要覆蓋交通和駕駛場景。我們使用未注釋的4807張圖像來訓練域適應過程。對帶注釋的4,322張圖像執行評估。RTTS共有五類，即摩托車/自行車、人、自行車、公共汽車和汽車。該數據集是最大的可用數據集的目標檢測下的真實世界朦朧條件。

表2將本文方法的結果與Faster-RCNN、DA-Faster、SWDA以及dehaze+檢測基線進行比較。對于RTTS數據集，使用DCPDN進行預處理可以將Faster RCNN性能提高約1%。令人驚訝的是，Grid-Dehaze并不能幫助更快的rcnn基線，反而導致更糟糕的性能。然而，所提出的方法比baseline Faster-RCNN(僅源域訓練)提高了3.1%，同時優于其他最近的方法。

WIDER-Face → UFDD-Haze：最近，Nada等人發布了一個基準的人臉檢測數據集，該數據集包含了在不同天氣條件下(如霾和雨)捕捉到的真實世界圖像。具體來說，這個數據集包含442張霾類圖像。由于人臉檢測與目標檢測任務密切相關，因此我們將大人臉[56]數據集應用于UFDD-Haze數據集來評估我們的框架。WIDER-Face是一個大規模的人臉檢測數據集，擁有大約32,000張圖像和199K的人臉注釋。該適應實驗的結果如表3所示。從表中可以看出，與其他方法相比，該方法取得了更好的性能。

?????????????????????????????

4.3、適配雨場景

在本節中，我們將介紹適應多雨條件的結果。由于缺少適合這種特殊設置的數據集，我們創建了一個名為rain- Cityscapes的新的雨天數據集，它來自Cityscapes。它的訓練和驗證圖像的數量與Foggy-Cityscapes一樣多。首先，我們介紹了用于創建數據集的模擬過程，然后討論了該方法與其他方法在這個新數據集上的評價和比較。

Rainy-Cityscapes：與霧城市景觀類似，我們使用城市景觀中的3475張圖像的子集來創建合成的雨數據集。利用[2]合成了幾種含有人工雨紋的掩模。雨紋是使用不同的高斯噪聲級別和70度到110度之間的多個旋轉角度創建的。接下來，對于Cityscapes數據集子集中的每一張圖像，我們選擇一個隨機的雨掩膜，并將其與圖像混合以生成合成的雨掩膜圖像。補充材料中提供了更多的細節和示例圖像。

Cityscapes→Rainy-Cityscapes：在這個實驗中，我們從Cityscapes適配到Rainy-Cityscapes。我們將提出的方法與最近的方法如DA-Faster和SWDA進行了比較。此外，我們還評估了兩種去雨+檢測基線的性能，其中最新的方法如DDN和SPANet被用作對在源(干凈)圖像上訓練的Faster R-CNN的預處理步驟。從表4中我們可以看到，這些方法對更快的rcnn基線進行了合理的改進。然而，由于前面幾節(第1節、第4.2節)中討論的原因，與適應方法相比，性能的提高要小得多。此外，從表4可以看出，所提出的方法顯著優于其他方法。此外，我們還提供了由第4.1節所列實驗組成的燒蝕研究結果。引入域適應損失顯著提高了source only Faster-RCNN基線，導致表4中FRCNN+基線提高約9%。在FRCNN++基線中，利用殘差特征恢復塊進一步提高了1%的性能。當領域對抗性訓練被之前的PAL對抗性訓練(即FRCNN++基線)取代時，我們觀察到2.5%的改進，顯示了所提出的訓練方法的有效性。最后，通過在多個尺度上進行先前的對抗訓練，所提出的方法FRCNN+P45+R45觀察到大約2%的改進，并且比次優的方法SWDA多出1.6%。圖8顯示了使用所提方法與最近的[5]方法所得到的樣本檢測結果。該方法獲得了較好的檢測質量。

????????????????

????????????????

WIDER-Face → UFDD-Rain：在本實驗中，我們采用了從寬面到雨面[39]的適應性。UFDD-Rain數據集包括628張在雨天收集的圖像。與其他方法相比，本文方法的結果如表3所示。可以看到，本文提出的方法比單純的源訓練效果好7.3%，是目前幾種方法中效果最好的。由于篇幅限制，我們在補充材料中提供了關于所提議的方法的額外細節，包括結果、分析和擴展到其他不利條件的討論。

5、結論

我們解決了使物體檢測器適應霧蒙蒙和多雨條件的問題。觀察到這些天氣條件會導致退化，而退化可被數學建模，并在特征空間中造成空間變化的扭曲，基于此，我們提出了一種新的前對抗性損失，旨在產生天氣不變特征。此外，還引入了一組殘差特征恢復塊來學習殘差特征，有效地輔助自適應過程。在模糊城市景觀、RTTS和UFDD等基準數據集上對該框架進行了評估。通過大量的實驗，我們證明我們的方法在所有數據集中取得了顯著的進步比最近的方法。

總結

以上是生活随笔為你收集整理的Prior-based Domain Adaptive Object Detection for Hazy and Rainy Conditions的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。