对比学习系列论文SimROD(二): A Simple Adaptation Method for Robust Object Detection
0.Abstract
0.1逐句翻譯
This paper presents a Simple and effective unsupervised adaptation method for Robust Object Detection (SimROD).
提出了一種簡單有效的無監督自適應魯棒目標檢測方法。
To overcome the challenging issues of domain shift(領域遷移) and pseudo-label noise(假標簽噪聲), our method integrates a novel domaincentric data augmentation, a gradual self-labeling adaptation procedure, and a teacher-guided fine-tuning mechanism.
要克服的挑戰問題域轉變(領域遷移)和pseudo-label噪聲(假標簽噪聲)我們的方法集成了一種新的以領域為中心的數據增強、一個漸進的自標記適應過程和一個教師引導的微調機制。
Using our method, target domain samples can be leveraged to adapt object detection models without changing the model architecture or generating synthetic data.
使用我們的方法,可以利用目標域樣本來適應目標檢測模型,而無需改變模型架構或生成合成數據。
When applied to image corruptions and high-level crossdomain adaptation benchmarks, our method outperforms prior baselines on multiple domain adaptation benchmarks.
當應用于圖像腐蝕(image corruptions)和高水平跨域自適應基準時,我們的方法在多個域自適應基準上優于先前的基準。
(這里我還不太確定image corruptions是什么意思)
SimROD achieves new state-of-the-art on standard real-to-synthetic and cross-camera setup benchmarks.
SimROD在標準的真實到合成和跨相機設置基準上實現了當前最好的水平。
(主要是表述兩個內容,在從真實到合成和跨越不同相機的情況下表現良好)
On the image corruption benchmark, models adapted with our method achieved a relative robustness(魯棒性) improvement of 15-25% AP50 on Pascal-C and 5-6% AP on COCO-C and Cityscapes-C.
在圖像腐敗基準上,采用我們方法的模型在Pascal-C上獲得了15-25% AP50的相對魯棒性提高,在COCO-C和cityscape - c上獲得了5-6% AP的相對魯棒性提高。
(就是在圖像腐蝕的問題上魯棒性更好)
On the cross-domain benchmark, our method outperformed the best baseline performance by up to 8% and 4% AP50 on Comic and Watercolor respectively.1
跨域基準上,我們的方法在Comic和Watercolor上分別比最佳基準性能高出8%和4%的AP50(在跨領域的情況下有很好的效果)
0.2總結
也就是使用無監督的方法實現了目標檢測在圖像腐蝕和領域遷移的自適應當中取得了很好的效果。
1. Introduction
1.1逐句翻譯
第一段(大約就是說明領域遷移的重要性)
State-of-the-art object detection models are highly accurate when trained on images that have the same distribution as the test set [39].
當在與測試集[39]具有相同分布的圖像上訓練時,最先進的目標檢測模型具有很高的準確性。
However, they can fail when deployed to new environments due to domain shifts such as weather changes (e.g. rain or fog), light condition variations, or image corruptions (e.g. blur) [25].
然而,當部署到新環境時,由于域的變化(如天氣變化(如雨或霧),光照條件變化,或圖像損壞(如模糊)[25],它們可能會失敗。
Such failure is detrimental for mission-critical applications such as self-driving or automated retail checkout, in which domain shifts are inevitable.
這種失敗對關鍵任務應用程序(如自動駕駛或自動零售結賬)是有害的,在這些應用程序中,領域轉移是不可避免的。
(有很多應用都會受到領域遷移的影響,與此同時,這些應用當中領域遷移又是不可避免的)
To make them reliable, it is important for detection models to be robust to domain shifts.
為了使它們可靠,檢測模型對域轉移具有魯棒性是很重要的。
第二段(介紹主要的領域遷移的方法:數據增廣、域對齊、域映射、偽標簽自動生成)
Different types of methods have been proposed to overcome domain shifts for object detection namely data augmentation [25, 14, 12], domain-alignment [6, 11, 38, 37, 27, 16,23,17], domain-mapping [3,18,23,17], and self-labeling techniques [33, 30, 22, 18].
們提出了不同類型的方法來克服目標檢測中的域偏移,即數據增強[25,14,12],域對齊[6,11,38,37,27,16,23,17],域映射[3,18,23,17],和自標記技術[33,30,22,18]。
Augmentation methods can improve the performance on some fixed set of domain shifts but fail to generalize to the ones that are not similar to the augmented samples [1, 26, 32].
增廣方法可以提高某些固定的域移集的性能,但不能推廣到與增廣樣本不相似的域移集[1,26,32]。
(增廣你最多就是進行有限數量種類的增廣,也就只能解決一部分)
Domain-aligning methods use target domain samples to align intermediate features of networks.
域對齊方法使用目標域樣本來對齊網絡的中間特征。
These methods require the addition of specialized modules such as gradient reversal layers, domain classifiers to the model.
這些方法需要在模型中添加特殊模塊,如梯度反轉層、領域分類器等。
On the other hand, domain-mapping methods translate labeled source images to new images that look like target domain images using image-to-image translation networks.
另一方面,域映射方法利用圖像到圖像的轉換網絡將標記的源圖像轉換為與目標域圖像相似的新圖像。
domain-mapping methods
Similar to augmentation methods, they are suboptimal since the generated images do not always have a high similarity to real target domain images.
與增強方法類似,它們是次優的,因為生成的圖像并不總是與真實目標域圖像有很高的相似性。(因為生成的圖片也僅僅是和目標領域十分相似,并不是真正的目標域圖片)
Finally, self-labeling is a promising approach since it leverages unlabeled training samples form the target domain.
最后,自標記是一種很有前途的方法,因為它利用了來自目標域的未標記訓練樣本。
However, generating accurate pseudo-labels under domain shift is hard; and when pseudo-labels are noisy, using target domain samples for adaptation is ineffective.
然而,在域移位的情況下很難生成準確的偽標簽;當偽標簽有噪聲時,利用目標域樣本進行自適應是無效的。
(偽標簽大約就是我們在使用半監督學習的方式當中,我們使用當前階段訓練出來的模型估計這個東西大概率是什么,之后給他標記上)
第三段(介紹本文工作的優點、貢獻)
In this paper, we propose a Simple adaptation method for Robust Object Detection (SimROD), to mitigate the domain shifts using domain-mixed data augmentation and teacher-guided gradual adaptation.
在本文中,我們提出了一種簡單的魯棒目標檢測自適應方法(SimROD),利用域混合數據增強和教師引導的漸進自適應來緩解域漂移。
Our simple approach has three design benefits.
我們的簡單方法有三個設計優點。
First, it does not require ground-truth labels of target domain data and leverage unlabeled samples.
首先,它不需要目標域數據的實際標簽,并利用未標記的樣本。
Second, our approach requires neither complicated architecture changes nor generative models for creating synthetic data [18].
其次,我們的方法不需要復雜的架構更改,也不需要生成模型來創建合成數據[18]。
Third, our simple method is architecture-agnostic and is not limited to region-based detectors.
第三,我們的簡單方法是與體系結構無關的,并且不局限于基于區域的檢測器。
The main contributions of this paper are summarized as follows:
本文的主要貢獻總結如下:
1.We propose a simple method to improve the robustness of object detection models against domain shifts.
我們提出了一種簡單的方法來提高目標檢測模型對域移動的魯棒性。
Our method first adapts a large teacher model using a gradual adaptation approach.
我們的方法首先采用漸進適應方法對一個大型教師模型進行調整。
The adapted teacher generates accurate pseudo-labels for adapting the student model.
被調整的教師生成精確的偽標簽以適應學生模型。
2.We introduce a data augmentation called DomainMix for learning domain-invariant representations and for reducing the pseudo-label noise.
我們引入了一種稱為DomainMix的數據增強,用于學習域不變表示和減少偽標簽噪聲。
It efficiently mixes the labeled source domain images with unlabeled samples from the target domain along with their (pseudo-)labels.
它有效地將有標記的源域圖像與來自目標域的未標記樣本及其(偽)標簽混合在一起。
The mixed training samples give strong supervision for adapting both the teacher and student models.
混合訓練樣本對教師模型和學生模型的適應都有很強的監督作用。
3.We conduct a comprehensive benchmark and ablation studies to demonstrate the effectiveness of SimROD in mitigating different domain shifts namely synthetic-to-real, cross-camera setup, real-to-artistic, and image corruptions.
我們進行了一項全面的基準和消融研究,以證明SimROD在緩解不同領域的轉移(即合成到真實、跨相機設置、真實到藝術和圖像腐蝕)方面的有效性。
Our simple method are competitive with more complicated baselines and achieve new state-of-the-art results on some of these benchmarks.
我們的簡單方法與更復雜的基準相比具有競爭力,并在其中一些baseline上取得了新的最先進的結果。
1.2總結
陳述目標檢測面臨的問題:
在目標檢測的重要應用(自動駕駛、零錢支付)會受到領域遷移的影響(如天氣變化,所處地區變化)
分析傳統方法:
- 1.Augmentation 數據增強,數據增強只能增強其中一部分。
- 2.Domain-aligning methods域對齊,對齊網絡的中間特征,這個需要在網絡當中加入額外的部分。
- 3.Domain-mapping methods域對應,也就是將原來域當中的標記的圖片,對應到目標域,這個很難做到真正的對應。
- 4.Self-labeling自標記,就是根據原有模型獲得一個偽標簽,但是這有個問題,在很多情況下很難獲得偽標簽,偽標簽獲得之后也不準確。
提出自己的方法,具有如下優點:
- 1.使用未標記的數據。
- 2.不需要額外的修改網絡的結構。
- 3.本文的模型還可以應用到其他應用上。
2. Motivation and related works
暫時跳過
3. Problem definition and proposed solution
In this section, we define the adaptation problem and describe our proposed solution.
在本節中,我們將定義適應問題并描述我們提出的解決方案。
3.1. Problem statement
3.1.1逐句翻譯
大約就是給了一個傳統的目標檢測模型M,輸入一張圖片,獲得一個包含bounding box信息和分類信息的張量。
他這個知識蒸餾使用方法大約就是:怎么生成偽標簽的問題,教師模型首先在labeled數據上進行訓練,得到很好的訓練效果,之后使用教師模型訓練unlabeled數據,訓練的方式就是self—labeling技術(生成偽標簽),訓練教師網絡,之后教師網絡相當于適應了領域遷移。
之后讓教師網絡生成偽標簽,訓練新的學生網絡,達到學生網絡也能適應領域遷移的目的。
并且因為是使用self—labeling的方法,所以這里輸入的新的領域的圖片不用打標簽,直接拍正常的圖片就可以了。
總結起來提出的關鍵思路就是,教師網絡更能適應領域遷移,教會學生網絡學會領域遷移,并且在訓練的過程中,使用特殊的數據增強DomainMix augmentation。
DomainMix augmentation就是把不同領域的圖片拼接在一起形成一個新的圖片進行輸入:
總結
以上是生活随笔為你收集整理的对比学习系列论文SimROD(二): A Simple Adaptation Method for Robust Object Detection的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 惯性导航的基础
- 下一篇: 安卓惯性传感器(一)